tensorflow权重初始化

一，用10层神经网络，每一层的参数都是随机正态分布，均值为0，标准差为0.01

#10层神经网络
data = tf.constant(np.random.randn(2000, 800).astype('float32'))
layer_sizes = [800 - 50 * i for i in range(0, 10)]
num_layers = len(layer_sizes)fcs = []
for i in range(0, num_layers - 1):X = data if i == 0 else fcs[i - 1]node_in = layer_sizes[i]node_out = layer_sizes[i + 1]W = tf.Variable(np.random.randn(node_in, node_out).astype('float32')) * 0.01fc = tf.matmul(X, W)# fc = tf.contrib.layers.batch_norm(fc, center=True, scale=True,#                                   is_training=True)fc = tf.nn.tanh(fc)fcs.append(fc)#
with tf.Session() as sess:sess.run(tf.global_variables_initializer())print('input mean {0:.5f} and std {1:.5f}'.format(np.mean(data.eval()),np.std(data.eval())))for idx, fc in enumerate(fcs):print('layer {0} mean {1:.5f} and std {2:.5f}'.format(idx + 1, np.mean(fc.eval()),np.std(fc.eval())))for idx, fc in enumerate(fcs):print(fc)plt.subplot(1, len(fcs), idx + 1)#绘制直方图30个binplt.hist(fc.eval().flatten(), 30, range=[-1, 1])plt.xlabel('layer ' + str(idx + 1))plt.yticks([])#把y轴刻度关掉plt.show()

每一层输出值分布的直方图：

随着层数的增加，我们看到输出值迅速向0靠拢，在后几层中，几乎所有的输出值 x 都很接近0！回忆优化神经网络的back propagation算法，根据链式法则，gradient等于当前函数的gradient乘以后一层的gradient，这意味着输出值 x 是计算gradient中的乘法因子，直接导致gradient很小，使得参数难以被更新！

二，标准差改为1

几乎所有的值集中在-1或1附近，神经元饱和了！注意到tanh在-1和1附近的gradient都接近0，这同样导致了gradient太小，参数难以被更新

三，Xavier initialization可以解决上面的问题！其初始化方式也并不复杂。Xavier初始化的基本思想是保持输入和输出的方差一致，这样就避免了所有输出值都趋向于0。Xavier initialization是由Xavier Glorot et al.在2010年提出，He initialization是由Kaiming He et al.在2015年提出，Batch Normalization是由Sergey Ioffe et al.在2015年提出。

#10层神经网络
data = tf.constant(np.random.randn(2000, 800).astype('float32'))
layer_sizes = [800 - 50 * i for i in range(0, 10)]
num_layers = len(layer_sizes)fcs = []
for i in range(0, num_layers - 1):X = data if i == 0 else fcs[i - 1]node_in = layer_sizes[i]node_out = layer_sizes[i + 1]W = tf.Variable(np.random.randn(node_in, node_out).astype('float32'))/np.sqrt(node_in)fc = tf.matmul(X, W)# fc = tf.contrib.layers.batch_norm(fc, center=True, scale=True,#                                   is_training=True)fc = tf.nn.tanh(fc)fcs.append(fc)#
with tf.Session() as sess:sess.run(tf.global_variables_initializer())print('input mean {0:.5f} and std {1:.5f}'.format(np.mean(data.eval()),np.std(data.eval())))for idx, fc in enumerate(fcs):print('layer {0} mean {1:.5f} and std {2:.5f}'.format(idx + 1, np.mean(fc.eval()),np.std(fc.eval())))for idx, fc in enumerate(fcs):print(fc)plt.subplot(1, len(fcs), idx + 1)#绘制直方图30个binplt.hist(fc.eval().flatten(), 30, range=[-1, 1])plt.xlabel('layer ' + str(idx + 1))plt.yticks([])#把y轴刻度关掉plt.show()

输出值在很多层之后依然保持着良好的分布，

四，激活函数替换成relu

#10层神经网络
data = tf.constant(np.random.randn(2000, 800).astype('float32'))
layer_sizes = [800 - 50 * i for i in range(0, 10)]
num_layers = len(layer_sizes)fcs = []
for i in range(0, num_layers - 1):X = data if i == 0 else fcs[i - 1]node_in = layer_sizes[i]node_out = layer_sizes[i + 1]W = tf.Variable(np.random.randn(node_in, node_out).astype('float32'))/np.sqrt(node_in)fc = tf.matmul(X, W)# fc = tf.contrib.layers.batch_norm(fc, center=True, scale=True,#                                   is_training=True)fc = tf.nn.relu(fc)fcs.append(fc)#
with tf.Session() as sess:sess.run(tf.global_variables_initializer())print('input mean {0:.5f} and std {1:.5f}'.format(np.mean(data.eval()),np.std(data.eval())))for idx, fc in enumerate(fcs):print('layer {0} mean {1:.5f} and std {2:.5f}'.format(idx + 1, np.mean(fc.eval()),np.std(fc.eval())))for idx, fc in enumerate(fcs):print(fc)plt.subplot(1, len(fcs), idx + 1)#绘制直方图30个binplt.hist(fc.eval().flatten(), 30, range=[-1, 1])plt.xlabel('layer ' + str(idx + 1))plt.yticks([])#把y轴刻度关掉plt.show()

前面结果还好，后面的趋势却是越来越接近0

五，He initialization的思想是：在ReLU网络中，假定每一层有一半的神经元被激活，另一半为0，所以，要保持variance不变，只需要在Xavier的基础上再除以2：

W = tf.Variable(np.random.randn(node_in,node_out)) / np.sqrt(node_in/2)

六，Batch Normalization是一种巧妙而粗暴的方法来削弱bad initialization的影响，我们想要的是在非线性activation之前，输出值应该有比较好的分布（例如高斯分布），以便于back propagation时计算gradient，更新weight。

#10层神经网络
data = tf.constant(np.random.randn(2000, 800).astype('float32'))
layer_sizes = [800 - 50 * i for i in range(0, 10)]
num_layers = len(layer_sizes)fcs = []
for i in range(0, num_layers - 1):X = data if i == 0 else fcs[i - 1]node_in = layer_sizes[i]node_out = layer_sizes[i + 1]W = tf.Variable(np.random.randn(node_in, node_out).astype('float32'))/np.sqrt(node_in)fc = tf.matmul(X, W)fc = tf.contrib.layers.batch_norm(fc, center=True, scale=True,is_training=True)fc = tf.nn.relu(fc)fcs.append(fc)#
with tf.Session() as sess:sess.run(tf.global_variables_initializer())print('input mean {0:.5f} and std {1:.5f}'.format(np.mean(data.eval()),np.std(data.eval())))for idx, fc in enumerate(fcs):print('layer {0} mean {1:.5f} and std {2:.5f}'.format(idx + 1, np.mean(fc.eval()),np.std(fc.eval())))for idx, fc in enumerate(fcs):print(fc)plt.subplot(1, len(fcs), idx + 1)#绘制直方图30个binplt.hist(fc.eval().flatten(), 30, range=[-1, 1])plt.xlabel('layer ' + str(idx + 1))plt.yticks([])#把y轴刻度关掉plt.show()

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/493478.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

单片机实验报告-片内外RAM的数据转移

单片机实验报告-片内外RAM的数据转移

一、实验目的： 1.掌握C51编程基础，C51程序结构。 2.掌握C51数据类型、函数设计。 3.掌握C51程序的编辑、编译、调试和运行 二、编程提示 编程将片外8000H单元开始的10字节的内容移至8100H开始的各单元中。8000H单元开始的10字节内容用编程方式赋值。…
阅读更多...
单片机实验-定时中断

单片机实验-定时中断

一.实验目的 1.掌握51单片机定时器工作原理。 2.掌握51单片机中断系统工作原理。 3.掌握定时器初始化编程。 4.掌握中断程序的编写和调试。 二.实验设备和器件 1.KEIL软件 2.PROTEUS仿真软件 3.伟福实验箱 三．实验内容 （1）编程实…
阅读更多...
2018全球最值得关注的60家半导体公司，7家中国公司新上榜 | 年度榜单

2018全球最值得关注的60家半导体公司，7家中国公司新上榜 | 年度榜单

编译 | 张玺 四月来源：机器之能由《EE Times》每年评选全球值得关注的 60 家新创半导体公司排行榜——『Silicon 60』，今年已经迈向第 19 届，今年的关键词仍然是「机器学习」(machine learning)，它正以硬件支持的运算形式强势崛起…
阅读更多...
单片机实验报告-串口实验

单片机实验报告-串口实验

一.实验目的 1. 掌握 51 单片机串口工作原理。 2. 掌握 51 单片机串口初始化编程。 3. 掌握 51 单片机串口的软硬件编程。 二.实验设备和器件 1.KEIL软件 2.PROTEUS仿真软件 3.伟福实验箱 三．实验内容 （1）编程实现&#xff1a…
阅读更多...
学习率周期性变化

学习率周期性变化

学习率周期性变化，能后解决陷入鞍点的问题，更多的方式请参考https://github.com/bckenstler/CLR base_lr:最低的学习率 max_lr:最高的学习率 step_size：（2-8）倍的每个epoch的训练次数。 scale_fn(x)：自…
阅读更多...
清华发布《人工智能AI芯片研究报告》，一文读懂人才技术趋势

清华发布《人工智能AI芯片研究报告》，一文读懂人才技术趋势

来源：Future智能摘要：大数据产业的爆炸性增长下，AI 芯片作为人工智能时代的技术核心之一，决定了平台的基础架构和发展生态。 近日，清华大学推出了《 人工智能芯片研究报告 》，全面讲解人工智能芯片&#xf…
阅读更多...
开发者账号申请 真机调试 应用发布

开发者账号申请 真机调试 应用发布

技术博客http://www.cnblogs.com/ChenYilong/ 新浪微博http://weibo.com/luohanchenyilong 开发者账号申请 真机调试 应用发布 技术博客http://www.cnblogs.com/ChenYilong/新浪微博http://weibo.com/luohanchenyilong 要解决的问题 • 开发者账号申请 • 真机调试 • 真机调…
阅读更多...
单片机实验-DA实验

单片机实验-DA实验

一、实验目的 1、了解 D/A 转换的基本原理。 2、了解 D/A 转换芯片 0832 的性能及编程方法。 3、了解单片机系统中扩展 D/A 转换的基本方法。 二.实验设备和器件 1.KEIL软件 2.实验箱 三．实验内容 利用 DAC0832，编制程序产生锯齿波、三角波、正弦…
阅读更多...
进化三部曲，从互联网大脑发育看产业互联网的未来

进化三部曲，从互联网大脑发育看产业互联网的未来

摘要：从互联网的左右大脑发育看，产业互联网可以看做互联网的下半场，但从互联网大脑的长远发育看，互联网依然处于大脑尚未发育成熟的婴儿时期，未来还需要漫长的时间发育。参考互联网右大脑的发育历程，我们判…
阅读更多...
pycharm远程连接服务器（docker）调试＋ssh连接多次报错

pycharm远程连接服务器（docker）调试＋ssh连接多次报错

一，登入服务器建docker nvidia-docker run -it -v ~/workspace/:/workspace -w /workspace/ --namefzh_tf --shm-size 8G -p 1111:22 -p 1112:6006 -p 1113:8888 tensorflow/tensorflow:1.4.0-devel-gpu bash 二，开ssh服务 apt-get update apt-get i…
阅读更多...
Verilog HDL语言设计4个独立的非门

Verilog HDL语言设计4个独立的非门

代码： module yanxu11(in,out); input wire[3:0] in; output reg[3:0] out; always (in) begin out[0]~in[0]; out[1]~in[1]; out[2]~in[2]; out[3]~in[3]; end endmodule timescale 1ns/1ns module test(); reg[3:0] in; wire[3:0] out; yanxu11 U(…
阅读更多...
深度长文：表面繁荣之下，人工智能的发展已陷入困境

深度长文：表面繁荣之下，人工智能的发展已陷入困境

来源：36氪编辑：郝鹏程摘要：《连线》杂志在其最近发布的12月刊上，以封面故事的形式报道了人工智能的发展状况。现在，深度学习面临着无法进行推理的困境，这也就意味着，它无法让机器具备像人一样的…
阅读更多...
Verilog HDL语言设计一个比较电路

Verilog HDL语言设计一个比较电路

设计一个比较电路，当输入的一位8421BCD码大于4时，输出为1，否则为0，进行功能仿真，查看仿真结果，将Verilog代码和仿真波形图整理入实验报告。 代码： module yanxu12(in,out); input wire[3:0] i…
阅读更多...
交叉熵

交叉熵

1.公式 用sigmoid推导 上式做一下转换： y 视为类后验概率 p(y 1 | x)，则上式可以写为： 则有： 将上式进行简单综合，可写成如下形式： 写成对数形式就是我们熟知的交叉熵损失函数了，这也是交叉熵…
阅读更多...
第5章 散列

第5章 散列

我们在第4章讨论了查找树ADT，它允许对一组元素进行各种操作。本章讨论散列表(hash table)ADT，不过它只支持二叉查找树所允许的一部分操作。 散列表的实现常常叫作散列(hashing)。散列是一种以常数平均时间执行插入、删除和查找的技术。但是，那…
阅读更多...
谷歌自动驾驶是个大坑，还好中国在构建自己的智能驾驶大系统

谷歌自动驾驶是个大坑，还好中国在构建自己的智能驾驶大系统

来源：张国斌中国有堪称全球最复杂的路况，例如上图是去年投入使用的重庆黄桷湾立交桥上下共5层，共20条匝道，堪称中国最复杂立交桥之最，据称走错一个路口要在这里一日游，这样的立交桥如果让谷歌无人驾驶车上去…
阅读更多...
Verilog HDL语言设计计数器+加法器

Verilog HDL语言设计计数器+加法器

完成课本例题4.12，进行综合和仿真（包括功能仿真和时序仿真），查看仿真结果，将Verilog代码和仿真波形图整理入实验报告。 功能文件： module shiyan1(out,reset,clk); input reset,clk; output reg[3:0] ou…
阅读更多...
自动驾驶寒冬与否，关键看“芯”

自动驾驶寒冬与否，关键看“芯”

来源：智车科技摘要：2018年，全世界瞩目的半导体行业大事件无疑是高通收购恩智浦了。虽然，最终这笔收购案以失败结尾，但高通的收购恩智浦的意图就是出自于拓展汽车芯片市场。智能汽车芯片的重要性也得以突显。前不久&…
阅读更多...
如何知道自己的CPU支持SLAT

如何知道自己的CPU支持SLAT

因为WP8 SDK发布，很多WP8的开发者们也开始陆续安装WP8的SDK的，然而安装WP8的SDK有很多软件和硬件的要求，其中有一个就是——要求CPU支持二级地址转换（SLAT），如果CPU不支持二级地址转换的话，在电…
阅读更多...
opencv基础知识及其一些例子

opencv基础知识及其一些例子

opencv官网 一.插值法 1.最近邻插值 上图可看出f(p)f(Q11),缺点可能出现明显的块状。 2.线性插值 3.双线性插值 通过线性插值确定R1和R2,最终在确定P 二.cv2.putText 图片添加文字 import cv2 img cv2.imread(caijian.jpg) font cv2.FONT_HERSHEY_SIMPLEXimgzi cv2.putT…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023