神经网络使用Xavier参数初始化的本质

参数初始化的意义和目的

深度学习中的各种参数初始化方法都旨在保持正向传播时数据流方差的稳定与反向传播时梯度流方差的稳定,从而缓解梯度消失或梯度爆炸问题。

先前在反向传播这篇文章里介绍过参数初始化对于深度学习的重要性,本文不再赘述。

在该文最后的例子中可以看到好的参数初始化策略确实能使神经网络的训练过程更趋稳定。在例子中,我们直接使用了一个Xavier初始化策略的标准差生成了高斯分布的权重,但没有说明这个标准差是如何得来的,本篇文章将在此基础上做个引申。

我们想使神经网络传播过程每层的数据流或梯度流输出的方差保持不变。

考虑一个非线性无偏置的简单全连接,隐藏层接受 n i n n_{in} nin 个输入并生成 n o u t n_{out} nout 个输出。具体来说,输入数据为 x x x ,共 n i n n_{in} nin 个特征,满足均值为0、方差为 γ 2 \gamma^2 γ2 ;每个神经元的输出为 o i o_i oi w i j w_{ij} wij 是输入 x x x 到输出 o i o_i oi 的权重,满足均值为0、方差为 σ 2 \sigma^2 σ2 ,且假设 x j x_j xj w i j w_{ij} wij 相互独立

对于前向传播, o i o_i oi 可表示为:

o i = ∑ j = 1 n i n w i j x j       ( 1 ) o_i=\sum_{j=1}^{n_{in}} w_{ij} x_j \ \ \ \ \ (1) oi=j=1ninwijxj     (1)

Xavier参数初始化意图使每一层输出的方差接近其输入的方差,即要使输出 o i o_i oi 的方差接近输入 x j x_j xj 的方差。

o i o_i oi 的均值 E ( o i ) E(o_i) E(oi)

由期望的定义及式 ( 1 ) (1) (1) 可得:

E ( w i j ) = 0       ( 2 ) E(w_{ij})=0 \ \ \ \ \ (2) E(wij)=0     (2)

E ( x j ) = 0       ( 3 ) E(x_j)=0 \ \ \ \ \ (3) E(xj)=0     (3)

E ( o i ) = ∑ j = 1 n i n E ( w i j x j )       ( 4 ) E(o_i)=\sum_{j=1}^{n_{in}} E(w_{ij} x_j) \ \ \ \ \ (4) E(oi)=j=1ninE(wijxj)     (4)

因为 x j x_j xj w i j w_{ij} wij 相互独立,所以 E ( w i j x j ) = E ( w i j ) E ( x j ) E(w_{ij} x_j)=E(w_{ij})E(x_j) E(wijxj)=E(wij)E(xj) ,代入式 ( 4 ) (4) (4) 可得:
E ( o i ) = ∑ j = 1 n i n E ( w i j x j ) = ∑ j = 1 n i n E ( w i j ) E ( x j ) = 0       ( 5 ) \begin{align} E(o_i) & = \sum_{j=1}^{n_{in}} E(w_{ij} x_j) \hspace{100cm} \\ &=\sum_{j=1}^{n_{in}} E(w_{ij})E(x_j) \\ &=0 \ \ \ \ \ (5) \end{align} E(oi)=j=1ninE(wijxj)=j=1ninE(wij)E(xj)=0     (5)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/26275.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ELasticSearch数据迁移方案-elasticdump

前言 在企业实际生产环境中,避免不了要对es集群进行迁移、数据备份与恢复,以此来确保数据的可用性及完整性。因此,就涉及到了数据备份与恢复。本章主要以elasticdump工具为主,来迁移数据;如果按照索引来迁移的话,我们的…

超详解——Python 元组详解——小白篇

目录 1. 元组简介 创建元组 2. 元组常用操作 访问元组元素 切片操作 合并和重复 成员操作符 内置函数 解包元组 元组方法 3. 默认集合类型 作为字典的键 作为函数参数 作为函数的返回值 存储多种类型的元素 4.元组的优缺点 优点 缺点 5.元组的使用场景 数据…

如何降低pcdn的延迟?

要降低P2P CDN的延迟,可以采取以下操作: 一.优化网络连接: 1、使用有线网络连接替代无线连接,因为有线连接通常提供更稳定的数据传输。 2、升级家庭或企业路由器,选择性能更好的路由器以提高网络传输速度…

6月11号作业

思维导图 #include <iostream> using namespace std; class Animal { private:string name; public:Animal(){}Animal(string name):name(name){//cout << "Animal&#xff1b;有参" << endl;}virtual void perform(){cout << "讲解员的…

【FineReport】帆软调用服务器的kettle作业

1、编写自定义函数并编译 package com.fr.function;import ch.ethz.ssh2.ChannelCondition; import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import ch.ethz.ssh2.StreamGobbler; import com.fr.script.AbstractFunction;import java.io.BufferedReader; impo…

【web APIs】快速上手Day02

文章目录 Web APIs - 第2天事件事件监听案例一 :京东点击关闭顶部广告案例二&#xff1a;随机点名案例拓展知识-事件监听版本 双击事件 事件类型鼠标事件综合案例-轮播图完整版 焦点事件综合案例-小米搜索框案例 键盘事件文本事件 事件对象综合案例-按下回车发布评论 环境对象回…

算法day27

第一题 515. 在每个树行中找最大值 首先是遍历每层的节点&#xff0c;将每一层最大值的节点的值保留下来&#xff0c;最后将所有层的最大值的表返回&#xff1b;具体的遍历每层节点的过程如上一篇故事&#xff1b; 综上所述&#xff0c;代码如下&#xff1a; /*** Definition …

openssl工具国际/国密签名命令行流程

openssl工具国际/国密签名命令的流程 国际签名算法(RSA2048 + SHA256)1. 生成privkey2. 生成pubkey3. 生成签名验证签名国密算法签名(SM2 + SM3)1. 生成privkey2. 生成pubkey3. 生成sm34. 生成签名5. 验证签名跳槽文档带不出来,每次开发设计安全启动都要重新调试一边opens…

数据结构与算法题目集(中文) 6-3 求链表的表长

该代码使用循环遍历链表来计算链表的长度。代码首先定义了一个整数变量i用于计数&#xff0c;并初始化为0。然后进入一个while循环&#xff0c;条件为链表L非空。在循环中&#xff0c;通过L L->Next来遍历链表中的每一个节点&#xff0c;并将计数变量i递增。最终返回计数变…

2024海南省大数据教师培训-Hadoop集群部署

前言 本文将详细介绍Hadoop分布式计算框架的来源&#xff0c;架构和应用场景&#xff0c;并附上最详细的集群搭建教程&#xff0c;能更好的帮助各位老师和同学们迅速了解和部署Hadoop框架来进行生产力和学习方面的应用。 一、Hadoop介绍 Hadoop是一个开源的分布式计算框架&…

文献解读-农业系列-第七期|《高粱驯化的基因组足迹和多种最终用途的育种选择》

关键词&#xff1a;高粱基因分析&#xff1b;基因组变异检测&#xff1b;全基因组重测序&#xff1b; 文献简介 标题&#xff08;英文&#xff09;&#xff1a;Genomic footprints of sorghum domestication and breeding selection for multiple end uses标题&#xff08;中文…

【Linux系统化学习】传输层——TCP协议

目录 预备知识 全双工协议 协议缓冲区 TCP协议 TCP协议格式 六个标志位 两个问题 确认应答机制 流量控制 超时重传机制 连接管理机制 CLOSE_WAIT状态 TIME_WAIT状态 滑动窗口 拥塞控制 延迟应答 捎带应答 粘包问题 TCP的异常情况 TCP小结 TCP/UDP协议对比…

python数据处理分析库(二)

目录 一、Scikit-Learn 二、TensorFlow and Keras 三、BeautifulSoup and Requests 一、Scikit-Learn 场景&#xff1a;机器学习建模和评估&#xff0c;分类、回归、聚类、模型评估简单示例&#xff1a; from sklearn.model_selection import train_test_split from sklear…

MAC认证

简介 MAC认证是一种基于接口和MAC地址对用户的网络访问权限进行控制的认证方法&#xff0c;它不需要用户安装任何客户端软件。设备在启动了MAC认证的接口上首次检测到用户的MAC地址以后&#xff0c;即启动对该用户的认证操作。认证过程中&#xff0c;不需要用户手动输入用户名…

成都跃享未来教育抖音小店深度解析靠谱与否

在如今网络购物日益繁荣的时代&#xff0c;抖音小店以其独特的平台优势和庞大的用户基础&#xff0c;吸引了越来越多的商家入驻。成都跃享未来教育咨询有限公司便是其中之一&#xff0c;它的抖音小店究竟靠不靠谱呢&#xff1f;今天&#xff0c;我们就来一起揭开这个谜底。 首…

Web前端开发岗位:深度解析与未来展望

Web前端开发岗位&#xff1a;深度解析与未来展望 Web前端开发岗位&#xff0c;作为互联网行业的核心力量之一&#xff0c;承载着网站与应用的视觉呈现与交互设计。在这个岗位中&#xff0c;开发者们不仅需要掌握丰富的技术知识&#xff0c;还需具备创新的思维和敏锐的审美眼光…

刷题训练之分治归并

> 作者&#xff1a;დ旧言~ > 座右铭&#xff1a;松树千年终是朽&#xff0c;槿花一日自为荣。 > 目标&#xff1a;熟练掌握分治归并算法。 > 毒鸡汤&#xff1a;学习&#xff0c;学习&#xff0c;再学习 ! 学&#xff0c;然后知不足。 > 专栏选自&#xff1a;刷…

神经气体生长算法【GNG】

当德国计算神经学家 Bernd Fritzke 在其 1995 年的开创性论文中提出后来被称为神经气体生长&#xff08;GNG&#xff09;的算法时&#xff0c;机器学习还是一个相对较新的领域&#xff0c;并且受到实际神经科学的极大启发。 当时&#xff0c;神经科学正处于一个突破性的时代—…

MySQL表设计经验汇总篇

文章目录 1、命名规范2、选择合适的字段类型3、主键设计要合理4、选择合适的字段长度5、优先考虑逻辑删除&#xff0c;而不是物理删除6、每个表都需要添加通用字段7、一张表的字段不宜过多8、定义字段尽可能not null9、合理添加索引10、通过业务字段冗余来减少表关联11、避免使…

电子元器件批发的几种模式

电子元器件的批发模式多种多样&#xff0c;以下是几种常见的模式&#xff1a; 传统批发模式&#xff1a;传统的电子元器件批发模式是指厂商或代理商通过与制造商签订合同&#xff0c;大批量购买元器件&#xff0c;并将其以较低的价格批发给零售商或其他中小型企业。这种模式通常…