1.23神经网络框架(sig函数),逆向参数调整法(梯度下降法,链式法则(理解,及处理多层神经网络的方式))

框架 

输入层

 隐藏层

存在一个阈值,如果低于某一阈值就不激活;高于了就激活

输出层

逆向参数调整方法

 

初始阶段,随机设置权重值w1,w2

依据训练集

两个数学方法 (梯度下降、链式法则)

 调参借助两个数学方法

当导数为负时,步幅为正

就是说,这个调参是建立在预测结果与实际结果基础上的;自变量是参数,权重,因变量是反映预测结果与实际间的差距(为误差平方和),目的是要让这个差距最小

就是不同的权重参数下,有不同的误差差距,由此有个参数与误差间的函数;然后依据每点参数下的导数,去逐渐调整参数权值w;

当导数为负时,说明此时增大权值会使误差减少;当导数为正时,此时增大权值会使误差增大;故应始终朝使误差减少的方向,所以调整步幅要与导数方向相反

然后还有一个学习因子,表示基于当下参数的导数下,一个恒定的学习步幅,因子越大,那么调整的幅度越大;

在求导过程中会用链式法则

就是求导是求误差与参数间的关系,误差与神经网络产生的输出有直接关系,与参数无直接关系;产生的输出与隐藏层的激励函数有直接关系,是sim函数(即g函数),sim与权值设置w有直接关系,由此是链式法则 

这里是省略了隐藏层,就是隐藏层直接就是输出层,

可以发现是有这样一步的,g就是隐藏层汇总的信息,w是从输入层到隐藏层的汇总

E对g求偏导的结果、形式应该是固定的

对于汇总输入信号到隐藏层中的求导过程,是对wj求偏导,也就是只去确定一个权值,这就自动忽略了其他神经元对这个隐藏层神经元的影响,即其他权值wi(i不等于j)对这个路径无影响

是输入层接受输入,然后对各个隐藏层产生权值和积累,最后每个隐藏神经元会积累的权值和为gx

x是最开始的直接输入,隐藏神经元会依据其所接受的信号强度,产生它的激励,即E函数,作为这个隐藏层神经元的输出,有输出就会和最终结果有差距,就会产生S

所以就是

x->g->e->s

x依据各个输入层之间的神经元权重分配,分配给相应的隐藏层



多层

就是说,e对xj求偏导是体现的输出层对其紧邻的单个隐藏层神经元的关系,是紧邻的单个隐藏层神经元到它的路径,它有权值为w1,w2,这要确定就是确定w1,w2,确定好这个以后再往前回去推更前一层的权值,也就是说在更上一层时,w1,w2就已经成为了常数

e对xj求偏导是第j个最里层隐藏层对输出层的影响,然后xj对wi'求偏导,是外面一层的所有神经元中的第最里层的第i个对第j个下层隐藏层的影响,是隔离了其他外层神经元的影响

最终要建立的是,最后的误差与各个神经元连接之间的直接函数关系与导数关系,依据的就是这个神经元到最后最终输出所经过的神经元路径的链式法则来确定

要确定w1,就是它到最后输出只有一条路,所以只有少量的链式法则;对于w1',要在递归上w1

对于步骤5,S是误差,E是最终输出,确定xj参数

输出由参数以及输入所确定,是一个二元的,所以即使在只有一层时,也是偏导,即在一层时,是保证统一输入来去调整参数;

在这里,是先确定好最里层的参数,然后就是保证参数不变,去依据外层的参数w'的变化使这里输入发生变化,所以是变成了对里层隐藏层的输入x求偏导,,而不是其到输出层的参数w求偏导

然后里层隐藏层的输入受限于外一层隐藏层,然后依次确定这个连接的参数w',就是对其求偏导,就是控制上一层的输入不变,调整其参数w',因为就是要去确定这个参数w',也就是链式法则的最底层

如果它不是最底层,就是要保证这个参数w'在后续不会再发生变化,从而在这一层链式法则中,求偏导不是对参数w'求,而是对这个外层神经元的输入去求偏导,然后在那个外层神经元基础上去继续求偏导,直到找到要确定的参数的位置,即那个参数引起后续联通其到输出层神经元路径上的所有其他神经元变化

即,如果有多层,那么就有多次的链式法则,但只有一个w参数,这个参数是在最后的链式法则,就是这个w影响了其后续所有的神经元输入值的变化,然后中间过程的求偏导,都是对该神经元的输入求偏导,而不是对其与输出层所联通的权值w求偏导

对于上层隐藏层通过路径w对下层隐藏层造成的影响求偏导,其结果都满足 

注意应当是紧邻的输入与输出层的关系,就是直接这个输入,在对于权值w下,直接对其相连的神经元造成的影响,是这样,是由于选取的激励函数g函数是sim函数所决定的形式;然后最后要固定输入,定权值的影响,所以xj就是常量,在求导结果表达式当中

里层神经元与上一层单个神经元,由权值与其输入共同决定,还需要注意,里层不仅与这个相连,与其他的都相连,只是在对单个xj,或wj求偏导后,其他的都直接为0没了

E是这个里层神经元最后产生的输出,xj是外层神经元所接受的信号, 要知道权值的影响,就是对权值求偏导

对权值求偏导,那么输入就作为常数体现在最后的影响里;对输入求偏导,那么权值参数就作为常量体现在最后的影响里



u是最原始输入,w是第一层输出,x是第二层输出,e是最终输出层

就是说我们要得到的是在特定训练集下,参数与其所产生的预测误差之间的差距的导数,

既然是特定训练集,那么原始输入可以视为常数,因为要调整的是参数w,自变量是w

要注意的是,w是两层神经元连接的权重

这个式子里的j,是说要确定多个与输出层连接的隐藏层之间的权重,要确定是要一个一个的确定

数学总结理解 

就是说,激励函数是确定每层神经元递归下去时所带的一项,就是描绘的输入与输出之间的递归变化关系,sig函数是x(1-x)w,(对应是里层输出x,以及参数w不变,输入边)

每递归一层,就会多一个这样的形式,这样的形式由激励函数所确定,就是求导求出来的

然后还有2(E-y),这个是由最外面的梯度下降的检验方式,即误差平方所决定的,每个表达式里都有,而且唯一

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/652576.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024.1.27 GNSS 学习笔记

1.精确的描述轨道的一组数据(星历)是实现精确定位与导航的基础。 2.GNSS卫星广播星历的提供方式一般有两种:一种是提供开普勒轨道参数和必要的轨道摄动改正项参数,如GPS、BDS、Galileo三大系统采用此种模式,还有QZSS系统;另一种是…

Spring Cloud 之Config详解

大家好,我是升仔 在微服务架构中,统一的配置管理是维护大规模分布式系统的关键。Spring Cloud Config为微服务提供集中化的外部配置支持,它可以与各种源代码管理系统集成,如Git、SVN等。本文将详细介绍如何搭建配置服务器、管理客…

用ASM HEMT模型提取GaN器件的参数

标题:Physics-Based Multi-Bias RF Large-Signal GaNHEMT Modeling and Parameter Extraction Flow (JEDS 17年) 模型描述 该模型的核心是对表面势(ψ)及其随施加的栅极电压(Vg)和漏极电压(Vd&#xff09…

C++ STL中list迭代器的实现

list 的模拟实现中,重难点在于迭代器功能的实现,因此本文只围绕 iterator 及 const_iterator 的设计进行介绍,其余如增删查改则不再赘述——在C语言的基础上,这些都非常简单。 与 string / vector 不同,list 的节点原生…

【时间安排】

最近刚刚回到家,到家就是会有各种事情干扰,心里变乱人变懒的,而要做的事情也要继续,写论文,改简历,学习新技能。。 明天后天两天写论文改简历 周一(早上去城市书房,可能吵一点戴个耳…

【深度学习:开源BERT】 用于自然语言处理的最先进的预训练

【深度学习:开源BERT】 用于自然语言处理的最先进的预训练 是什么让 BERT 与众不同?双向性的优势使用云 TPU 进行训练BERT 结果让 BERT 为您所用 自然语言处理 (NLP) 面临的最大挑战之一是训练数据的短缺。由于 NLP 是一个具有许多…

C#学习(十一)——Array和Collection

一、集合 集合重要且常用 孤立的数据是没有意义的,集合可以作为大量数据的处理,可进行数据的搜索、迭代、添加、删除。 C#中,所有集合都必须实现ICollection接口(数组Array除外) 集合说明Array数组,固定长…

【GitHub项目推荐--基于 AI 的口语训练平台】【转载】

Polyglot Polyglot 是一个开源的基于 AI 的口语训练平台客户端,可以在 Windows、Mac 上使用。 比如你想练习英语口语,只需在该平台配置一个虚拟的 AI 国外好友,你可以通过发语音的方式和 AI 好友交流,通过聊天的方式提升你的口…

中仕教育:事业单位考试考什么?

事业单位考试分为两个阶段,分别是笔试和面试,考试科目包括公共科目和专业科目两部分。 公共科目内容是公共基础知识、职业能力测试或申论。一种形式为:公共基础知识职业能力测试或职业能力测试申论。另一种形式为:公共基础申论。…

c语言基础6

1.逗号表达式 逗号表达式,就是用逗号隔开的多个表达式。 逗号表达式,从左向右依次执行。整个表达式的结果是最后⼀个表达式的结果。 我们来看下面的一个代码: int main() {int a 1;int b 2;int ret (a > b, a b 2, b, b a 1);p…

Nginx实现反向代理负载均衡实验

实验环境: VM REdhat虚拟机(192.168.87.5)一台、VM Redhat虚拟机(192.168.87.3)一台、阿里云服务器(47.93.79.92)一台 实验要求:通过windows浏览器访问192.168.87.5(虚…

《合成孔径雷达成像算法与实现》Figure5.19

clc clear close all距离向参数 R_eta_c 20e3; % 景中心斜距 Tr 25e-6; % 发射脉冲时宽 Kr 0.25e12; % 距离向调频率 Fr 7.5e6; % 距离向采样率 Nrg 256; % 距离线采样点数 Bw abs(Kr*Tr); …

仰暮计划|“她就是用她的一双小脚把我们兄弟姐妹几个拉扯大的”

在残存的一些老物件中,在一些泛黄的相片中,掩藏着岁月的冲刷和青葱的时光。曾经无忧无虑的少女早已白发苍苍,不复青春貌美;曾经在父母面前笑闹的孩子早已变成他人眼中的长辈。 ——题记 她的身影也许并不高大,甚至还略…

Linux编辑器vim(含vim的配置)

文章目录 前言vim的基本概念vim基本操作进入vim模式切换退出vim vim指令vim命令模式指令vim底行模式命令 简单vim配置 前言 本篇文章,小编将介绍Linux编辑器–>vim以及vim的配置。 vim的基本概念 正常/普通/命令模式(Normal mode) 控制屏幕光标的移动&#xf…

Gin 框架之jwt 介绍与基本使用

文章目录 一.JWT 介绍二.JWT认证与session认证的区别2.1 基于session认证流程图2.2 基于jwt认证流程图 三. JWT 的构成3.1 header : 头部3.2 payload : 负载3.2.1 标准中注册的声明 (建议但不强制使用)3.2.2 公共的声明3.2.3 私有的声明3.2.4 定义一个payload 3.3 signatrue : …

【计算机网络】概述|分层体系结构|OSI参考模型|TCP/IP参考模型|网络协议、层次、接口

目录 一、思维导图 二、计算机网络概述 1.计算机网络定义、组成、功能 2.计算机网络分类 3.计算机网络发展历史 (1)计算机网络发展历史1:ARPANET->互联网 (2)计算机网络发展历史2:三级结构因特网 …

jenkins对接K8S

创建连接K8S的凭据 查看需要使用到的命名空间 [rootk8s ~]# kubectl get ns |grep arts-system arts-system Active 16d创建service accounts [rootk8s ~]# kubectl create sa jenkins-k8s -n arts-system serviceaccount/jenkins-k8s created [rootk8s ~]# kubectl…

一键批量处理,轻松为HTML文本添加所需内容

你是否曾经遇到过需要批量处理大量HTML文本的情况?是否曾经因为一个个编辑而感到繁琐和无趣?现在,这些问题都可以得到轻松解决!我们的文本批量处理工具,为你提供一站式的服务,让你告别重复繁琐的操作&#…

java eazyexcel 实现excel的动态多级联动下拉列表(2)使用MATCH+OFFSET函数

原理 同样是将数据源放到一个新建的隐藏的sheet中,第一行是第一个列表的数据,第二行是每一个有下级菜单的菜单,他下面的行就是他下级菜单的每一值使用MATCH函数从第二行找到上级菜单对应的列根据OFFSET函数从2中获取的列,取得下级…

深度学习之处理多维特征的输入

我们首先来看一个糖尿病的数据集: 在数据集中,我们称每一行叫做sample,表示一个样本,称每一列是feature,也就是特征在数据库里面这就是一个关系表,每一行叫做记录,每一列叫做字段。 每一个样本都…