深度学习——神经网络中前向传播、反向传播与梯度计算原理

一、前向传播

1.1 概念

神经网络的前向传播(Forward Propagation)就像是一个数据处理的流水线。从输入层开始,按照网络的层次结构,每一层的神经元接收上一层神经元的输出作为自己的输入,经过线性变换(加权求和)和非线性变换(激活函数)后,将处理后的结果传递给下一层神经元。这个过程一直持续,直到输出层产生最终的输出结果。它是神经网络进行预测的主要步骤,数据按照正向的方向在网络中流动。

主要作用是根据给定的输入和当前神经网络的参数(权重和偏置),生成模型对该输入的预测输出。这个输出可以用于判断模型对输入数据的分类结果(如在分类任务中)或预测的数值(如在回归任务中)。

1.2 计算过程

以一个简单的全连接神经网络为例。

(1)输入层处理:将原始数据输入到神经网络的输入层。假设输入层有 n 个神经元,隐藏层有 m 个神经元,输出层有 p 神经元。输入数据为 x = ( x 1 , x 2 , … , x n ) x= (x_1, x_2, \ldots, x_n) x=(x1,x2,,xn)

(2)隐藏层计算:数据从输入层进入隐藏层后,通过线性组合和激活函数进行处理。对于输入层到隐藏层的连接,设权重矩阵为 W 1 W_1 W1 维度为(m x n),偏置向量为 b 1 b_1 b1 维度为(m x 1)。隐藏层的输入为 z 1 = W 1 x + b 1 z_1=W_1x+b_1 z1=W1x+b1 ,然后通过激活函数 f f f (如 ReLU( f ( z ) = m a x ( 0 , z ) f(z)=max(0,z) f(z)=max(0,z))、Sigmoid ( f ( z ) = 1 1 + e − z f(z)=\frac{1}{1+e^{-z}} f(z)=1+ez1)等)得到隐藏层的输出 a 1 = f ( z 1 ) a_1=f(z_1) a1=f(z1)

(3)输出层生成结果:隐藏层的输出作为输出层的输入,经过类似隐藏层的计算过程得到最终的输出。从隐藏层到输出层,设权重矩阵为 W 2 W_2 W2 维度为(p x m),偏置向量为 b 2 b_2 b2 维度为(p x 1)。输出层的输入为 z 2 = W 2 a 1 + b 2 z_2=W_2a_1+b_2 z2=W2a1+b2 ,再通过激活函数(如果需要)得到最终的输出 y = f ( z 2 ) y=f(z_2) y=f(z2)。例如,在一个多分类任务中,输出层可能使用 Softmax 激活函数将输出转化为各个类别上的概率分布。
在这里插入图片描述

二、反向传播

2.1 概念

反向传播(Backward Propagation)是一种用于计算神经网络中梯度的有效算法。它是基于链式法则,从输出层开始,反向计算损失函数关于网络中每个参数(权重和偏置)的梯度,以便在训练过程中更新参数,使得模型的预测输出与真实标签之间的损失函数值最小化。

主要作用是为神经网络的训练提供梯度信息。在训练过程中,通过使用梯度下降等优化算法,根据反向传播计算得到的梯度来更新网络的参数,使得神经网络能够逐渐学习到输入数据和输出标签之间的复杂关系,从而提高模型的预测准确性。

2.2 计算过程

首先,需要定义一个损失函数 L ,用于衡量模型的预测输出 y ^ \hat{y} y^ 与真实标签 y y y 之间的差异。

常见的损失函数有均方误差(MSE)(用于回归问题)
L = 1 n ∑ i = 1 n ( y ^ i − y i ) 2 L = \frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2 L=n1i=1n(y^iyi)2
交叉熵损失(Cross Entropy Loss) ( 用于分类问题)
L = − ∑ i = 1 n y i log ⁡ ( y ^ i ) L = -\sum_{i=1}^{n} y_{i} \log (\hat{y}_{i}) L=i=1nyilog(y^i)

交叉熵损失适用于多分类任务,也常结合 Softmax 使用。二元交叉熵损失(Binary Cross Entropy Loss)适用于二分类任务,也常结合 Sigmoid 使用。
L = − [ y log ⁡ ( y ^ ) + ( 1 − y ) log ⁡ ( 1 − y ^ ) ] L = -\left[ y \log(\hat{y}) + (1 - y) \log(1 - \hat{y}) \right] L=[ylog(y^)+(1y)log(1y^)]

在这里假设损失函数选用MSE,激活函数选用线性激活函数( f ( x ) = x f(x)=x f(x)=x)。

(1)以计算损失函数关于权重 W 2 W_2 W2 的梯度为例,根据链式法则 ∂ L ∂ W 2 = ∂ L ∂ z 2 ∂ z 2 ∂ W 2 \frac{\partial L}{\partial {W}_2} = \frac{\partial L}{\partial {z}_2} \frac{\partial {z}_2}{\partial {W}_2} W2L=z2LW2z2

  • 先计算 ∂ L ∂ z 2 \frac{\partial L}{\partial {z}_2} z2L ,它取决于损失函数的形式和激活函数的导数。由于 z 2 z_2 z2经过激活函数 f 得到 y ,即 y = f ( z 2 ) y=f(z_2) y=f(z2) 。所以 ∂ L ∂ z 2 = ∂ L ∂ y ⋅ ∂ y ∂ z 2 \frac{\partial L}{\partial z_2} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial z_2} z2L=yLz2y

    • 对于 ∂ L ∂ y \frac{\partial L}{\partial y} yL,这取决于损失函数。

      • 对于 MSE 损失函数 L = 1 n ∑ i = 1 n ( y ^ i − y i ) 2 L = \frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2 L=n1i=1n(y^iyi)2 ,对 y 求偏导, ∂ L ∂ y = 2 n ∑ i = 1 n ( y ^ i − y i ) \frac{\partial L}{\partial y} = \frac{2}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i) yL=n2i=1n(y^iyi)
    • 对于 ∂ y ∂ z 2 \frac{\partial y}{\partial z_2} z2y ,这取决于激活函数 f 的导数。

      • 例如,如果激活函数是线性函数 y = z 2 y=z_2 y=z2 (即( f ( z 2 ) = z 2 f(z_2)=z_2 f(z2)=z2)),那么 ∂ y ∂ z 2 = 1 \frac{\partial y}{\partial z_2}=1 z2y=1
      • 如果激活函数是 Sigmoid 函数 y = 1 1 + e − z 2 y = \frac{1}{1 + e^{-z_2}} y=1+ez21 ,那么 ∂ y ∂ z 2 = y ( 1 − y ) \frac{\partial y}{\partial z_2}=y(1-y) z2y=y(1y)
      • 如果激活函数是 ReLU 函数 y = max ⁡ ( 0 , z 2 ) y = \max(0, z_2) y=max(0,z2) ,当 z 2 > 0 z_2>0 z2>0 时, ∂ y ∂ z 2 = 1 \frac{\partial y}{\partial z_2}=1 z2y=1 ,当 z 2 ≤ 0 z_{2} \leq 0 z20 时, ∂ y ∂ z 2 = 0 \frac{\partial y}{\partial z_2}=0 z2y=0
    • ∂ L ∂ y \frac{\partial L}{\partial y} yL ∂ y ∂ z 2 \frac{\partial y}{\partial z_2} z2y相乘得到 ∂ L ∂ z 2 \frac{\partial L}{\partial {z}_2} z2L

  • 接着计算 ∂ L ∂ W 2 \frac{\partial L}{\partial {W}_2} W2L 。由前向传播得到的 z 2 = W 2 a 1 + b 2 z_2=W_2a_1+b_2 z2=W2a1+b2 ,可知 ∂ z 2 ∂ W 2 = a 1 \frac{\partial \mathbf{z}_2}{\partial {W}_2}=a_1 W2z2=a1 。所以可求出 ∂ L ∂ W 2 \frac{\partial L}{\partial {W}_2} W2L

(2)计算损失函数关于偏置 b 2 b_2 b2 的梯度。根据链式法则 ∂ L ∂ b 2 = ∂ L ∂ z 2 ⋅ ∂ z 2 ∂ b 2 \frac{\partial L}{\partial b_2} = \frac{\partial L}{\partial z_2} \cdot \frac{\partial z_2}{\partial b_2} b2L=z2Lb2z2 ∂ z 2 ∂ b 2 = 1 \frac{\partial z_2}{\partial{b}_2}=1 b2z2=1 ,可求出 ∂ L ∂ b 2 \frac{\partial L}{\partial b_2} b2L

(3)类似地,可以计算出关于其他权重和偏置的梯度,如 ∂ L ∂ W 1 \frac{\partial L}{\partial {W}_1} W1L ∂ L ∂ b 1 \frac{\partial L}{\partial b_1} b1L 等。
在这里插入图片描述

三、梯度下降

3.1 梯度下降

梯度下降(Gradient Descent)是一种常用的优化算法,广泛应用于神经网络以及众多机器学习模型的训练过程中,目的是通过迭代的方式来最小化目标函数(比如神经网络中的损失函数)的值。它的基本思想是沿着目标函数梯度(导数)的反方向更新模型参数,以逐步降低目标函数的值,直到找到一个局部最小值(在非凸函数情况下)或全局最小值(在凸函数情况下)。
在这里插入图片描述

对于一个损失函数(可微函数) L ( θ ) L(\theta) L(θ) (其中 θ \theta θ 表示模型的参数,如神经网络中的权重和偏置),函数在某一点的梯度 ∇ L ( θ ) \nabla L(\theta) L(θ) 表示函数在该点上升最快的方向。那么,梯度下降算法就是朝着与梯度相反的方向,即 − ∇ L ( θ ) -\nabla L(\theta) L(θ) 来更新参数。

具体的更新公式为 θ new = θ old − α ∇ L ( θ old ) \theta_{\text{new}} = \theta_{\text{old}} - \alpha \nabla L(\theta_{\text{old}}) θnew=θoldαL(θold)

其中 α \alpha α 是学习率(Learning Rate),它决定了每次更新参数的步长大小。如果学习率过大,可能会导致算法无法收敛,甚至发散;如果学习率过小,算法收敛速度会非常慢。
在这里插入图片描述
下面介绍一下常用的随机梯度下降(Stochastic Gradient Descent,SGD)。

每次迭代只使用一个随机选择的样本 ( x i , y i ) (x_i,y_i) (xi,yi) 来计算梯度并更新参数。即计算 ∇ L ( f ( x i ; θ ) , y i ) \nabla L(f(x_i; \theta), y_i) L(f(xi;θ),yi) ,然后 θ new = θ old − α ∇ L ( f ( x i ; θ ) , y i ) \theta_{\text{new}} = \theta_{\text{old}} - \alpha \nabla L(f(x_i; \theta), y_i) θnew=θoldαL(f(xi;θ),yi)

优点:计算速度快,因为每次只需要处理一个样本,能够快速地对参数进行更新,在处理大规模数据集时优势明显。

缺点:由于每次使用一个样本,梯度的估计会有很大的噪声,导致更新过程比较不稳定,可能会在最小值附近出现震荡,收敛速度可能会比较慢。

3.2 梯度爆炸

梯度爆炸(Gradient Explosion)是在训练神经网络时可能出现的一种不良现象。简单来说,就是在计算神经网络中参数的梯度时,梯度的值变得异常大,这会导致在使用基于梯度的优化算法(比如常见的随机梯度下降及其变种)去更新网络参数时,参数会以一种极不稳定且不合理的方式进行大幅度变化,进而使得网络难以收敛,甚至无法正常训练下去。

主要产生的原因有:

  • 深层网络的链式求导法则影响:在深度神经网络中,反向传播算法依据链式求导法则来计算梯度。对于一个有很多层的网络,每一层的误差对前面各层参数的梯度是通过层层相乘的方式来传递的。如果每一层的局部梯度都稍大于 1,那么经过多层传递后,梯度就会呈指数级增长,最终导致梯度爆炸。
  • 不合适的初始化参数:如果神经网络的权重初始化不当,比如将权重初始化为较大的值,那么在一开始进行反向传播计算梯度时,就很容易产生较大的梯度,后续随着训练迭代,这种较大梯度可能不断累积,引发梯度爆炸。
  • 激活函数选择问题:部分激活函数(如 Sigmoid 函数在输入值较大或较小时),其导数趋近于 0 或者非常大,当网络中较多神经元的激活函数处于这样的区间时,会导致梯度计算出现异常大的值,进而可能引发梯度爆炸情况。

3.3 梯度消失

梯度消失(Gradient Vanishing)同样是在神经网络训练过程中出现的棘手问题。它指的是在反向传播计算参数梯度时,梯度的值变得极小,近乎趋近于零,使得在利用基于梯度的优化算法更新网络参数时,参数几乎无法得到有效调整,进而影响网络的学习和收敛能力,导致网络难以训练出理想的性能表现。

主要产生的原因有:

  • 深层网络的链式求导法则影响:当网络层数较多时,如果每一层的局部导数都小于 1,经过多层相乘传递后,梯度就会呈指数级衰减。
  • 权重初始化不合理:如果权重初始值设置得太小,在开始反向传播计算梯度时,得到的梯度值本身就比较小,随着训练迭代,在经过多层网络的传递过程中,小梯度不断相乘累积,就容易造成梯度越来越小,直至出现梯度消失状况。
  • 激活函数特性:像 Sigmoid 函数,其导数在输入值较大或较小时趋近于 0。对于较深的神经网络,经过若干层后,神经元的输入很容易落入导数接近 0 的区间,这样后续反向传播计算梯度时,每层传递过来的梯度都会乘上这个极小的导数,从而使得梯度不断变小,最终出现梯度消失现象。Tanh 函数也存在类似的情况,在两端极限位置导数接近 0,同样可能引发梯度消失问题。

左边:梯度消失现象。右边:梯度爆炸现象。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/65019.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【初阶数据结构与算法】八大排序算法之归并排序与非比较排序(计数排序)

文章目录 一、归并排序二、非比较排序之计数排序三、归并排序和计数排序的性能测试 一、归并排序 归并排序(MERGE-SORT)是建⽴在归并操作上的⼀种有效的排序算法,该算法是采⽤分治法(Divide andConquer)的⼀个⾮常典型的应⽤   …

window安装TradingView

目录 下载安装包 修改文件后缀,解压 将K线换成国内涨红跌绿样式 下载安装包 https://www.tradingview.com/desktop/ 下载完成后是.msix格式文件 (我在win10和win11的系统中尝试运行msix都没有成功,所以放弃直接双击运行msix&#xff…

FPGA多路MIPI转FPD-Link视频缩放拼接显示,基于IMX327+FPD953架构,提供2套工程源码和技术支持

目录 1、前言工程概述免责声明 2、相关方案推荐本博主所有FPGA工程项目-->汇总目录我这里已有的 MIPI 编解码方案我这里已有的FPGA图像缩放方案本博已有的已有的FPGA视频拼接叠加融合方案 3、本 MIPI CSI-RX IP 介绍4、详细设计方案设计原理框图IMX327 及其配置FPD-Link视频…

React+Vite从零搭建项目及配置详解

相信很多React初学者第一次搭建自己的项目,搭建时会无从下手,本篇适合快速实现功能,熟悉React项目搭建流程。 目录 一、创建项目react-item 二、调整项目目录结构 三、使用scss预处理器 四、组件库Ant Design 五、配置基础路由 六、配置…

Unity复刻胡闹厨房复盘 模块一 新输入系统订阅链与重绑定

本文仅作学习交流,不做任何商业用途 郑重感谢siki老师的汉化教程与代码猴的免费教程以及搬运烤肉的小伙伴 版本:Unity6 模板:3D 核心 渲染管线:URP ------------------------------…

从零开始的编程-java篇1.6.1 万变不离其宗,hello word

前言: 通过实践而发现真理,又通过实践而证实真理和发展真理。从感性认识而能动地发展到理性认识,又从理性认识而能动地指导革命实践,改造主观世界和客观世界。实践、认识、再实践、再认识,这种形式,循环往…

【漏洞复现】CVE-2021-45788 SQL Injection

漏洞信息 NVD - cve-2021-45788 Time-based SQL Injection vulnerabilities were found in Metersphere v1.15.4 via the “orders” parameter. Authenticated users can control the parameters in the “order by” statement, which causing SQL injection. API: /test…

Mac系统下 idea运行maven项目中存在的问题BeanDefinitionStoreException

1.在进行 注解XML 方式整合三层架构事出现此问题 org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: file [/Volumes/PS2000/Java/SpringProject/micro-shop/spring-annotation-practice-03/target/classes/com/ja…

shiro注入filter内存马(绕过长度限制)

shiro环境 https://github.com/yyhuni/shiroMemshell(实验环境) 这里用的 Client_memshell.java package com.example.demo;import javassist.ClassPool; import javassist.CtClass; import org.apache.shiro.crypto.AesCipherService; import org.ap…

c语言大一期末复习

l例1&#xff1a;输入一行字符&#xff0c;统计其中空格的个数 #include<stdio.h> int main( ) { char ch; int count0; while((chgetchar())!\n) { if(ch ) { count1; } } printf("%d\n",coun…

心血管疾病中医怎么调理

心血管疾病在中医范畴内属于胸痹&#xff0c;中医会根据不同的证候&#xff0c;如心血瘀阻证、寒凝心脉证、痰浊闭阻证、心肾阴虚证、气阴两虚证等&#xff0c;采取不同的调理方法。以下是一些中医调理心血管疾病的常用手段&#xff1a; 一、中药调理 ‌心血瘀阻证‌&#xf…

群晖利用acme.sh自动申请证书并且自动重载证书的问题解决

前言 21年的时候写了一个在群晖&#xff08;黑群晖&#xff09;下利用acme.sh自动申请Let‘s Encrypt的脚本工具 群晖使用acme自动申请Let‘s Encrypt证书脚本&#xff0c;自动申请虽然解决了&#xff0c;但是自动重载一直是一个问题&#xff0c;本人也懒&#xff0c;一想到去…

raid 状态查看 storcli64

场景 当磁盘报错的时候使用该命令排查 fdisk -l /dev/sdb fdisk: cannot open /dev/sdb: Input/output error进一步使用 smartctl 排查 smartctl -a /dev/sdb 输出 smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-144-generic] (local build) Copyright (C) 2002-19, B…

《探索PyTorch计算机视觉:原理、应用与实践》

一、PyTorch 与计算机视觉的奇妙相遇 在当今数字化的时代&#xff0c;计算机视觉作为一门能够赋予机器 “看” 的能力的技术&#xff0c;正以前所未有的速度蓬勃发展&#xff0c;深刻地改变着我们的生活和众多行业的运作模式。从智能手机中的人脸识别解锁&#xff0c;到安防监控…

使用VSCode Debugger 调试 React项目

一般我们调试代码时&#xff0c;用的最多的应该就是console.log方式了&#xff0c;还有的是使用Chrome DevTools 通过在对应的 sourcemap代码位置打断点进行调试&#xff0c;除了上面两种方式外还有一种更好用的调试方式&#xff1a; VSCode Debugger。 VSCode Debugger可以直…

mapbox基础,加载mapbox官方地图

&#x1f468;‍⚕️ 主页&#xff1a; gis分享者 &#x1f468;‍⚕️ 感谢各位大佬 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! &#x1f468;‍⚕️ 收录于专栏&#xff1a;mapbox 从入门到精通 文章目录 一、&#x1f340;前言1.1 ☘️mapboxgl.Map 地图对象…

汽车IVI中控开发入门及进阶(三十八):手机投屏HiCar开发

手机投屏轻松实现手机与汽车的无缝连接,导航、音乐、通话等功能应有尽有,还支持更多第三方应用,让车载互联生活更加丰富多彩。 HiCar在兼容性和开放性上更具优势。 手机投屏可以说是车机的杀手级应用,大大拓宽了车机的可用性范围。其中华为推出的HiCar就是非常好用的一种。…

Elasticsearch:确保业务规则与语义搜索无缝协作

作者&#xff1a;来自 Elastic Kathleen DeRusso 利用查询规则与语义搜索和重新排序相结合的强大功能。 更多阅读&#xff1a; Elasticsearch 8.10 中引入查询规则 - query rules Elasticsearch 查询规则现已正式发布 - query rules 你是否知道查询规则&#xff08;query ru…

把riscv32位系统弄懂1:riscv32 CPU指令学习

Riscv手册 首先下载手册&#xff1a;文件下载----中国开放指令生态(RISC-V)联盟 从这个页面下载riscv-spec-v2.1中文版 也可以下载中科大的这本&#xff1a;RISC-V手册 Riscv32指令集包括基础指令集和一些扩展指令集&#xff0c;比如在ESP32C3技术手册中&#xff0c;写到E…

全国消费水平系统|Java|SSM|JSP|

【技术栈】 1⃣️&#xff1a;架构: B/S、MVC 2⃣️&#xff1a;系统环境&#xff1a;Windowsh/Mac 3⃣️&#xff1a;开发环境&#xff1a;IDEA、JDK1.8、Maven、Mysql5.7 4⃣️&#xff1a;技术栈&#xff1a;Java、Mysql、SSM、Mybatis-Plus、JSP、jquery,html 5⃣️数据库可…