交叉熵损失函数求导与Softmax函数求导

交叉熵损失函数求导与Softmax函数求导

  • 前情提要
  • 交叉熵损失函数
  • 对Softmax函数求导
  • 对交叉熵损失函数求导

前情提要

  在做单分类的时候,一般模型的最后一层是线性层Linear做分类器,输出在每个标签上的logits。损失函数为交叉熵损失函数,会对logits进行Softmax之后累计损失。

  为了理论基础和严谨,复习下求导运算。

交叉熵损失函数

  交叉熵函数在pytorch上的详细原理与实验验证请见博客:【pytorch】交叉熵损失函数 F.cross_entropy()。

  交叉熵损失函数公式如公式(1)所示:

L = − ∑ i N l a b e l i × ln ⁡ a i \begin{align}L = -\sum_{i}^N label_i \times \ln a_i\end{align} L=iNlabeli×lnai

  其中, l a b e l i label_i labeli是真实标签,也就是标签的one-hot编码,是一维常量。 a i a_i ai是经过了Softmax的概率logits,是一维向量。累计计算 N N N个样本的值,即可得到最终结果。

   a i a_i ai计算公式如公式(2)公式(3):

a i = S o f t m a x ( z i ) = e z i ∑ k M e z k \begin{align} a_i &= Softmax(z_i) \\ &= \frac {e^{z_i}} {\sum_{k}^M e^{z_k}} \end{align} ai=Softmax(zi)=kMezkezi

  其中, z i z_i zi是全连接层的输出logits中的第 i i i个,是一维向量。

对Softmax函数求导

  因为交叉熵损失函数中包含了Softmax函数,所以先求导Softmax

  对于公式(3),输入 z i z_i zi是全连接层的输出logits中的第 i i i个,所以我们对 z i z_i zi求导。但是因为Softmax公式的的分母包含了所有元素,所以为了方便计算,我们搞一个新变量,对 z j z_j zj求导。

  观察公式(3)的形状可知,Softmax函数是形如 g ( x ) h ( x ) \frac{g(x)}{h(x)} h(x)g(x)的函数,它的求导公式如公式(4)所示:

∂ a i ∂ z j = g ′ ( x ) h ( x ) − h ′ ( x ) g ( x ) h 2 ( x ) \begin{align} \frac{\partial a_i}{\partial z_j} = \frac{g'(x)h(x) - h'(x)g(x)}{h^2(x)} \end{align} zjai=h2(x)g(x)h(x)h(x)g(x)

  所以要得到Softmax的导数只需要知道 e z i e^{z_i} ezi ∑ e z k \sum e^{z_k} ezk的导数即可。

  ·当 i = j i=j i=j时, e z i e^{z_i} ezi z j z_j zj求偏导结果为 e z i e^{z_i} ezi或者 e z j e^{z_j} ezj都可以,因为 i = j i=j i=j
  ·当 i ≠ j i \not= j i=j时, e z i e^{z_i} ezi z j z_j zj求偏导结果为0,因为此刻 z i z_i zi z j z_j zj是两个不同的变量,所以求导为0;
  · ∑ e z k \sum e^{z_k} ezk z j z_j zj求偏导结果为 e z k e^{z_k} ezk,因为求和项里面总有一个 e z k e^{z_k} ezk

  于是当 i = j i=j i=j时,Softmax公式求导过程如公式(5):

∂ a i ∂ z j = ∂ e z i ∑ e z k ∂ z j = e z i ⋅ ∑ e z k − e z i ⋅ e z j ( ∑ e z k ) 2 = e z i ∑ e z k − e z i ∑ e z k ⋅ e z j ∑ e z k = a i ( 1 − a j ) (5) \begin{split} \frac{\partial a_i}{\partial z_j} &= \frac{\partial \frac{e^{z_i}}{\sum e^{z_k}}}{\partial z_j} \\ &= \frac{e^{z_i} \cdot \sum e^{z_k} - e^{z_i} \cdot e^{z_j} }{(\sum e^{z_k})^2} \\ &= \frac{e^{z_i}}{\sum e^{z_k}} - \frac{e^{z_i}}{\sum e^{z_k}} \cdot \frac{e^{z_j}}{\sum e^{z_k}} \\ &=a_i(1 - a_j) \end{split} \tag{5} zjai=zjezkezi=(ezk)2eziezkeziezj=ezkeziezkeziezkezj=ai(1aj)(5)

  当 i ≠ j i \not= j i=j时,Softmax公式求导过程如公式(6):

∂ a i ∂ z j = ∂ e z i ∑ e z k ∂ z j = 0 ⋅ ∑ e z k − e z i ⋅ e z j ( ∑ e z k ) 2 = − e z i ∑ e z k ⋅ e z j ∑ e z k = − a i a j (6) \begin{split} \frac{\partial a_i}{\partial z_j} &= \frac{\partial \frac{e^{z_i}}{\sum e^{z_k}}}{\partial z_j} \\ &= \frac{0\cdot \sum e^{z_k} - e^{z_i} \cdot e^{z_j} }{(\sum e^{z_k})^2} \\ &= - \frac{e^{z_i}}{\sum e^{z_k}} \cdot \frac{e^{z_j}}{\sum e^{z_k}} \\ &= -a_ia_j \end{split} \tag{6} zjai=zjezkezi=(ezk)20ezkeziezj=ezkeziezkezj=aiaj(6)

对交叉熵损失函数求导

  对交叉熵损失函数求导可以一直顺利的求到分类讨论前,如公式(7)所示。其中 l a b e l i label_i labeli是常数,所以提出来了。

∂ L ∂ z j = ∂ L ∂ a i ∂ a i ∂ z j = − l a b e l i ∂ ( ∑ ln ⁡ a i ) ∂ a i ∂ a i ∂ z j = − l a b e l i ( ∑ 1 a i ) ∂ a i ∂ z j (7) \begin{split} \frac{\partial L}{\partial z_j} &= \frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_j} \\ &= -label_i \frac{\partial (\sum \ln a_i)}{\partial a_i} \frac{\partial a_i}{\partial z_j} \\ &= -label_i (\sum\frac{1}{a_i}) \frac{\partial a_i}{\partial z_j} \\ \end{split} \tag{7} zjL=aiLzjai=labeliai(lnai)zjai=labeli(ai1)zjai(7)

  接下来分类讨论:

    ·当 i = j i=j i=j时:

= − l a b e l i 1 a i a i ( 1 − a j ) = − l a b e l i ( 1 − a j ) (8) =-label_i \frac{1}{a_i}a_i(1 - a_j)=-label_i (1 - a_j)\tag{8} =labeliai1ai(1aj)=labeli(1aj)(8)

    ·当 i ≠ j i \not= j i=j时:

= − l a b e l i ∑ i ≠ j 1 a i ( − a i a j ) = l a b e l i ∑ i ≠ j a j (9) =-label_i \sum_{i \not= j} \frac{1}{a_i} (-a_ia_j) = label_i \sum_{i \not= j} a_j\tag{9} =labelii=jai1(aiaj)=labelii=jaj(9)

  然后就会发现式(8)和式(9)相加就会把式(9)少的那个 a j a_j aj拼回去,于是式(7)最终求导为:

∂ L ∂ z j = ∂ L ∂ a i ∂ a i ∂ z j = − l a b e l i ∂ ( ∑ ln ⁡ a i ) ∂ a i ∂ a i ∂ z j = − l a b e l i ( ∑ 1 a i ) ∂ a i ∂ z j = − l a b e l i [ 1 − a j − ∑ i ≠ j a j ] = l a b e l i [ ∑ a j − 1 ] = l a b e l i ∑ a j − l a b e l i (10) \begin{split} \frac{\partial L}{\partial z_j} &= \frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_j} \\ &= -label_i \frac{\partial (\sum \ln a_i)}{\partial a_i} \frac{\partial a_i}{\partial z_j} \\ &= -label_i (\sum\frac{1}{a_i}) \frac{\partial a_i}{\partial z_j} \\ &= -label_i [1 - a_j- \sum_{i \not= j} a_j] \\ &= label_i [\sum a_j - 1] \\ &= label_i \sum a_j - label_i \\ \end{split} \tag{10} zjL=aiLzjai=labeliai(lnai)zjai=labeli(ai1)zjai=labeli[1aji=jaj]=labeli[aj1]=labeliajlabeli(10)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/650862.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

redis过期事件监听、可以做延时任务 第二篇(简单)

在使用redis时,所有的key都要设置过期时间,过期之后,redis就会把对应的key清除掉。 此方法可以监听redis的key失效,在失效时做一些逻辑处理 redis过期监听 不像mq有保证 不推荐用来弄需要有保证的业务 现象: redis …

AWS 专题学习 P12 (CloudWatch、CloudTrail、AWS Config)

文章目录 专题总览1. CloudWatch1.1 Amazon CloudWatch Metrics1.2 CloudWatch Metric Streams1.3 CloudWatch LogsCloudWatch Logs - SourcesCloudWatch Logs Metric Filter & InsightsCloudWatch Logs – S3 ExportCloudWatch Logs SubscriptionsCloudWatch Logs Aggrega…

MATLAB|【完全复现】含可再生能源和储能的区域微电网的最优运行(考虑鲁棒性和不确定性)【多阶段鲁棒调度模型】

目录 主要内容 模型研究 一、区域微网模型 二、模型优化流程​ 结果一览 下载链接 主要内容 该程序实现了一种基于可再生能源和储能的区域微电网的多阶段优化调度方法,该方法可以同时保证优化调度方案的鲁棒性和非预测性。模型考虑两类不确定性&…

【报错处理】ModuleNotFoundError: No module named ‘paddle.fluid‘

引言 在使用 UIE(统一信息提取)模型时,您可能会遇到错误消息 "ModuleNotFoundError: No module named paddle.fluid"。这个错误可能让人沮丧,但通常很容易解决。在本博客文章中,我将为您介绍解决此问题。 一…

卡顿监控方法

android业界各家卡顿检测工具不同,主要分几类: 注册printer callback 注册Choreographer callback MessageQueue插入空Message 字节码插桩 产品原理注册printer callback BlockCanary、BlockCanaryEx、ArgusAPM(360) 监听每一…

MySQL索引类型及数据结构【笔记】

1 索引类型 返回面试宝典 主键索引(PRIMARY):数据列不允许重复,不允许为NULL,一个表只能有一个主键。 唯一索引(UNIQUE):数据列不允许重复,允许为NULL,一个表允许多个列创建唯一索引…

C++常用总结

1、提高cin与cout效率 cin与cout效率相比于scanf与printf低下 解决方案: ios:sync_with_stdio(false); cin.tie(0),cout.tie(0); 2、C标准算法库algorithm max(a,b):求两个数最大值min(a,b):求两个数最小值abs(a,b):求一个整…

AssertionError: Torch not compiled with CUDA enabled

目录 报错查看已安装的torch的版本卸载安装GPU版本的torch查看cuda版本手工安装通过pip命令手工安装。 结果更新cuda到12.1大功告成 报错 经查阅,这个问题是因为conda默认安装的是CPU版本的torch,应该使用GPU版本的。 查看已安装的torch的版本 pip li…

SpringBoot整理-数据库操作

在 Spring Boot 中进行数据库操作是一项常见的任务。Spring Boot 提供了多种方式来集成和操作数据库,使得与数据库的交互更为简便和高效。以下是在 Spring Boot 中进行数据库操作的几种主要方式: 1. Spring Data JPA 介绍: Spring Data JPA 是 Spring Data 的一部分,它简化了…

Apipost数据库连接使用

Apipost提供了数据库连接功能,在接口调试时可以使用数据库获取入参或进行断言校验。目前的Apipost支持:Mysql、SQL Sever、Oracle、Clickhouse、达梦数据库、PostgreSQL、Redis、MongoDB 8种数据库的连接操作 新建数据库连接: 在「项目设置…

UDF学习(四)FLUENT UDF-DEFINE_PROFILE宏

基础知识: 利用DEFINE_PROFLILE可以指定以下边界或计算域信息:DEFINE_PROFILE(name,t,i)//既可以用解释型,也可以用编译型! 主要用途: 边界速度、压力、温度、湍动能、湍流耗散率、质量流量;组分质量分数…

Doris 与 Clickhouse 对比(一)

1. 常用引擎 ☕️ Doris 表数据模型 duplicate key 🎬 场景:适用于数据无需提前聚合的分析业务。 ⚠️ 注意点:只指定排序列,相同的行并不会合并。 unique key 🎬 场景:适用于有更新需求的业务。 ⚠…

Optional lab: Linear Regression using Scikit-LearnⅠ

scikit-learn是一个开源的、可用于商业的机器学习工具包,此工具包包含本课程中需要使用的许多算法的实现 Goals In this lab you will utilize scikit-learn to implement linear regression using Gradient Descent Tools You will utilize functions from sci…

计算机设计大赛 垃圾邮件(短信)分类算法实现 机器学习 深度学习

文章目录 0 前言2 垃圾短信/邮件 分类算法 原理2.1 常用的分类器 - 贝叶斯分类器 3 数据集介绍4 数据预处理5 特征提取6 训练分类器7 综合测试结果8 其他模型方法9 最后 0 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 垃圾邮件(短信)分类算…

MySQL DDL DML DQL DCL 通用语法

文章目录 DDL(数据定义语言)数据库操作表操作 DML(数据操作语言)添加数据注意事项 更新和删除数据 DQL(数据查询语言)基础查询条件查询聚合查询(聚合函数)分组查询排序查询分页查询D…

计算机网络:体系结构知识点汇总

文章目录 一、计算机网络概述1.1概念及功能1.2组成和分类1.3性能指标 二、体系结构与参考模型2.1分层结构、协议、接口、服务2.2OSI参考模型2.3TCP/IP参考模型 一、计算机网络概述 1.1概念及功能 计算机网络就是通过各个节点,这个节点包括终端的电脑,手…

C语言内联汇编和混合编程,及如何利用汇编提高C语言的性能和功能

一、什么是内联汇编和混合编程 内联汇编(inline assembly)是指在C语言源代码中嵌入汇编语言指令,从而实现C语言和汇编语言的混合编程(mixed programming)。混合编程可以利用汇编语言的优势,如直接访问硬件…

0127-2-Vue深入学习5—Vue-Router路由模式

1、Vue-Router三种路由模式: hash:#️⃣使用URL hash 值来做路由,支持所有路由器;history:📖依赖HTML5 History API和服务器配置;abstract:⛓支持所有JS运行环境,Node.js服务端; 1.1…

[网鼎杯 2018]Fakebook1

join一个用户后,点进去发现是这样的 查看这个页面的源代码,发现一个base64编码后的字串 decode之后就是我们join新用户时填入的blog网址 那我们是不是可以通过填入存储flag的地址,从而回显出来呢?当然,先按照常规sqli…

九、Kotlin 注解

1. 什么是注解 注解是对程序的附件信息说明。 注解可以作用在类、函数、函数参数、属性等上面。 注解的信息可用于源码级、编译期、运行时。 2. 注解类的定义 使用元注解 Retention 声明注解类的作用时期。 使用元注解 Target 声明注解类的作用对象。 定义注解类时可以声…