基本函数导数公式

Copyright © Microsoft Corporation. All rights reserved.
适用于License版权许可
更多微软人工智能学习资源，请见微软人工智能教育与学习共建社区

• Content
• 01.0-神经网络的基本工作原理
• 01.1-基本数学导数公式
• 01.2-Python-Numpy库的点滴
• 02.0-反向传播与梯度下降
• 02.1-线性反向传播
• 02.2-非线性反向传播
• 02.3-梯度下降
• 03.0-损失函数
• 03.1-均方差损失函数
• 03.2-交叉熵损失函数
• 04.0-单入单出单层-单变量线性回归
• 04.1-最小二乘法
• 04.2-梯度下降法
• 04.3-神经网络法
• 04.4-梯度下降的三种形式
• 04.5-实现逻辑非门
• 05.0-多入单出单层-多变量线性回归
• 05.1-正规方程法
• 05.2-神经网络法
• 05.3-样本特征数据的归一化
• 05.4-归一化的后遗症
• 05.5-正确的推理方法
• 05.6-归一化标签值
• 06.0-多入多出单层神经网络-多变量线性分类
• 06.1-二分类原理
• 06.2-线性二分类实现
• 06.3-线性二分类结果可视化
• 06.4-多分类原理
• 06.5-线性多分类实现
• 06.6-线性多分类结果可视化
• 07.0-激活函数
• 07.1-挤压型激活函数
• 07.2-半线性激活函数
• 07.3-用双曲正切函数分类
• 07.4-实现逻辑与门和或门
• 08.0-单入单出双层-万能近似定理
• 08.1-双层拟合网络的原理
• 08.2-双层拟合网络的实现
• 09.0-多入多出双层-双变量非线性分类
• 09.1-实现逻辑异或门
• 09.2-理解二分类的工作原理
• 09.3-非线性多分类
• 09.4-理解多分类的工作原理
• 10.0-调参与优化
• 10.1-权重矩阵初始化
• 10.2-参数调优
• 10.3-搜索最优学习率
• 10.4-梯度下降优化算法
• 10.5-自适应学习率算法
• 11.0-深度学习基础
• 11.1-三层神经网络的实现
• 11.2-验证与测试
• 11.3-梯度检查
• 11.4-手工测试训练效果
• 11.5-搭建深度神经网络框架
• 12.0-卷积神经网络
• 12.1-卷积
• 12.2-池化
• 14.1-神经网络模型概述
• 14.2-Windows模型的部署
• 14.3-Android模型的部署

附录：基本数学导数公式

这篇文章的内容更多的是一些可能要用到的数学公式的导数公式和推导，是一种理论基础，感兴趣的同学可以仔细瞅瞅，想直接上手的同学也可以直接跳过这一篇~

大家可以mark一下，以便以后用到时过来查一下，当成字典。

下面进入正题！

• $y=c$

$$y^{\prime }=0\text{\hspace{1em}(1)}$$

• $y=x^a$

$$y^{\prime }=a{x}^{a-1}\text{\hspace{1em}(2)}$$

• $y=lo{g}_{a}x$

$$y^{\prime }=\frac{1}{x}lo{g}_{a}e=\frac{1}{xlna}\text{\hspace{1em}(3)}$$

$$(因为lo{g}_{a}e=\frac{1}{lo{g}_{e}a}=\frac{1}{lna})$$

• $y=lnx$

$$y^{\prime }=\frac{1}{x}\text{\hspace{1em}(4)}$$

• $y=a^x$

$$y^{\prime }=a^{x}lna\text{\hspace{1em}(5)}$$

• $y=e^x$

$$y^{\prime }=e^x\text{\hspace{1em}(6)}$$

• $y=e^{-x}$

$$y^{\prime }=-e^{-x}\text{\hspace{1em}(7)}$$

• 正弦函数$y=sin(x)$

$$y^{\prime }=cos(x)\text{\hspace{1em}(8)}$$

• 余弦函数
  $y=cos(x)$

$$y^{\prime }=-sin(x)\text{\hspace{1em}(9)}$$

• 正切函数
  $y=tg(x)$

$$y^{\prime }=se{c}^2(x)=\frac{1}{co{s}^{2}x}\text{\hspace{1em}(10)}$$

• 余切函数
  $y=ctg(x)$

$$y^{\prime }=-cs{c}^2(x)\text{\hspace{1em}(11)}$$

• 反正弦函数
  $y=arcsin(x)$

$$y^{\prime }=\frac{1}{\sqrt{1-x^2}}\text{\hspace{1em}(12)}$$

• 反余弦函数
  $y=arccos(x)$

$$y^{\prime }=-\frac{1}{\sqrt{1-x^2}}\text{\hspace{1em}(13)}$$

• 反正切函数
  $y=arctan(x)$

$$y^{\prime }=\frac{1}{1+x^2}\text{\hspace{1em}(14)}$$

• 反余切函数
  $y=arcctg(x)$

$$y^{\prime }=-\frac{1}{1+x^2}\text{\hspace{1em}(15)}$$

• 双曲正弦函数
  $y=sinh(x)=(e^x-e^{-x})/2$

$$y^{\prime }=cosh(x)\text{\hspace{1em}(16)}$$

• 双曲余弦函数
  $y=cosh(x)=(e^x+e^{-x})/2$

$$y^{\prime }=sinh(x)\text{\hspace{1em}(17)}$$

• 双曲正切函数$y=tanh(x)=(e^x-e^{-x})/(e^x+e^{-x})$

$$y^{\prime }=sec{h}^2(x)=1-tan{h}^2(x)\text{\hspace{1em}(18)}$$

• 双曲余切函数$y=coth(x)=(e^x+e^{-x})/(e^x-e^{-x})$

$$y^{\prime }=-csc{h}^2(x)\text{\hspace{1em}(19)}$$

• 双曲正割函数$y=sech(x)=2/(e^x+e^{-x})$

$$y^{\prime }=-sech(x)\ast tanh(x)\text{\hspace{1em}(20)}$$

• 双曲余割函数$y=csch(x)=2/(e^x-e^{-x})$

$$y^{\prime }=-csch(x)\ast coth(x)\text{\hspace{1em}(21)}$$

导数四则运算

• $$[u(x)+v(x)]’=u’(x)+v’(x)\text{\hspace{1em}(30)}$$

• $$[u(x)-v(x)]’=u’(x)-v’(x)\text{\hspace{1em}(31)}$$

• $$[u(x)\ast v(x)]’=u’(x)\ast v(x)+v’(x)\ast u(x)\text{\hspace{1em}(32)}$$

• $$[\frac{u(x)}{v(x)}{]}^{\prime }=\frac{u^{\prime }(x)v(x)-v^{\prime }(x)u(x)}{v^2(x)}\text{\hspace{1em}(33)}$$

偏导数

• 如$Z=f(x,y)$

则Z对x的偏导可以理解为当y是个常数时，Z单独对x求导：

$$Z_x^{\prime }=f_x^{\prime }(x,y)=\frac{\partial Z}{\partial x}\text{\hspace{1em}(40)}$$

则Z对y的偏导可以理解为当x是个常数时，Z单独对y求导：

$$Z_y^{\prime }=f_y^{\prime }(x,y)=\frac{\partial Z}{\partial y}\text{\hspace{1em}(41)}$$

在二元函数中，偏导的何意义，就是对任意的$y=y_0$的取值，在二元函数曲面上做一个$y=y_0$切片，得到$Z=f(x,y_0)$的曲线，这条曲线的一阶导数就是Z对x的偏导。对$x=x_0$同样，就是Z对y的偏导。

复合函数求导（链式法则）

• 如果
  $y=f(u),u=g(x)$ 则

$$y_x^{\prime }=f^{\prime }(u)\ast u^{\prime }(x)=y_u^{\prime }\ast u_x^{\prime }=\frac{dy}{du}\ast \frac{du}{dx}\text{\hspace{1em}(50)}$$

• 如果$y=f(u),u=g(v),v=h(x)$
  则

$$\frac{dy}{dx}=f^{\prime }(u)\ast g^{\prime }(v)\ast h^{\prime }(x)=\frac{dy}{du}\ast \frac{du}{dv}\ast \frac{dv}{dx}\text{\hspace{1em}(51)}$$

• 如$Z=f(U,V)$，通过中间变量$U=g(x,y),V=h(x,y)$成为x,y的复合函数$Z=f[g(x,y),h(x,y)]$

则

$$\frac{\partial Z}{\partial x}=\frac{\partial Z}{\partial U}\ast \frac{\partial U}{\partial x}+\frac{\partial Z}{\partial V}\ast \frac{\partial V}{\partial x}\text{\hspace{1em}(52)}$$

$$\frac{\partial Z}{\partial y}=\frac{\partial Z}{\partial U}\ast \frac{\partial U}{\partial y}+\frac{\partial Z}{\partial V}\ast \frac{\partial V}{\partial y}$$

矩阵求导

如$A,B,X$都是矩阵，

则

$$B\frac{\partial (AX)}{\partial X}=A^{T}B\text{\hspace{1em}(60)}$$

$$B\frac{\partial (XA)}{\partial X}=B{A}^T\text{\hspace{1em}(61)}$$

$$\frac{\partial (X^{T}A)}{\partial X}=\frac{\partial (A^{T}X)}{\partial X}=A\text{\hspace{1em}(62)}$$

$$\frac{\partial (A^{T}XB)}{\partial X}=A{B}^T\text{\hspace{1em}(63)}$$

$$\frac{\partial (A^T{X}^{T}B)}{\partial X}=B{A}^T\text{\hspace{1em}(64)}$$

激活函数求导

sigmoid函数：$A

= \frac{1}{1+e^{-Z}}$

利用公式30，令：$u=1，v=1+e^{-Z}$
则

$$A_Z^{\prime }=\frac{u^{\prime }v-v^{\prime }u}{v^2}=\frac{0-(1+e^{-Z}{)}^{\prime }}{(1+e^{-Z}{)}^2}\text{\hspace{1em}(70)}$$

$$=\frac{-e^{-Z}}{(1+e^{-Z}{)}^2}=\frac{1-(1+e^{-Z})}{(1+e^{-Z}{)}^2}$$

$$=(\frac{1}{1+e^{-Z}}{)}^2-\frac{1}{1+e^{-Z}}$$

$$=A^2-A=A(1-A)$$

tanh函数：$A=\frac{e^Z-e^{-Z}}{e^Z+e^{-Z}}$

利用公式23，令：$u=e^Z-e^{-Z}，v=e^Z+e^{-Z}$
则

$$A_Z^{\prime }=\frac{u^{\prime }v-v^{\prime }u}{v^2}\text{\hspace{1em}(71)}$$

$$=\frac{(e^Z-e^{-Z}{)}^{\prime }(e^Z+e^{-Z})-(e^Z+e^{-Z}{)}^{\prime }(e^Z-e^{-Z})}{(e^Z+e^{-Z}{)}^2}$$

$$=\frac{(e^Z+e^{-Z})(e^Z+e^{-Z})-(e^Z-e^{-Z})(e^Z-e^{-Z})}{(e^Z+e^{-Z}{)}^2}$$

$$=\frac{(e^Z+e^{-Z}{)}^2-(e^Z-e^{-Z}{)}^2}{(e^Z+e^{-Z}{)}^2}$$

$$=1-(\frac{(e^Z-e^{-Z}}{e^Z+e^{-Z}}{)}^2=1-A^2$$

反向传播四大公式推导

著名的反向传播四大公式是：

$${\delta }^L={\nabla }_{a}C\odot {\sigma }_{{}^{\prime }}(Z^L)\text{\hspace{1em}(80)}$$

$${\delta }^l=((W^{l+1}{)}^T{\delta }^{l+1})\odot {\sigma }_{{}^{\prime }}(Z^l)\text{\hspace{1em}(81)}$$

$$\frac{\partial C}{\partial b_j^l}={\delta }_j^l\text{\hspace{1em}(82)}$$

$$\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}{\delta }_j^l\text{\hspace{1em}(83)}$$

下面我们用一个简单的两个神经元的全连接神经网络来直观解释一下这四个公式，

每个结点的输入输出标记如图上所示，使用MSE作为计算loss的函数，那么可以得到这张计算图中的计算过公式如下所示：

$$e_{01}=\frac{1}{2}(y-a_1^3{)}^2$$

$$a_1^3=sigmoid(z_1^3)$$

$$z_1^3=(w_{11}^2\ast a_1^2+w_{12}^2\ast a_2^2+b_1^3)$$

$$a_1^2=sigmoid(z_1^2)$$

$$z_1^2=(w_{11}^1\ast a_1^1+w_{12}^1\ast a_2^1+b_1^2)$$

我们按照反向传播中梯度下降的原理来对损失求梯度，计算过程如下：

$$\frac{\partial e_{o1}}{\partial w_{11}^2}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial w_{11}^2}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}{a}_1^2$$

$$\frac{\partial e_{o1}}{\partial w_{12}^2}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial w_{12}^2}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}{a}_2^2$$

$$\frac{\partial e_{o1}}{\partial w_{11}^1}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial a_1^2}\frac{\partial a_1^2}{\partial z_1^2}\frac{\partial z_1^2}{\partial w_{11}^1}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial a_1^2}\frac{\partial a_1^2}{\partial z_1^2}{a}_1^1$$

$$=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}{w}_{11}^2\frac{\partial a_1^2}{\partial z_1^2}{a}_1^1$$

$$\frac{\partial e_{o1}}{\partial w_{12}^1}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial a_2^2}\frac{\partial a_2^2}{\partial z_1^2}\frac{\partial z_1^2}{\partial w_{12}^1}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial a_2^2}\frac{\partial a_2^2}{\partial z_1^2}{a}_2^2$$

$$=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}{w}_{12}^2\frac{\partial a_2^2}{\partial z_1^2}{a}_2^2$$

上述式中，$\frac{\partial a}{\partial z}$是激活函数的导数，即${\sigma }^{{}^{\prime }}(z)$项。观察到在求偏导数过程中有共同项$\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}$,采用$\delta$符号记录,用矩阵形式表示，

即：

$${\delta }^L=[\frac{\partial e_{o1}}{\partial a_i^L}\frac{\partial a_i^L}{\partial z_i^L}]={\nabla }_{a}C\odot {\sigma }^{{}^{\prime }}(Z^L)$$

上述式中，$[a_i]$表示一个元素是a的矩阵，${\nabla }_{a}C$表示将损失$C$对$a$求梯度，$\odot$表示矩阵element
wise的乘积（也就是矩阵对应位置的元素相乘）。

从上面的推导过程中，我们可以得出$\delta$矩阵的递推公式：

$${\delta }^{L-1}=(W^L{)}^T[\frac{\partial e_{o1}}{\partial a_i^L}\frac{\partial a_i^L}{\partial z_i^L}]\odot {\sigma }^{{}^{\prime }}(Z^{L-1})$$

所以在反向传播过程中只需要逐层利用上一层的${\delta }^l$进行递推即可。

相对而言，这是一个非常直观的结果，这份推导过程也是不严谨的。下面，我们会从比较严格的数学定义角度进行推导，首先要补充一些定义。

标量对矩阵导数的定义

假定$y$是一个标量，$X$是一个$N\times M$大小的矩阵，有$y=f(X)$， $f()$是一个函数。我们来看$df$应该如何计算。

首先给出定义：

$$df=\sum _j^M\sum _i^N\frac{\partial f}{\partial x_{ij}}d{x}_{ij}$$

下面我们引入矩阵迹的概念，所谓矩阵的迹，就是矩阵对角线元素之和。也就是说：

$$tr(X)=\sum _i{x}_{ii}$$

引入迹的概念后，我们来看上面的梯度计算是不是可以用迹来表达呢？

$$\frac{\partial f}{\partial X}=\left(\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{12}}& \dots & \frac{\partial f}{\partial x_{1M}}\\ \frac{\partial f}{\partial x_{21}}& \frac{\partial f}{\partial x_{22}}& \dots & \frac{\partial f}{\partial x_{2M}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f}{\partial x_{N1}}& \frac{\partial f}{\partial x_{N2}}& \dots & \frac{\partial f}{\partial x_{NM}}\end{array}\right)\text{\hspace{1em}(90)}$$

$$dX=\left(\begin{array}{cccc}d{x}_{11}& d{x}_{12}& \dots & d{x}_{1M}\\ d{x}_{21}& d{x}_{22}& \dots & d{x}_{2M}\\ ⋮& ⋮& \ddots & ⋮\\ d{x}_{N1}& d{x}_{N2}& \dots & d{x}_{NM}\end{array}\right)\text{\hspace{1em}(91)}$$

我们来看矩阵$(90)$的转置和矩阵$(91)$乘积的对角线元素

$${({(\frac{\partial f}{\partial X})}^{T}dX)}_{jj}=\sum _i^N\frac{\partial f}{\partial x_{ij}}d{x}_{ij}$$

因此，

$$tr({(\frac{\partial f}{\partial X})}^{T}dX)=\sum _j^M\sum _i^N\frac{\partial f}{\partial x_{ij}}d{x}_{ij}=df=tr(df)\text{\hspace{1em}(92)}$$

上式的最后一个等号是因为$df$是一个标量，标量的迹就等于其本身。

矩阵迹和导数的部分性质

这里将会给出部分矩阵的迹和导数的性质，作为后面推导过程的参考。性子急的同学可以姑且默认这是一些结论。

$$d(X+Y)=dX+dY\text{\hspace{1em}(93)}$$

$$d(XY)=(dX)Y+X(dY)\text{\hspace{1em}(94)}$$

$$d{X}^T={(dX)}^T\text{\hspace{1em}(95)}$$

$$d(tr(X))=tr(dX)\text{\hspace{1em}(96)}$$

$$d(X\odot Y)=dX\odot Y+X\odot dY\text{\hspace{1em}(97)}$$

$$d(f(X))=f^{{}^{\prime }}(X)\odot dX\text{\hspace{1em}(98)}$$

$$tr(XY)=tr(YX)\text{\hspace{1em}(99)}$$

$$tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)\text{\hspace{1em}(100)}$$

以上各性质的证明方法类似，我们选取式(94)作为证明的示例：

$$Z=XY$$

则Z中的任意一项是

$$\begin{gathered} z_{ij}=\sum _k{x}_{ik}{y}_{kj} \\ d{z}_{ij}=\sum _{k}d(x_{ik}{y}_{kj})=\sum _k(d{x}_{ik})y_{kj}+\sum _k{x}_{ik}(d{y}_{kj})=((dX)Y{)}_{ij}+(X(dY){)}_{ij} \end{gathered}$$

从上式可见，$dZ$的每一项和$(dX)Y

• X(dY)$的每一项都是相等的。因此，可以得出式(94)成立。

神经网络有关公式证明:

• 首先，来看一个通用情况，已知$f=A^{T}XB$，$A,B$是常矢量，希望得到$\frac{\partial f}{\partial X}$，推导过程如下

  根据式(94)，

  $$df=d(A^{T}XB)=d(A^{T}X)B+A^{T}X(dB)=d(A^{T}X)B+0=d(A^T)XB+A^{T}dXB=A^{T}dXB$$

  由于$df$是一个标量，标量的迹等于本身，同时利用公式(99):

  $$df=tr(df)=tr(A^{T}dXB)=tr(B{A}^{T}dX)$$

  由于公式(92):

  $$tr(df)=tr({(\frac{\partial f}{\partial X})}^{T}dX)$$

  可以得到:

  $$(\frac{\partial f}{\partial X}{)}^T=B{A}^T$$

  $$\frac{\partial f}{\partial X}=A{B}^T\text{\hspace{1em}(101)}$$

• 我们来看全连接层的情况

  $$Y=WX+B$$

  取全连接层其中一个元素

  $$y=wX+b$$

  这里的$w$是权重矩阵的一行，尺寸是$1\times M$，X是一个大小为$M\times 1$的矢量，y是一个标量，若添加一个大小是1的单位阵，上式整体保持不变：

  $$y=(w^T{)}^{T}XI+b$$

  利用式(92)，可以得到

  $$\frac{\partial y}{\partial X}=I^T{w}^T=w^T$$

  因此在误差传递的四大公式中，在根据上层传递回来的误差$\delta$继续传递的过程中，利用链式法则，有

  $${\delta }^{L-1}=(W^L{)}^T{\delta }^L\odot {\sigma }^{{}^{\prime }}(Z^{L-1})$$

  同理，若将$y=wX+b$视作：

  $$y=IwX+b$$

  那么利用式(92),可以得到：

  $$\frac{\partial y}{\partial w}=X^T$$

• 使用softmax和交叉熵来计算损失的情况下

  $$l=-Y^{T}log(softmax(Z))$$

  式中，$y$是数据的标签，$Z$是网络预测的输出，$y$和$Z$的维度是$N\times 1$。经过softmax处理作为概率。希望能够得到$\frac{\partial l}{\partial Z}$，下面是推导的过程：

  $$softmax(Z)=\frac{exp(Z)}{1^{T}exp(Z)}$$

  其中， $1$是一个维度是$N\times 1$的全1向量。将softmax表达式代入损失函数中，有

  $$\begin{gathered} dl=-Y^{T}d(log(softmax(Z))) \\ =-Y^{T}d(log\frac{exp(Z)}{1^{T}exp(Z)}) \\ =-Y^{T}dZ+Y^{T}1d(log(1^{T}exp(Z)))\text{\hspace{1em}(102)} \end{gathered}$$

  下面来化简式(102)的后半部分,利用式(98)：

  $$d(log(1^{T}exp(Z)))=lo{g}^{{}^{\prime }}(1^{T}exp(Z))\odot dZ=\frac{1^T(exp(Z)\odot dZ)}{1^{T}exp(Z)}$$

  利用式(100)，可以得到

  $$tr(Y^{T}1\frac{1^T(exp(Z)\odot dZ)}{1^{T}exp(Z)})=tr(Y^{T}1\frac{(1\odot (exp(Z){)}^{T}dZ)}{1^{T}exp(Z)})=tr(Y^{T}1\frac{exp(Z{)}^{T}dZ}{1^{T}exp(Z)})=tr(Y^{T}1softmax(Z{)}^{T}dZ)\text{\hspace{1em}(103)}$$

  将式(103)代入式(102)并两边取迹，可以得到：

  $$dl=tr(dl)=tr(-y^{T}dZ+y^{T}1softmax(Z{)}^{T}dZ)=tr((\frac{\partial l}{\partial Z}{)}^{T}dZ)$$

  在分类问题中，一个标签中只有一项会是1，所以$Y^{T}1=1$，因此有

  $$\frac{\partial l}{\partial Z}=softmax(Z)-Y$$

  这也就是在损失函数中计算反向传播的误差的公式。

参考资料

矩阵求导术

点击这里提交问题与建议
联系我们: msraeduhub@microsoft.com
学习了这么多，还没过瘾怎么办？欢迎加入“微软 AI 应用开发实战交流群”，跟大家一起畅谈AI，答疑解惑。扫描下方二维码，回复“申请入群”，即刻邀请你入群。