激活函数

之前使用的 $a=\sigma (z)$ ，其中 $\sigma ()$ 便是激活函数。

在神经网络中，不同层的激活函数可以不同。

在学习中，一般以 $g(z)$ 来表示激活函数。

为什么需要(线性)激活函数？

不需要激活函数就等同于使用线性激活函数 $g(z)=z$ （恒等激活函数），那么使用单个样本下的双层网络代码就为：
$$\begin{array}{rl}& Giveninputx:\\ & \\ & a^{[0]}=x\\ & z^{[1]}=W^{[1]}{a}^{[0]}+b^{[1]}\\ & a^{[1]}=z^{[1]}\\ & z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}\\ & a^{[2]}=z^{[2]}\end{array}$$
将最后的结果展开，则 $a^{[2]}=z^{[2]}=W^{[2]}(W^{[1]}{a}^{[0]}+b^{[1]})+b^{[2]}=(W^{[2]}{W}^{[1]})a^{[0]}+W^{[2]}{b}^{[1]}+b^{[2]}$ ，其中 $W^{[2]}{W}^{[1]}$ 可以看作 $W^{{}^{\prime }}$ ，$W^{[2]}{b}^{[1]}+b^{[2]}$ 可以看作 $b^{{}^{\prime }}$ ，最终可等效为 $a^{[2]}=W^{{}^{\prime }}{a}^{[0]}+b^{{}^{\prime }}$ 。

这说明，如果没有激活函数，或者是其他线性激活函数，那么无论层数多深，总会存在与之等效的单层神经网络，那么深度学习的意义就没有了，就变成了单纯的逻辑回归了。

特例

针对回归问题，输出层可以使用线性激活函数，而隐藏层依旧不可以。

sigma函数

$g(z)=\sigma (z)$

公式：$a=\sigma (z)=\frac{1}{1+e^{-z}}$ 。

函数图像：

梯度/斜率/导数：
$$\begin{array}{rl}{g}^{{}^{\prime }}(z)=\frac{d}{dz}g(z)& =\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})\\ & =g(z)[1-g(z)]\end{array}$$
导数图像：

使用：在**二元分类**问题上（输出层的结果为0~1），输出层的激活函数可以使用sigma函数。

禁用：在非二元分类问题上，禁用，即使是二元分类问题，隐藏层中也不能用。

缺点： $z$ 非常大或者非常小时，$\sigma (z)$ 函数的梯度（斜率）会很小，会形成梯度消失问题，从而拖慢梯度下降算法。

双曲正切函数

$g(z)=tanh(z)$

公式：$a=tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$ 。

函数图像：

优点：可达到“数据中心化”的效果，即数据平均值接近 $0$ 。

缺点：① 二元分类问题上（输出层的结果为0~1），输出层不能用。

​ ② $z$ 非常大或者非常小时，$tanh(z)$ 函数的梯度（斜率）会很小，会形成梯度消失问题，从而拖慢梯度下降算法。

梯度/斜率/导数：
$$\begin{array}{r}{g}^{{}^{\prime }}(z)=\frac{d}{dz}g(z)=1-g^2(z)\end{array}$$
导数图像：

线性修正单元（ReLU）

$g(z)=ReLU(z)$

现在已经变成隐层激活函数的默认选择了。

公式： a = R e L U ( z ) = m a x { 0 , z } a=ReLU(z)=max\{0,z\} a=ReLU(z)=max{0,z} 。

函数图像：

P.S.： $z=0$ 这一点的导数不存在，但在编程中，刚好 $z=0$ 的概率非常之低，所以不用担心。或者自己可以给 $z=0$ 点的导数赋值。

**注意：**ReLU并不是线性激活函数，其导数并不是在全域都为恒定值。

梯度/斜率/导数：
$$\begin{array}{r}{g}^{{}^{\prime }}(z)=\{\begin{array}{ll}0,& \text{if z<0}\\ 1,& \text{if z≥0}\end{array}\end{array}$$
$z=0$ 处的导数，可以人为定义成 $1$ 或 $0$ 。

导数图像：

带泄露ReLU（Leaky ReLU）

$g(z)=LeakyReLU(z)$

公式： a = L e a k y R e L U ( z ) = m a x { b ⋅ z , z } a=Leaky~ReLU(z)=max\{b·z,z\} a=Leaky ReLU(z)=max{b⋅z,z} ，$b$ 可以取 $0.01$ 。

函数图像：

梯度/斜率/导数：
$$\begin{array}{r}{g}^{{}^{\prime }}(z)=\{\begin{array}{ll}0.01,& \text{if z<0}\\ 1,& \text{if z≥0}\end{array}\end{array}$$
$z=0$ 处的导数，可以人为定义成 $1$ 或 $0.01$ 。

导数图像：