what is 激活函数

感知机的网络结构如下：

左图中，偏置b没有被画出来，如果要表示出b，可以像右图那样做。

用数学式来表示感知机：

上面这个数学式子可以被改写：

我们表达的意义是：输入信号的总和被h(x)转换成输出y。

像h(x)函数一样，将输入信号的总和转换为输出信号，这种函数一般被称为激活函数。上面这个h(x)表示的激活函数称为阶跃函数。

表示激活函数计算过程的图如下：

激活函数的python实现

python实现阶跃函数

为了方便阶跃函数的参数取Numpy数组，用以下方式实现阶跃函数。

对numpy数组进行不等号运算后，数组的各个元素都会进行不等号运算，生成一个布尔型数组。

这个代码里数组中x大于0的元素转换成True，小于等于0的元素转换成False。由于阶跃函数要输出int类型的0或1，所以添加一个dtype=np.int32。

import numpy as np
import matplotlib.pylab as pltdef step_function(x):return np.array(x > 0, dtype=np.int32)if __name__ == '__main__':X = np.arange(-5.0, 5.0, 0.1) # 在-0.5到5.0范围内，以0.1为单位生成Numpy数组# [-5.0,-4.9,...,4.9,5.0]Y = step_function(X)plt.plot(X, Y)plt.ylim(-0.1, 1.1)  # 指定图中绘制的y轴的范围plt.show()

python实现sigmoid函数

下面定义的函数的参数x是Numpy数组时，结果也能正确被计算。因为Numpy具有广播功能，如果标量和Numpy数组进行数值运算，那么这个标量将和Numpy数组中的各个元素进行运算。

import numpy as np
import matplotlib.pylab as pltdef sigmoid(x):return 1 / (1 + np.exp(-x))if __name__ == '__main__':X = np.arange(-5.0, 5.0, 0.1)Y = sigmoid(X)plt.plot(X, Y)plt.ylim(-0.1, 1.1)plt.show()

python实现ReLU函数

代码中使用Nmupy的maximum函数，该函数会从输入的数值中选择较大的值进行输出。

import numpy as np
import matplotlib.pylab as pltdef relu(x):return np.maximum(0, x)if __name__ == '__main__':x = np.arange(-5.0, 5.0, 0.1)y = relu(x)plt.plot(x, y)plt.ylim(-1.0, 5.5)plt.show()

激活函数的特点

上面的激活函数无论是阶跃、sigmoid还是ReLU，使用的都是非线性函数，如果使用线性函数，比如h(x)=ax作为激活函数，那么y(x) = h(h(h(x)))的运算对应3层神经网络，这个运算会进行y(x) = aaax的乘法运算，但是同样的处理可以由y(x)=bx(b=aaa)这一次乘法运算表示，也还是相当于一层神经网络。也就是说，使用线性函数的话，加深神经网络的层数就没有意义了。为了发挥叠加层的优势，激活函数必须使用非线性函数。