本节介绍一个在神经网络中非常常见的激活函数 - Relu 激活函数。

什么是ReLU激活函数

ReLU 英文名为 Rectified Linear Unit，又称修正线性单元，是一种简单但很有效的激活函数，它的定义如下：

即当输入 x 大于零时，输出等于他自己；当输入小于等于零时，输出为零，下面是relu的图像表示。

看着是不是很简单，但是就是因为如此简单，才使得 Relu 激活在神经网络中非常常见。

为何ReLU激活函数如此常见？

ReLU之所以广泛应用，主要归功于以下几个方面：

1. ReLU引入了非线性因素

   上节我们说了在神经网络中非线性因素是非常重要的，Relu 函数本身就是一个非线性函数，它大于零的部分是线性的，但是小于零的部分是零，从而整体上表现为一种非线性特性。