Tanh
双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。
函数表达式
t a n h = e x − e − x e x + e − x tanh=\frac{e^x-e^{-x}}{e^x+e^{-x}} tanh=ex+e−xex−e−x
其定义域为 R R R，值域为 ( − 1 , 1 ) (-1,1) (−1,1)
函数图像
函数特性
由于tanh激活函数与sigmoid激活函数十分相似，所以两者在特性方面有很多共同点
实际上，tanh激活函数相当于sigmoid函数的平移： t a n h ( x ) = 2 s i g m o i d ( 2 x ) − 2 tanh(x)=2sigmoid(2x)−2 tanh(x)=2sigmoid(2x)−2
优点：
-
以0位对称中心，收敛速度快于sigmoid，提高了权重更新的效率
-
部分解决了梯度消失的问题，因为其导数值更大
tanh导数值与sigmoid导数值对比：
通过对比不难发现，tanh的导数值要远远大于sigmoid的导数值
缺点：
- 与sigmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题
igmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题 - 计算复杂度较高，幂运算更加复杂
