训练神经网络1
1，激活函数（activation functions）
激活函数是神经网络之于线性分类器的最大进步，最大贡献，即，引入了非线性。
1，1 Sigmoid
sigmoid函数的性质：
结合指数函数的图像可知，当x<0时，-x>0，指数函数随着x的减小而增大，当x=-10时，几乎exp(-(-10)）=exp(10)，约等于2W2，如果x再继续小下去sigmoid的分母就变成无穷大了，此时sigmoid趋近于0。即，当x<0时，随着x越来越小，sigmoid函数越来越趋近于0。
反之，当x>0时，-x<0，指数函数随着x的增大而减小，当x=10时，几乎exp(-(10)）=exp(-10)，约等于0，如果x再增加下去sigmoid的分母就变成1了，此时sigmoid趋近于1/1=1。即，当x>0时，随着x越来越大，sigmoid函数越来越趋近于1。
sigmoid函数的缺点：
梯度消失
在计算损失函数L关于x的梯度时，不论上游梯度传过来的是什么，sigmoid函数的本地梯度为：
因此，当x过大时，sigmoid的值为1，1-sigmoid为0，则，本地梯度为0。当x过小时，sigmoid的值为0，同样会导致本地梯度为0。如此一来，损失函数L就无法通过梯度下降法去更新W。
当然sigmoid函数还有其他问题，但相对于梯度消失这个最为严重的问题，可忽略不计。
)
