声明

本文章基于哔哩哔哩付费课程《小白也能听懂的人工智能原理》。仅供学习记录、分享，严禁他用！！如有侵权，请联系删除

目录

一、知识引入

（一）深度学习        

（二）Tensorflow游乐场

（三） sigmoid激活函数的缺点

（四）ReLu激活函数

---

一、知识引入

（一）深度学习        

        深度学习，就是不断地增加一个神经网络的隐藏层神经元，让输入的数据被这些神经元不断地抽象和理解，最后得到一个具有泛化能力的预测网络模型。

        我们一般把隐藏层超过3层的网络，称为“深度神经网络”。

（二）Tensorflow游乐场

        http://playground.tensorflow.org

（三） sigmoid激活函数的缺点

        一旦进入sigmoid函数远离中心点的位置，虽然仍然可导、导数依旧不为0，但导数却极其的小。

        距离中心越远的位置这个导数越小，也就是梯度消失问题。

（四）ReLu激活函数

        对于隐藏层的神经元，若没有其他的想法和需求，ReLu应该作为激活函数的第一选择。

       当然在最后的输出层，因为sigmoid的上下限刚好在0-1之间，很适合做分类。所以输出层的激活函数韩式选择sigmoid。