深度学习:
一、感知器
S型神经元
sigmoid fuction:1/(1+exp(-z))
![image](https://yqfile.alicdn.com/2e0144aba1df89e4ad5437e51aa21abc052025e5.png)
二、神经网路
这是一个三层神经网络
输入层 隐藏层 输出层
三、手写数字识别神经网络
一共四层神经网络,第一层是以28*28灰度 784个神经元组成,第一隐藏层是15个神经元第二隐藏层是10个神经元用来输出0-9数字,输出层则是将输出数字转化成二进制。
利用cost function(代价函数)来检验其效率
利用梯度下降法,求得最优解
随机梯度下降(SGD)