目录

一、数据库——数据获取

1、Mnist

2、ImageNet

二、自编码器（Auto-encoder）——参数初始化

1、功能

2、基本思想

1）训练第一层

2）训练第二层及以后的神经网络

​

3）利用BP对整个神经网络的参数初始值进行微调

​ 

3、关键代码

三、卷积神经网络

---

 

SVM适用于小样本，神经网络适用于大样本

一、数据库——数据获取

1、Mnist

二值图就是只有黑白两色

2、ImageNet

二、自编码器（Auto-encoder）——参数初始化

1、功能

用于初始化神经网络参数，使得初始的参数w,b比较合理，进而可以保留样本的特征信息

2、基本思想

自编码器的基本思想如下：

假设训练一个输入为X，输出为Y，神经网络层数为N层的网络，对于每一层的参数逐层进行训练。通过假设每一层的输入和输出是一样的，并且保持前面神经网络层的参数不变，利用BP算法对该层进行训练，这样的话就得到了该层的参数的初始值

1）训练第一层

假设第一层的输入为X，输出也为X，利用BP算法对这个网络进行训练，求得参数w1,b1,w1',b1'

以下的这个网络就是一个自编码器

 求得参数w1,b1,w',b'后，将w1,b1,保留，这样就会得到经过layer1输出的参数为三个

2）训练第二层及以后的神经网络

3）利用BP对整个神经网络的参数初始值进行微调

 
 

3、关键代码

通过前面就得到了整个神经网络的比较合理的参数初始值，这样得到的参数初始值保留了样本特征的基本属性

一般输出层的神经元的个数与数据集的类别的类数相同，有多少类就输出多少，属于哪一类那一个神经元输出就是1，其他神经元输出为0，通过这样来判断是哪一类

上面代码主要是完成了上一层的输出作为下一层输入的转换

 

三、卷积神经网络

后接：《机器学习——深度学习之卷积神经网络》