一、卷积神经网络

1、卷积神经的作用

2、LeNet

1）数据库准备——minst

2）模型·

二、关于卷积神经网络结构的一些术语定义

1、特征图（Feature map）

2、height（长度）、width（宽度）、Channel（通道）

3、卷积核（convolution kernel、filter）

4、步长（stride）

1)步长刚好使得卷积核遍历图像

2）步长不能使得卷积核遍历图像

问题1：原始图像有一些数据没有被卷积核训练怎么解决？

5、小结——原始图像大小、卷积核大小、步长核特征图像大小之间有什么关系

三、LeNet卷积神经网络结构

1、LeNet卷积神经网络结构模型

2、LeNet第一层卷积层 convolution

1）LeNet第一层卷积层模型

2） LeNet第一层卷积层待求参数个数

3）共享权重（weight sharing）

问题2：上图的神经网络和之前学习人工神经网络（常规神经网络）有什么区别？

2、LeNet第二层池化层（subsampling）

问题3：卷积后进行后向传播时按照正常的BP即可，但是池化后的层进行进行后向传播到池化前的层呢？

3、LeNet第三层卷积层（convolution）

4、全连接层（full connection）

1）全连接层的模型和定义

2）全连接层的待定参数

5、输出层（OUTPUT）

1）目标函数E

问题4：什么是SoftMax?

6、LeNet卷积神经网络结构参数计算

四、TENSORFLOW实现LeNet-5

图 LeNet卷积神经网络结构前接：《机器学习——深度学习之数据库和自编码器》

一、卷积神经网络

1、卷积神经的作用

由手工设计卷积核转换为自动学习卷积核

卷积公式有很多：如傅里叶变换、小波变换等

卷积核主要的作用就是将元素先乘再加（积分的本质就是加）

2、LeNet

1）数据库准备——minst

2）模型·

二、关于卷积神经网络结构的一些术语定义

1、特征图（Feature map）

原图像经过卷积核作用得到的图像称为特征图，如图 LeNet卷积神经网络结构所示

2、height（长度）、width（宽度）、Channel（通道）

height和width定义了图像（我们叫做tensor张量）的大小，长宽

channel定义了图像的颜色，如果是彩色channel=3，表示rgb三原色，如果是黑白二值图，则channel=1

如图 LeNet卷积神经网络结构，图像的大小为32*32，具体的单位应该是像素，颜色为彩色因为channel=3

3、卷积核（convolution kernel、filter）

如图 LeNet卷积神经网络结构，卷积核的大小为5*5，也是彩色，这里的卷积核可以理解为是一个小的图像，活动范围是32*32*3的长方体内，按照一定的规律，卷积核可以对图像进行扫描

以二值图为例进行说明

二值图像大小为3*3*1，卷积核为2*2*1，用卷积核从左上角开始进行扫描，按照一行一行进行，将卷积核与扫描重合的图像对应的参数进行相乘然后再相加，得到卷积核在该位置的卷积数，如上图的Pi，上图还有一个偏置（大家可以按照人工神经网络的模型去理解这里的b），上图图像处每一个颜色框代表卷积核扫描的一个地方，扫描的地方就是在进行卷积，最后会得到如下图所示的公式。每移动一个地方，就对应得到了特征图的一个参数

那么卷积核究竟该按照什么规律去移动呢，这就涉及到了步长这个概念。

4、步长（stride）

步长顾名思义就是每一步移动的长度，这里的步长控制的是卷积核扫描的长度，如stride=【1，1】表示的是卷积核每一步向右移动一个单位长度，换行时也是在纵向上移动一个单位长度

如下图移动的步长就是【1，1】

1)步长刚好使得卷积核遍历图像

图像5*5*3

卷积核2*2*3

步长【1，1】

特征图像4*4*1

2）步长不能使得卷积核遍历图像

图像5*5*3

卷积核2*2*3

步长【2，2】

特征图像2*2*1

由上图可知原始图像没有被卷积核全部遍历（上图红色框图部分）

问题1：原始图像有一些数据没有被卷积核训练怎么解决？

答：补零法(zero-padding)

如下图所示将原始图像两边用零补齐，使得原始图像的原有特征能够全部被卷积核所卷积

最多补零数为四周均不加一层零

5、小结——原始图像大小、卷积核大小、步长核特征图像大小之间有什么关系

假设有：
原始图像大小：M*N*3

卷积核大小：m*n*3

步长：(u,v)

特征图像大小：K*L*1

则有：

K<=(M-m)/u + 1

L<=(N-n)/v + 1

三、LeNet卷积神经网络结构

1、LeNet卷积神经网络结构模型

分为5层

第一层卷积层——convolution

第二层池化层——subsampling

第三层卷积层——convolution

第四层池化层——subsampling

第五层：

全连接层——full connection

2、LeNet第一层卷积层 convolution

32*32*3——28*28*6

1）LeNet第一层卷积层模型

特征图的个数和卷积核的个数是一样的，具体点就是特征图像的channel的值和卷积核的个数相同

注意：非线性转换不会改变图像的大小，只是对图像的每一个特征进行非线性变化，最后得到的大小和非线性变换前是一样的

2） LeNet第一层卷积层待求参数个数

首先是一个卷积核中的参数个数为：

m=5*5*3 = 75

在LeNet中有6个卷积核则：6m = 75*6=450

注意：以上的参数的个数没有偏置，一般一个卷积核是会自带一个偏置的，即b，所以有卷积核参数为：

6*（m+1）=6*76=456，有没有偏置有自己定义

实际上b是一个和卷积核大小一样的矩阵，但是一般将其作为一个参数来进行处理

其实偏置的形式可以通过原始图像大小、卷积核大小、步长核特征图像大小之间的关系来进行确定的，先计算出特征图像的大小（K,L），这样的话偏置的形式和特征图像的大小是一样的

3）共享权重（weight sharing）

共享权重就是同一个权重被不同的神经元之间所共享，或者说不同的神经元之间的权重有相同的

这里可以用类似于神经网络的方法来表示以下图的关系

问题2：上图的神经网络和之前学习人工神经网络（常规神经网络）有什么区别？

答：两个区别：

不本质区别：上图中，并不是所有的输入神经元和下一层的神经元都有权重，即只有部分神经元之间进行了连线，而常规的神经网络是每个神经元之间都有需要连线的即有权重，但是这个区别我们把没有连线之间神经元的权重看成是0即可，因此此为不本质区别

本质区别：上图神经网络的权重是共享的

2、LeNet第二层池化层（subsampling）

28*28*6——14*14*6

做的事情就是降维采样，即将第一层得到的特征图像中的大小分成若干份，将这若干份每一份中的参数特征取一个平均值，作为这一份的新的参数，这个过程叫做池化，最后组合成一个新的特征图像

问题3：卷积后进行后向传播时按照正常的BP即可，但是池化后的层进行进行后向传播到池化前的层呢？

答：因为池化的过程就是将4个格子取了一个平均值作为池化后的一个格子，那当我们进行后向传播时，我们将池化后的层的一个格子的1/4梯度作为池化前的4个格子的每一个格子的梯度即可

3、LeNet第三层卷积层（convolution）

14*14*6——10*10*16

利用和图像同channel的卷积核去卷积图像得到的特征图像的channel=1，这里用了16个和图像同channel的卷积核去卷积图像，因此得到的特征图像的channel=16，至于为什么是10，可以通过《原始图像大小、卷积核大小、步长核特征图像大小之间的共关系》来进行求得，（14-5）/1 + 1 = 10