前面我们说了CNN的一般层次结构, 每个层的作用及其参数的优缺点等内容.深度学习之卷积神经网络(Convolutional Neural Networks, CNN)_fenglepeng的博客-CSDN博客

一 CNN参数初始化及参数学习方法

和机器学习很多算法一样, CNN在进行训练之前也要进行参数的初始化操作. 我们知道, 在机器学习中的参数值一般都是随机给定的. 但是, 这CNN的参数初始化又和机器学习中有所不同.

1.1 W的初始化

由于CNN 中的参数更新的过程一般是通过BP算法实现的,再由前面我们在深度学习之BP算法一文中得到的BP算法参数更新公式可以发现, 参数更新过程中卷积核(权重值W)参与了连乘运算,因此一定不能初始化W = 0, 否则参数W无法更新.

另外考虑到太大(小)的W值可能导致梯度下降太快(慢), 一般选择很小的随机数, 且要求w为服从均值为0, 方差未知(建议选择2/n, n为权重的个数)的正态分布的随机序列.

1.2 b的初始化

一般直接设置为0，在存在ReLU激活函数的网络中，也可以考虑设置为一个很小的数字.

1.3 CNN模型参数学习方法

CNN中的参数学习方法主要是BP算法.

前面我们知道, BP算法的关键在于反向传播时的链式求导求得误差值 . 然后使用梯度下降的方法进行参数W和b的更新.

二 CNN过拟合

神经网络的学习能力受神经元数目以及神经网络层次的影响，神经元数目越大，神经网络层次越高，那么神经网络的学习能力越强，那么就有可能出现过拟合的问题；(通俗来讲：神经网络的空间表达能力变得更紧丰富了)

CNN是通过卷积核对样本进行特征提取的, 当特征提取过多(即学习到了不重要的特征)就回造成过拟合现象的发生, 这里主要介绍两种解决过拟合的方法, 分别为正则化和Dropout.

2.1 正则化

和机器学习一样, 通过在损失函数加上L1,L2正则项可以有效地防止过拟合的问题.

2.2 Dropout

一般情况下，对于同一组训练数据，利用不同的神经网络训练之后，求其输出的平均值可以减少overfitting。Dropout就是利用这个原理，每次丢掉一半左右的隐藏层神经元，相当于在不同的神经网络上进行训练，这样就减少了神经元之间的依赖性，即每个神经元不能依赖于某几个其它的神经元（指层与层之间相连接的神经元），使神经网络更加能学习到与其它神经元之间的更加健壮robust（鲁棒性）的特征。另外Dropout不仅减少overfitting，还能提高准确率。

Dropout通过随机删除神经网络中的神经元来解决overfitting问题，在每次迭代的时候，只使用部分神经元训练模型获取W和d的值. 具体的可以参见PDF文档http://nooverfit.com/wp/wp-content/uploads/2016/07/Dropout-A-Simple-Way-to-Prevent-Neural-Networks-from-Overfitting.pdf

p=0.5 # dropout保留一个神经元存活的概率def train_out(X):# H1 = np.maximum(0,np.dot(ω1,X)+b1) # 第一次dropout，注意做了一次除以P。U1 = (np.random.rand(*H1.shape)<p)/p  # [0. 2. 2. 2. 0. 0. 2. 2. 0. 0.]# drop转换为0或者原始值H1 *= U1H2 = np.maximum(0,np.dot(ω2,H1)+b2)# 第二次dropout，其中除以P。U2 =（np.random.rand(*H2.shape)<p）/p# 类似上方H2 *= U2out = np.dot(ω3,H2)+b3 # BP操作：计算梯度，参数更新def predict(X):#直接前向计算，不乘以PH1=np.maximum(0,np.dot(ω1,X)+b1)H2=np.maximum(0,np.dot(ω2,H1)+b2)out=np.dot(ω3,H2)+b3

2.3 方案选择

一般都可以使用Dropout解决过拟合问题
回归算法中使用L2范数相比于Softmax分类器，更加难以优化。对于回归问题，首先考虑是否可以转化为分类问题，比如：用户对于商品的评分，可以考虑将得分结果分成1~5分，这样就变成了一个分类问题。如果实在没法转化为分类问题的，那么使用L2范数的时候要非常小心，比如在L2范数之前不要使用Dropout。
一般建议使用L2范数或者Dropout来减少神经网络的过拟合

三、卷积神经网络训练算法

和一般的机器学习算法一样，需要先定义Loss Function，衡量预测值和实际值之间的误差，一般使用平方和误差公式找到最小损失函数的W和b的值，CNN中常使用的是SGD其实就是一般深度学习中的BP算法；SGD需要计算W和b的偏导，BP算法就是计算偏导用的，BP算法的核心是求导链式法则。

在神经网络中一般采用Mini-batch SGD，主要包括以下四个步骤的循环：

采样一个batch的数据
前向计算损失loss
反向传播计算梯度(一个batch上所有样本的梯度和)
利用梯度更新权重参数

使用BP算法逐级求解△ω和△b的值。

根据SGD随机梯度下降迭代更新ω和b。

$w_i^+=w_i-\eta \Delta w_i$
$d_i^+=d_i-\eta \Delta d_i$

四、池化层误差反向传播

Maxpool最大池化层反向传播：除最大值处继承上层梯度外，其他位置置零。

平均池化：将残差均分为2×2=4份，传递到前面小区域的4个单元中。

def max_pool_backward_naive(dout,cache):x,pool_param=cacheHH,WW=pool_param['pool_height'],pool_param['pool_width']s=pool_param['stride']N,C,H,W=x.shapeH_new=1+(H-HH)/sW_new=1+(W-WW)/sdx=np.zeros_like(x)for i in range(N):for j in range(C):for k in range(H_new):for l in range(W_new):windows=x[i,j,k*s:HH+k*s,l*s:WW+l*s]m=np.max(windows)dx[i,j,k*s:HH+k*s,l*s:WW+l*s]=(windows==m)*dout[i,j,k,l]return dx

梯度下降

梯度下降是常用的卷积神经网络模型参数求解方法，根据每次参数更新使用样本数量的多少，可以分为以下三类：

批量梯度下降（batch gradient descent,BGD）；
小批量梯度下降（mini-batch gradient descent,MBGD）；
随机梯度下降（stochastic gradient descent,SGD）。

详细请参考：机器学习之梯度下降法（GD）和坐标轴下降法（CD）

深度学习超参数

学习率（Learning Rate ）

学习率被定义为每次迭代中成本函数中最小化的量。也即下降到成本函数的最小值的速率是学习率，它是可变的。从梯度下降算法的角度来说，通过选择合适的学习率，可以使梯度下降法得到更好的性能。

一般常用的学习率有0.00001，0.0001，0.001，0.003，0.01，0.03，0.1，0.3，1，3，10

学习率调整策略

fixed固定策略，学习率始终是一个固定值。
step 均匀分步策略，如果设置为step,则还需要设置一个stepsize, 返回base_lr * gamma (floor(iter / stepsize)) 其中iter表示当前的迭代次数。floor(9.9)=9, 其功能是“下取整”。
base_lr * gamma iter ， iter为当前迭代次数。
multistep 多分步或不均匀分步。刚开始训练网络时学习率一般设置较高，这样loss和accuracy下降很快，一般前200000次两者下降较快，后面可能就需要我们使用较小的学习率了。step策略由于过于平均，而loss和accuracy的下降率在整个训练过程中又是一个不平均的过程，因此有时不是很合适。fixed手工调节起来又很麻烦，这时multistep可能就会派上用场了。multistep还需要设置一个stepvalue。这个参数和step很相似，step是均匀等间隔变化，而multistep则是根据 stepvalue值变化
- multistep设置示例（caffe）

base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
# The learning rate policy
lr_policy: "multistep"
gamma: 0.9
stepvalue: 5000
stepvalue: 7000
stepvalue: 8000
stepvalue: 9000
stepvalue: 9500