1 经典网络

按照时间顺序

1.1 LeNet

LeNet是 Yann LeCun在1998年提出，用于解决手写数字识别的视觉任务。自那时起，CNN的最基本的架构就定下来了：卷积层、池化层、全连接层。

深度学习开山之作LeNet实战:(现代卷积神经网络/网络结构/原理解析/源码解读)、《Gradient-Based Learning Appliedto Document Recognition》_会害羞的杨卓越的博客-CSDN博客

1.2 AlexNet

深度学习奠基作AlexNet《ImageNet Classification with Deep Convolutional Neural Networks》之论文解读上篇_会害羞的杨卓越的博客-CSDN博客

AlexNet网络结构详解_会害羞的杨卓越的博客-CSDN博客

AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的，把CNN的基本原理应用到了很深很宽的网络中。

主要参数：AlexNet网络包含8层，其中前5层为卷积-池化层，后3层为全连接层；输入224×224×3的图像，第一卷积层用96个11×11×3的卷积核对进行滤波，步幅4像素；全连接的每层有4096个神经元，最后一个完全连接的层的输出被馈送到1000路SoftMax，它产生超过1000个类别标签的分布；整个网络共650000个神经元。

特点：

使用ReLU作为激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题
使用Dropout（丢弃学习）随机忽略一部分神经元防止过拟合
在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果
提出了LRN（Local Response Normalization，局部正规化）层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力
使用CUDA加速深度卷积网络的训练，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算

1.3 VGG

网络深度：16-19层
5组卷积-池化，3个全连接
三个全连接层，前两层都有4096通道，第三层共1000路及代表1000个标签类别；最后一层为softmax层
所有卷积层有相同的配置，即卷积核大小为3x3，步长为1，填充为1

深度学习奠基作VGG《Very Deep Convolutional Networks for Large-Scale Image Recognition》(现代卷积神经网络/网络结构)_会害羞的杨卓越的博客-CSDN博客

1.4 GoogleNet

深度学习奠基作GoogleNet《Very Deep Convolutional Networks for Large-Scale Image Recognition》(现代卷积神经网络/网络结构)_会害羞的杨卓越的博客-CSDN博客

1.5 ResNet

深度学习最强奠基作ResNet《Deep Residual Learning for Image Recognition》论文解读(上篇)_会害羞的杨卓越的博客-CSDN博客

2 网络结构

2.1 卷积层

通过卷积操作，进行特征提取和降维。

2.2 激活层

将前一层的输出，通过非线性的激活函数进行处理，用以模拟任意维度的函数，增强网络的表征能力。

常用的激活函数：

阶跃函数（用的较少）
sigmoid函数：
- 优点：平滑，易求导
- 缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练
- 改善方案：归一化，用sk-learn函数处理
tanh函数常用于NLP，其他类似sigmiod函数
Relu函数（常用），优点：
- 更加有效率的梯度下降以及反向传播，避免了梯度爆炸和梯度消失问题
- 计算过程简单
softmax函数，特点：多分类模型适用