ImageNet classification with deep convolutional neural networks
原文链接:https://dl.acm.org/doi/abs/10.1145/3065386
中文翻译:https://blog.csdn.net/qq_38473254/article/details/132307508
使用深度卷积神经网络进行 ImageNet 分类
摘要
- 大型卷积神经网络AlexNet,实现了低错误率;
- 该网络由5个卷积层和3个全连接层组成;
- 使用了GPU加快了训练速度;
- 开发了“dropout”正则化手段减少过拟合;
1. 简介
- 为了更强大的模型,大型的数据集是需要的,如ImageNet;
- GPU能够与2D卷积实现结合,可以促进CNN训练;
- 如果有更快的GPU和更大的数据集,结果就可以得到改善。
2. 数据集
- 使用ImageNet的子集,每个类别包含大约1000个图像。总共大约有120万张训练图像、5五万张验证图像和15万张测试图像;
- ImageNet是由可变分辨率图像组成,这里将图像下采样到固定分辨率256 × 256。
3.架构
3.1 ReLU非线性
- 使用 ReLU 的深度卷积神经网络的训练速度比使用 tanh 单元的深度卷积神经网络快几倍;
- 激活函数:
3.2 多GPU上的训练
- GPU适合并行训练,将网络分布在两个GPU上。
3.3 局部响应标准化
3.4 重叠池化
- 间隔s个像素<池化单元位置为中心的大小为z × z 的邻域。
3.5 整体架构
- 输入图像:224×224×3
- 第一个卷积层 :96 个大小为 11×11×3 的核,步幅4
- 第二个卷积层:256 个大小为 5 × 5 × 48核
- 第三个卷积层:384 个大小为 3 × 3 × 256 的内核
- 第四个卷积层: 384 个大小为 3 × 3 × 192 的内核
- 第五个卷积层: 256 个大小为 3 × 3 × 192 的内核
- 第一个全连接层:4096 个神经元
- 第二个全连接层:4096 个神经元
- 第三个全连接层:1000个神经元
- 最后输出到softmax
4. 减少过拟合
4.1 数据增强
- 图像平移和水平反射,将训练集的大小增加了 2048 倍,减少了过拟合;
- 改变训练图像中 RGB 通道的强度,将错误率降低了1%。
4.2 Dropout
- 以 0.5 的概率将每个隐藏神经元的输出设置为零,减少了过拟合。
5. 学习细节
- 使用随机梯度下降来训练模型,减少了模型的训练误差
- 使用标准差为0.01的零均值高斯分布初始化每层权重;
用常量1初始化第二、第四、第五卷积层和全连接隐藏层的神经元偏差;
用常量0初始化剩余层的神经元偏差。 - 对所有层使用相同的学习率,当验证错误率不随当前学习率提高,将学习率除以10。学习率初始化为0.01并且终止前减少了三倍。
6. 结果
1.错误率相较于之前的Top-1和Top-5得到明显降低
6.1 定性评价
- GPU 1 上的内核很大程度上与颜色无关,而 GPU 2 上的内核主要与颜色相关
- 如果两个图像产生具有较小欧几里德分离的特征激活向量,我们可以说神经网络的更高层认为它们是相似的
7. 讨论
- 删除单个卷积层,网络性能就会下降,所以深度对于实现图像分类很重要。