本文重点
在前面的一篇文章中,我们对AlexNet网络模型的参数进行了详细的介绍,本文对其网络模型的特点进行总结。
特点
1、AlexNet的网络结构比LeNet5更深,模型包括5个卷积层和3个全连接层。参数总量大概为249MB。
2、Alex使用了ReLu激活函数,使得模型收敛得更快,解决了sigmoid激活函数所存在的梯度弥散的问题。
3、Alex使用了dropout层,这可以有效地防止过拟合的问题。
4、AlexNet使用了LRN归一化层,通过对局部神经元的活动创建竞争机制,抑制反馈较小的神经元,放大反馈大的神经元,从而提高模型的泛化能力。
5、使用了分块训练的方式,这主要是之前的显卡的显存太小的原因。
6、使用了数据增强的方式。通过裁剪、翻转等操作让数据增强,增强了模型的泛化能力。预测时使用提取图片4个角加中间5个位置并进行左右翻转一共十张图片的方法来取平均值。