MobileNetv2
MobileNetV2是一种专为移动和嵌入式视觉应用设计的轻量化网络结构。它在MobileNetV1的基础上引入了两个主要的创新点:反转残差结构(Inverted Residuals)和线性瓶颈层(Linear Bottlenecks)。
- 反转残差结构:与传统的残差块结构不同,MobileNetV2的反转残差结构首先通过1×1的卷积操作增加特征通道数(即“扩张”),然后再通过一个轻量级的深度卷积(Depthwise Convolution)进行特征提取,最后通过1×1的卷积操作减少特征通道数(即“压缩”)。这种设计可以在保持模型轻量级的同时,提高特征的表征能力。
- 线性瓶颈层:在残差块的最后一个1×1卷积之后,为了避免ReLU激活函数对特征的破坏,MobileNetV2使用了线性激活函数。这样可以更好地保留特征的信息,有助于提高模型的性能。
MobileNetV2作为YOLO主干网络的可行性分析
- 性能优势:MobileNetV2作为一种轻量级的网络结构,具有较小的模型大小和较快的推理速度,这使得它非常适合作为实时目标检测任务中YOLO的主干网络。同时,由于其优秀的特征表征能力,MobileNetV2可以提取到丰富的图像特征信息,有助于提高目标检测的精度和效率。
- 兼容性:YOLO算法本身是基于卷积神经网络的,而MobileNetV2也是一种基于卷积神经网络的模型。因此,将MobileNetV2作为YOLO的主干网络具有很好的兼容性。通过合理地设计网络结构和参数设置,可以将MobileNetV2与YOLO的检测头进行有效地融合,形成完整的目标检测模型。
- 优化与改进:虽然MobileNetV2已经具有很好的性能表现,但在实际应用中还可以根据具体任务需求进行进一步的优化和改进。例如,可以通过调整网络深度、宽度和卷积核大小等参数来平衡模型的性能和速度;也可以采用一些先进的优化技术(如剪枝、量化等)来减小模型的参数量和计算量,进一步提高模型的实时性和部署能力。
替换MobileNetV2(基于MMYOLO)
OpenMMLab 2.0 体系中 MMYOLO、MMDetection、MMClassification、MMSelfsup 中的模型注册表都继承自 MMEngine 中的根注册表,允许这些 OpenMMLab 开源库直接使用彼此已经实现的模块。 因此用户可以在 MMYOLO 中使用来自 MMDetection、MMClassification、MMSelfsup 的主干网络,而无需重新实现。
假设想将MobileNetV2''作为 'yolov5' 的主干网络,则配置文件如下:
_base_ = './yolov5_s-v61_syncbn_8xb16-300e_coco.py'deepen_factor = _base_.deepen_factor
widen_factor = 1.0
channels = [32, 96, 320]model = dict(backbone=dict(_delete_=True, # 将 _base_ 中关于 backbone 的字段删除type='mmdet.MobileNetV2',# 使用 mmdet 中的 MobileNetV2out_indices=(2, 4, 6),act_cfg=dict(type='LeakyReLU', negative_slope=0.1),init_cfg=dict(type='Pretrained', checkpoint='open-mmlab://mmdet/mobilenet_v2')),neck=dict(type='YOLOv5PAFPN',deepen_factor=deepen_factor,widen_factor=widen_factor,in_channels=channels, # 注意:MobileNetV2 输出的3个通道是 [32, 96, 320],和原先的 yolov5-s neck 不匹配,需要更改out_channels=channels),bbox_head=dict(type='YOLOv5Head',head_module=dict(type='YOLOv5HeadModule',in_channels=channels, # head 部分输入通道也要做相应更改widen_factor=widen_factor))
)