Yolo系列 Yolo v4简介

简介

YOLOv4的特点

1、数据增强：马赛克数据增强（Mosaic Data Augmentation）

2、防止过拟合的方法DropBlock

3、标签平滑（Label Smoothing）

4、损失函数：GIOU损失、DIOU损失、CIOU损失

（1）、GIOU损失

（2）、DIOU损失

（3）、CIOU损失

编辑

5、非极大值抑制：DIOU-NMS、Soft-NMS

(1)、DIOU-NMS

(2)、Soft-NMS

6、网络结构

（1）、spp-net网络

（2）、CSP-net网络

（3）、注意力机制

（4）、PAN网络

（5）、激活函数：Mish

7、整体网络结构

总结

简介

YOLOv4（You Only Look Once, Version 4）是一种先进的实时目标检测算法，由Alexey Bochkovskiy、Chien-Yao Wang和Hong-Yuan Mark Liao于2020年提出。作为YOLO系列算法的第四个版本，YOLOv4在继承了前代版本高效性的基础上，通过一系列优化和改进，实现了更高的检测精度和速度。

与YOLO前几个系列相比YOLOv4更换了作者，但整体思考没有变并且吸收了当时主流的框架优点。

YOLOv4的特点

1、数据增强：马赛克数据增强（Mosaic Data Augmentation）

YOLOv4引入了Mosaic数据增强技术，这种技术可以在训练过程中随机组合四个图像的一部分，以生成一个新的训练图像。这有助于模型学习更多的背景信息和上下文关系，提高鲁棒性。

在介绍几种数据增强的方法，YOLOv4就是在此基础上得到的启发。

(1)、Mixup[48]：将两张图片按照比例进行叠加

(2)、Cutout[3]：对图片进行区域裁剪

(3)、CutMix：把两张图片按比例拼接

(4)、Random Erase:：用随机值或训练集的平均像素值替换图像的区域

(5)、Hide and Seek：根据概率设置随机隐藏一些补丁

(6)、Self-adversarial-training(SAT)：通过引入噪声点来增加训练难度

2、防止过拟合的方法DropBlock

DropBlock是谷歌在2018年提出的一种用于卷积神经网络（CNN）的正则化方法。这是一种用于解决过拟合问题的技术，在训练神经网络时非常有用。过拟合问题是指在训练集上表现很好，但在测试集上表现不佳的问题。相比于传统的Dropout技术，DropBlock不是随机屏蔽掉一部分特征（注意是对特征图进行屏蔽），而是随机屏蔽掉多个部分连续的区域。这种方法有助于减少神经网络中的冗余连接，从而提高模型的泛化能力。

3、标签平滑（Label Smoothing）

标签平滑是一种正则化技术，用于改善模型的泛化能力，尤其是在分类任务中。

**在传统的分类任务中，模型的训练目标是使预测概率尽可能接近真实标签的概率，即对于二分类任务，正确标签的预测概率应该是1，而错误标签的预测概率应该是0。
**然而，在YOLOv4中，标签平滑技术会将这个目标进行微调，将正确类别的标签值从1调整为一个较小的值（例如0.95），而将错误类别的标签值从0调整为一个正的较小值（例如0.05）。
**这样做的原因是，如果一个模型对自己的预测过于自信（即预测概率接近1或0），它可能无法很好地泛化到新的、未见过的数据。标签平滑通过让模型对自己的预测不那么确定，来促进模型学习更加鲁棒的特征，从而在遇到新的数据时能够作出更加可靠的预测。

4、损失函数：GIOU损失、DIOU损失、CIOU损失

这些损失函数是对传统的IoU（Intersection over Union）损失函数的改进。IoU只计算预测框和真实框之间的交集与预测框的比值，这在某些情况下并不能很好地指导模型学习，例如当预测框和真实框不相交时，IoU损失为0，这就没有梯度更新，模型无法从这些错误中学习。

（1）、GIOU损失

GIOU引入了最小封闭形状C（C可以把A、B包含在内），在不重叠情况下能让预测框尽可能朝着真实框前进。

但是当预选框与真实框重叠时会出现GIOU损失值不变的情况

（2）、DIOU损失

DIOU在GIOU的基础上加入了两个框中心点之间的距离信息，这有助于模型更快地收敛到正确的位置。其中分子计算预测框与真实框的中心点欧式距离d分母是能覆盖预测框与真实框的最小BOX的对角线长度c，直接优化距离，速度更快，并解决GIOU问题。

（3）、CIOU损失

损失函数必须考虑三个几何因素:重叠面积，中心点距离，长宽比其中α可以当做权重参数。

5、非极大值抑制：DIOU-NMS、Soft-NMS

(1)、DIOU-NMS

DIOU-NMS和原始的NMS不同,DIoU-NMS不仅考虑了IoU的值,还考虑了两个Box中心点之间的距离,使用了新的公式决定一个Box是否被删除。

其中M表示高置信度候选框，Bi就是遍历各个框跟置信度高的重合情况

(2)、Soft-NMS

传统的NMS存在一定的问题：如果一个物体在另一个物体重叠区域出现，即当两个目标框接近时，分数更低的框就会因为与之重叠面积过大而被删掉，从而导致对该物体的检测失败并降低了算法的平均检测,Soft-NMS就可以有效的解决此问题。

将当前检测框得分乘以一个权重函数，该函数会衰减与最高得分检测框M有重叠的相邻检测框的分数，越是与M框高度重叠的检测框，其得分衰减越严重，为此选择高斯函数为权重函数，从而修改其删除检测框的规则。（δ通常取0.3）。

6、网络结构

参考网络

（1）、spp-net网络

SPP Net的第一个贡献就是在最后一个卷积层后，接入了金字塔池化层，保证传到下一层全连接层的输入固定。在普通的CNN机构中，输入图像的尺寸往往是固定的（比如224*224像素），输出则是一个固定维数的向量。SPP Net在普通的CNN结构中加入了ROI池化层（ROI Pooling），使得网络的输入图像可以是任意尺寸的，输出则不变，同样是一个固定维数的向量

（2）、CSP-net网络

它可以增强CNN的学习能力，并且在轻量化的同时保持准确性。

做法：

1、每一个block按照特征图的channel维度拆分为2部分。

2、一份正常执行残差网络，另一份直接concat到block的输出

CSPNet主要是为了解决三个问题：增强CNN的学习能力；降低内存成本；以及减少计算瓶颈。它通过将梯度的变化从头到尾地集成到特征图中，从而减少了计算量的同时保证了准确率。在特征金字塔生成过程中采用跨通道池来压缩特征映射，可以减少内存使用。同时，CSPNet方法可以减少模型计算量和提高运行速度，还能和多种网络结构结合在一起。

（3）、注意力机制

CBAM（Convolutional Block Attention Module）是一种针对深度神经网络的注意力机制模块，用于提高模型在分类、检测和分割等任务中的表现。它结合了通道注意力和空间注意力，几乎可以嵌入任何CNN网络中，在稍微增加一点计算量和参数量的情况下，可以大大增强模型性能。

yolo v4使用的是其中的SAM（Spatial Attention Module),也就是空间注意力机制，会注重于特征图上某个空间。

（4）、PAN网络

PAN网络是在FPN网络上进行改进得来的

FPN（Feature Pyramid Networks）是一种用于目标检测和语义分割的深度学习模型，它能够有效地处理不同尺度的目标。 FPN使用图像金字塔的思想，通过对原始图像进行多尺度处理，构造出一个类似真实金字塔的特征金字塔。在特征金字塔的每一层，FPN都会提取出不同的特征，并进行相应的预测。这样，对于不同尺度的目标，FPN可以在不同的特征层上进行预测，从而获得更好的检测效果。