YOLOv5基础知识

定位和检测:
定位是找到检测图像中带有一个给定标签的单个目标·

检测是找到图像中带有给定标签的所有目标

图像分割和目标检测的区别：

图像分割即为检测出物体的完整轮廓，而目标检测则是检测出对应的目标。（使用框框把物体框出来），此外，目标检测还分为多种类型，可以只检测一个物体，也可以同时检测多个物体。

目标检测性能指标

检测精度

Precision, Recall, F1 score
lou (Intersection over Union)
P-R curve ( Precison-Recall curve)·AP(Average Precision)
mAP (mean Average Precision)

检测速度

前传耗时
每秒帧数FPS (Frames Per Second)
浮点运算量(FLOPS)

混淆矩阵

精度Precision(查准率)是评估预测的准不准（看预测列)

召回率Recall(查全率)是评估找的全不全(看实际行)

YOLO——you only look once

YOLO算法基本思想

损失函数(Loss function)

损失函数包括:

classification loss,分类损失
localization loss,定位损失（预测边界框与GT之间的误差)
confidence loss,置信度损失（框的目标性; objectness of the box)

总的损失函数（三类损失之和）：
classification loss + localization loss + confidence loss

YOLOv5使用二元交叉嫡损失函数计算类别概率和目标置信度得分的损失。

YOLOv5使用CIOu Loss作为bounding box回归的损失。

类别预测（class prediction）

        大多数分类器假设输出标签是互斥的。如果输出是互斥的目标类别，则确实如此。因此，YOLO应用softmax函数将得分转换为总和为1的概率。而YOLOv3/v4/v5使用多标签分类。例如，输出标签可以是“行人”和“儿童”，它们不是非排他性的。（现在输出得分的总和可以大于1)
        YOLOv3/v4/v5用多个独立的逻辑(logistic)分类器替换softmax函数，以计算输入属于特定标签的可能性。
        在计算分类损失进行训练时，YOLOv3/v4/v5对每个标签使用二元交叉嫡损失。这也避免使softmax函数而降低了计算复杂度。

边界框回归是许多2D/ 3D计算机视觉任务中最基本的组件之一。
一个改进机会是使用根据loU计算的度量损失取代替代回归损失（例如l1和l2-norms（平方损失）)

灵活配置不同复杂度的模型

应用类似EfficientNet的channel和layer控制因子

YOLOv5的四种网络结构是depth_multiple和width_multiple两个参数，来进行控制网络的深度和宽度。其中depth_multiple控制网络的深度（BottleneckCSP数)，width_multiple控制网络的宽度（卷积核数量)。

predicted bounding box (black rectangle)

ground truth box (green rectangle)

loU用作性能度量和损失函数的问题:
如果两个物体不重叠，则loU值将为零，并且不会反映两个形状彼此之间的距离。

在物体不重叠的情况下，如果将loU用作损失，则其梯度将为零并且无法进行优化。
major weakness:
If |AnB|= 0,IoU(A,B)=0.

想法:推广loU到非重叠情形，并且确保:
(a）遵循与loU相同的定义，即将比较对象的形状属性编码为区域(region)属性;

(b）维持loU的尺寸不变性;

(c）在重叠对象的情况下确保与loU的强相关性。

GloU（generalized intersection over union）

the smallest convex shapes C enclosing both A and B

空间金字塔池化（SPP——spatial pyramid pooling）

YOLOv5-SPP

在 CSP 上添加 SPP 块，因为它能显著增加接收场，分离出最重要的上下文特征，而且几乎不会降低网络运行速度。

相比较而言的YOLOv4的SPP模块如上

PAnet（path-aggregation network路径聚合网络）

对一般的特征金字塔网络，他的特征图大小为不同的尺度，可以对于不同尺度做融合，但是当在较下面的维度和右侧的红色箭头指向的维度进行融合时，不利于进行融合。（如图a）

对于PAnet而言，他会增加一个bottom-up的模型（如图b），使得下面的较为精细的尺度特征图能够较为容易的传递到上层。然后在相同的尺度上进行融合，最后进行拼接操作（如图c）。由于PAnet中的a和b存在尺度特征图的上升和下降的信息流传递，使得PAnet的信息也较spp更为丰富。

目标框回归

Anchor给出了目标宽高的初始值，需要回归的是目标真实宽高与初始宽高的偏移量

        预测框中心点相对于对应网格(grid cell)左上角位置的相对偏移值
        为了将边界框中心点约束在当前网格中，使用sigmoid函数处理偏移值，使预测偏移值在(0,1)范围内YoLOv/v4目标框回归公式:
        根据边界框预测的4个offsets tx,ty,tw,th，可以按如下公式计算出边界框实际位置（坐标值）和宽高值: