1 anchor-based

深度学习目标检测通常都被建模成对一些候选区域进行分类和回归的问题。在单阶段检测器中，这些候选区域就是通过滑窗方式产生的 anchor；在两阶段检测器中，候选区域是 RPN 生成的 proposal，但是 RPN 本身仍然是对滑窗方式产生的 anchor 进行分类和回归。

基于Anchor based 的目标检测

• 二阶段目标检测算法： Faster RCNN、Mask RCNN、Cascade RCNN
   - 在特征图的每一个点生成大小比例不一的anchor，然后通过RPN对anchor进行筛选
• 单阶段目标检测算法： YOLO V2~V4、SSD、RetinaNet
   - 把原图分为若干个网格，然后通过聚类的方法，每个网格当中得到不同尺寸的anchor，然后再和真实框做一个IOU的比较，得到训练目标

2 anchor-free

anchor-free是通过另外一种手段来解决检测问题的。同样分为两个子问题，即确定物体中心和对四条边框的预测。预测物体中心时，将中心预测融入到类别预测的 target 里面，也可以预测一个 soft 的 centerness score。对于四条边框的预测，则比较一致，都是预测该像素点到 ground truth 框的四条边距离，不过会使用一些 trick 来限制 regress 的范围。

基于Anchor free 的目标检测

• 关键点检测方法

  • （1）CornerNet： 通过检测对角（左上、右下）代替anchor box 和 corner pooling layer更好的定位对角，然后组合。
  • （2）ExtremeNet： 对CornerNet算法的改进，通过串联多个Hourglass模块对每个目标预测5个关键点（上、下、左、右四个极点和一个中心点），然后组合。
    

• 通过目标物体的中心点来定位

  • （1） CenterNet和FCOS： 通过预测物体中心点及其到边框的距离来表征目标框
    

3 Anchor free 和 Anchor base 的区别

（1）分类方式不同 : 正负样本的选择方式（核心区别）

• Anchor based: 如RetinaNet基于anchor的回归，首先计算来自不同尺度的anchor box与gt的IoU来确定正负样本；对于每个目标在所有IoU大于阈值k的anchor box中，选择最大的作为正样本，所有IoU小于阈值q的anchor box作为负样本，其余忽略不计；最后针对正样本的anchor回归相对偏移量
• Anchor free： 如FCOS基于center做回归，使用空间和尺度约束将anchor点分配到不同尺度上，通过判断特征图上的点是否落入gt中来确认正负样本，即将物体边框内的所有位置都定义为正样本；最后通过4个距离值和1个 中心点的分数来检测物体。
  

（2）回归方式不同:基于anchor还是point做回归

如图（b）RetinaNet回归的是anchor box和gt的4个偏移量。
如图（c）FCOS回归的是中心点到目标四条边的距离。

4 优缺点

anchor-based
anchor based的优点是可以产生密集的anchor box，使得网络可以直接进行目标分类和边界框回归，提高了目标召回能力，尤其对小目标检测有明显的提升。

anchor based的缺点是需要设定很多超参数，如尺度、长宽比等，这些参数很难设计，并且会影响检测性能。另外，anchor based的方法也会产生很多冗余的框，增加了计算量和内存消耗。

anchor-free
anchor free的优点是不需要预设anchor，只需要对不同尺度的特征图的目标中心点和宽高进行回归，减少了耗时和算力。同时，anchor free的方法也可以避免一些由于anchor设置不合理导致的漏检或重复检测问题。

anchor free的缺点是由于每个位置只预测一个框，可能会导致一些重叠或遮挡区域无法被检测到。另外，anchor free的方法也需要一些特殊的损失函数或结构来提高精度和稳定性。