数据
KITTI
在卡尔斯鲁厄采集的数据，包括雷达（64线束激光雷达）和摄像头（灰色+彩色）。目标为pvb,场景包括农村、城市、高速。3D目标检测任务包含7481 训练图片和7518 测试图片包含80.256 标注目标。同时带有点云信息。数据真值由标注员标注而成。
标注例子
数据分布
难易样本定义
nuscenes
算法
FCOS3D
mono3D比2D检测的难点在于缺少深度信息。
创新点：利用之前的2D检测任务。将3D检测解耦为基于2D检测的多个子任务。
结构。
类似FCOS,加入多个任务头
细节：
- 4个卷积模块为share-head，每个小的target head独立
- anchor-free的方式，类似centernet的方式，对于每一个点预测offset
- 预测中心点的offset以及深度，和方向（0-pi）（用于计算iou），类别方向（区分对向行驶的目标），速度
- 分类loss使用focal loss；回归loss使用smooth l1；方向分类、中心点使用交叉熵loss。loss权重d 为0.2，vx, vy is 0.05其他都是1
- 预测将分类score*center的score在bev视角下做nms
- 对于歧义点使用diatance-based的方法
- 中心点使用高斯分布
- 训练细节。开始depth的loss权重为0.2，后来fintune的时候调整到了1
结果
疑问：
-
直接预测中心点的多个offset?
文章说参考2D直接预测中心点的4个offset是比较难的，简单的任务是看成2.5D个任务 -
如何在不同级别中分配3D检测目标
1）对于FOCS2D，通过fpn增加recall。每一个fpn层级预测的size需要满足一定的边界要求（具体来说，每层负责固定的边界目标即可）。FCOS3D参考的这个做法，但是2D目标是通过3D的外接矩形获取的，用于过滤每层无效的目标。
2）歧义问题。同一个点对应不同的目标。focs2D方法based-area，将点优先分配给小目标（大目标的关注就少了呀）；本文使用点distance-based点方法，优先分配给距离近点目标。可提升1个点的mAP
3.有哪些有效的提升tricks- 更好的backbone、加入DCN、长epoch
- deep loss、dist-based分配
- 调deep loss在不同阶段
参考
https://github.com/BigTeacher-777/Awesome-Monocular-3D-detection?tab=readme-ov-file#2023
https://paperswithcode.com/task/monocular-3d-object-detection#datasets
