BEV3D检测模型

Fast-BEV: A Fast and Strong Bird‘s-Eye View Perception Baseline

近年来，基于鸟瞰图（BEV）表示的感知任务越来越受到关注，BEV表示作为下一代自动驾驶汽车（AV）感知的基础是有希望的。目前大多数现有的BEV感知方案要么需要相当多的资源来执行车端推理，要么性能不高。本文提出了一种简单而有效的框架，称为Fast-BEV，它能够在车载芯片上执行更快的BEV感知。为了实现这一目标，本文通过试验发现，BEV表征可以在不需要昂贵的基于transformer变换或基于深度表示的情况下获得强大的表征能力。本文设计的FAST-BEV由五个部分组成：

(1)一种轻量级的、部署友好的视图变换，它将2D图像特征快速地转换到3D体素空间；
(2)一种利用多尺度信息以获得更好性能的多尺度图像编码器；
(3)一种专为加速车载推理而设计的高效的BEV编码器；
(4)一种针对图像和BEV空间的强数据增强策略以避免过度拟合；
(5)一种多帧特征融合机制以利用时间信息。
其中，(1)和(3)使Fast-BEV能够在车载芯片上快速推理和方便部署，(2)，(4)和(5)确保Fast-BEV具有竞争力的性能。这些都使得Fast-BEV成为自动驾驶车载芯片上高性能、快速推理和易于部署的解决方案。通过实验，在2080Ti平台上，本文的ResNet-50模型在nuScenes验证集上可以运行达到52.6FPS和47.3%的NDS，超过了BEVDepth-R50模型的41.3 FPS和47.5%的NDS和BEVDet4D-R50模型的30.2 FPS和45.7%的NDS。本文最大的模型(ResNet-101@900x1600)在nuScenes验证集上获得了具有竞争力的53.5%的NDS。