多模态融合目标检测新SOTA！推理速度提升2.7倍，实现最先进性能

为解决传统目标检测在复杂环境下效果不佳等问题，研究者们提出了多模态融合目标检测。

通过整合来自多个传感器的数据，充分利用不同传感器的优点，多模态融合目标检测能够更全面地捕捉目标信息，显著提高检测的准确性和鲁棒性，以及模型在各种环境条件下的适应能力。

因此，这种深度学习方法逐渐成为了主流，相关的最新研究成果非常丰富。比如Fusion-Mamba，在公共RGB-IR数据集上实现最佳性能；Fully Sparse Fusion，在推理速度上超越SOTA方法2.7倍。

为方便各位理解和复现，我这次整理了9个最新的多模态融合目标检测方案，已开源的代码都附上了，论文可参考创新点做了简单分析，希望可以给各位带来一些灵感。

论文原文以及开源代码需要的同学看文末

Fusion-Mamba for Cross-modality Object Detection

方法：论文提出了Fusion-Mamba，用于改善不同模态之间的目标检测性能。具体来说，该方法通过在隐状态空间中关联跨模态特征来进行融合，并通过改进的Mamba和门控机制来减少跨模态特征之间的差异，增强融合特征的表示一致性。

创新点：

作者引入了一种名为Fusion-Mamba的新方法，该方法首次利用Mamba进行多模态特征融合。在Fusion-Mamba中，作者设计了两个模块：SSCS模块用于浅层特征融合，DSSF模块用于在隐藏状态空间中进行深层特征融合。通过这两个模块，Fusion-Mamba方法能够减小模态之间的差异，并提高特征融合的一致性和表达能力。
作者引入了一种名为2D选择性扫描机制，用于解决二维视觉数据和一维语言序列之间的不兼容性。SS2D机制通过将图像补丁沿四个不同方向进行扩展，生成四个独立的序列，并利用这些序列建立全局感受野。这种选择性扫描机制能够在不增加计算复杂度的情况下，捕获潜在的相关性，从而建立全面的全局感受野。

Fully Sparse Fusion for 3D Object Detection

方法：本文提出了一种名为Fully Sparse Fusion（FSF）的多模态全稀疏感知框架。该框架通过实例级别融合，将图像信息与LiDAR信息无缝集成，解决了LiDAR-only全稀疏检测器的局限性。FSF框架主要包括双模态实例生成模块和双模态实例预测模块，以及一种双模态实例标签分配策略。

创新点：

FSF是一种全稀疏的多模态感知框架，通过实例级融合而不引入任何密集的BEV特征图。
FSF无缝集成了2D实例分割和3D实例分割，通过双模态实例生成和双模态基于实例的预测，充分发挥了两个领域的优势。
FSF在nuScenes数据集、Waymo Open Dataset和Argoverse2数据集中实现了最先进的性能。特别是在Argoverse2数据集中的长距离检测中，FSF比之前最先进的多模态检测器快2.7倍。

Is-fusion: Instance-scene collaborative fusion for multimodal 3d object detection

方法：论文提出一种创新的多模态融合框架IS-FUSION，用于多模态三维物体检测，通过联合建模多模态实例级和场景级上下文，并有效地增强BEV表示，实现了在竞争性nuScenes基准上的卓越性能，超过了所有现有的3D检测算法。

创新点：

IS-FUSION引入了HSF模块和IGF模块，这两个模块能够捕捉到实例级别和场景级别的多模态信息，并且通过增强两者之间的协作来改善BEV表示。
IS-FUSION的HSF模块采用了Point-to-Grid和Grid-to-Region transformer attentions来分层提取多模态特征，并能够在不同的粒度上捕捉到场景的上下文信息。IGF模块则通过挖掘实例候选对象、探索实例之间的关系以及聚合局部多模态上下文来增强场景特征，从而获得实例感知的BEV表示。