ICCV 2023 | NeRF-Det

NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection

介绍

本文介绍了一种新颖的方法，用于仅使用RGB图像作为输入进行室内3D目标检测。作者提出了利用神经辐射场（NeRF）来显式估计3D几何形状，以提高检测性能。他们引入了几何先验来增强NeRF的泛化能力，并通过共享的多层感知器（MLP）连接检测和NeRF分支，使NeRF能够高效地适应检测任务。该方法在基准数据集上超过了现有的最先进方法，并且能够在不进行场景特定优化的情况下很好地泛化到未见过的场景。文档提供了相关工作的概述，并详细描述了所提出的NeRF-Det方法。

架构图

架构说明

NeRF-Det的框架。我们的方法利用 NeRF 通过估计不透明度网格来学习场景几何形状。通过共享几何 MLP （G-MLP），检测分支可以从 NeRF 中获益，从而能够屏蔽可用空间并减轻特征体积的模糊性。

解读

利用NeRF学习场景几何：NeRF-Det方法通过NeRF（Neural Radiance Fields）来学习场景的3D几何结构。NeRF是一种利用深度学习来从多视角2D图像重建连续3D场景表示的技术，它能够为场景中的每个点估计颜色和体积密度（或不透明度）。在NeRF-Det中，特别强调了利用NeRF估计“不透明度网格”（opacity grids），这些网格代表了场景中不同位置的不透明度，从而揭示了场景的几何结构。
共享几何MLP（G-MLP）：NeRF-Det引入了一个共享的几何多层感知器（Geometry-MLP，简称G-MLP），这是一个深度神经网络模块，用于连接NeRF的几何学习部分和目标检测分支。通过这种设计，目标检测分支能够直接利用从NeRF学到的场景几何信息。
从NeRF中受益：由于目标检测分支和NeRF通过G-MLP紧密连接，检测分支能够从NeRF估计的不透明度场中受益。这意味着检测算法可以更准确地区分场景中的空间区域是属于实体物体（不透明）还是空闲空间（透明或半透明）。
解决特征体积的歧义：通过利用NeRF提供的不透明度信息，NeRF-Det能够“屏蔽掉”（mask out）空闲空间，并减少特征体积（feature volume）中的歧义。在3D目标检测中，特征体积歧义是一个常见问题，因为来自背景或不相关区域的特征可能会干扰目标的准确检测。通过排除这些空闲空间，NeRF-Det能够更专注于实际物体的特征，从而提高检测性能。