Code

主要思想

文章提出了一种新的神经场表示方法——Radar Fields，用于从FMCW（调频连续波）雷达数据中恢复场景几何信息。与以往的依赖于光学成像（如RGB相机和LiDAR）的神经场方法不同，该研究利用了雷达的频域特性，以解决在复杂和恶劣环境条件下的感知问题。雷达传感器由于其毫米波长特性，具有在雨雾等不良天气条件下提供可靠感知的优势。
因此，Radar Fields提出了一种在频域中操作的新方法，通过直接学习主动雷达传感器的原始波形数据，从2D雷达扫描恢复密集的3D占用信息（场景几何形状），又可以利用隐式场景从新视图中合成原始雷达数据。

本文主要任务：场景重建，数据生成

创新点

与现有的神经重建方法（如NeRF）相比，Radar Fields 具有以下几方面的创新：

• 频域学习：该方法跳过了体渲染步骤，直接在频率空间中学习场景几何信息，解决了雷达数据角度分辨率低、后处理点云稀疏的问题。
• 物理建模与神经网络的结合：引入了基于FMCW雷达信号物理特性的前向模型，以区分信号强度中的占用和反射成分，这种基于物理的表示有助于从雷达数据中提取几何信息。
• 新数据集引入：作者引入了一个新的汽车雷达数据集，用以训练和验证提出的方法。

研究方法

1 物理信号形成模型

Radar Fields基于FMCW雷达的物理特性，构建了一个信号形成模型。FMCW雷达使用锯齿调制的连续波信号，发射的频率在时间上线性变化。
对于每个物体，由于信号的反射会引入时间延迟，这种延迟在频域上表现为一个频率差。通过计算这些频率差，可以确定物体的距离。
本文进一步通过信号的物理模型，将雷达反射的信号强度分解为占用度（Occupancy）和反射强度（Reflectance），从而实现对场景的几何信息建模。

2 隐式神经场表示

将场景的几何信息和反射特性分别用两个神经场进行表示：

• 占用场表示 (Occupancy Field)：用于预测某个空间位置的几何占用情况。作者通过一个多分辨率的哈希编码方案，对输入的三维坐标进行编码，然后用一个MLP（多层感知机）预测占用度。

• 反射场表示 (Reflectance Field)：用于预测场景的反射特性（即雷达信号的反射强度），该表示依赖于视角方向的信息，作者通过球谐函数对视角方向进行编码，并与几何信息一起输入神经网络，以预测反射率。

3 基于物理的重要性采样

由于雷达传感器的天线具有方向增益特性，因此信号在不同角度上的强度并不均匀。为了更好地模拟这一物理特性，文章引入了一种基于物理的重要性采样策略。具体来说，研究者在雷达光束的椭圆锥形区域内进行超采样，通过对每一光束中心点周围的多个角度进行采样，构建一组射线，从而捕捉雷达天线增益对测量的影响。这一策略使得预测的占用和反射场更加符合实际的雷达测量过程。

模型训练

文章设计了一个基于频域监督的训练框架。具体的损失函数包括以下几部分：

• 重构损失 (Reconstruction Loss)：评估重构的雷达信号与实际雷达测量信号的差异。这个损失项确保预测的频域信号与真实信号保持一致。
• 正则化损失 (Regularization Loss)：用于保证学习到的几何占用度具有物理意义，并减少预测过程中可能出现的噪声。
• 占用度正则化 (Occupancy Regularization)：通过对空闲区域的占用度施加约束，保证模型正确区分占用和非占用区域，从而减轻伪影的出现。

对比实验

文中提出的方法与基于常规雷达点云的网格映射方法[Werber et al., 2015]和LiDAR-NeRF方法[Tao et al., 2023]进行了对比实验。
实验结果表明，Radar Fields在密集场景几何重建和视角生成方面均表现出显著的优势。特别是在恶劣天气条件下（如浓雾场景），LiDAR-NeRF和传统方法的性能明显下降，而Radar Fields的表现则依然稳定。

结论

文章最后总结了Radar Fields在雷达数据的几何重建和新视角合成方面的优势，并指出未来可以将该方法与LiDAR等其他传感器进行融合，进一步提高几何重建的精度。此外，文章还讨论了这种神经场方法在自动驾驶和机器人领域的应用前景，特别是在光学传感器受限的场景下，该方法提供了一种可靠的替代方案。