本文提出了一种用于生成高分辨率毫米波雷达点云的方法：RadarHD，端到端的神经网络，用于从低分辨率雷达构建类似激光雷达的点云。本文通过在大量原始雷达数据上训练 RadarHD 模型，同时这些雷达数据有对应配对的激光雷达点云数据。本文的实验表明，即使是在未遇见过的场景以及存在严重烟雾遮挡的情况下，RadarHD也能生成丰富的点云数据。同时，这些生成的点云也能应用于现有的激光雷达里程计和建图方法中。

项目链接：https://akarsh-prabhakara.github.io/research/radarhd/

1. RadarHD System Design

首先讲一下RadarHD系统设计，RadarHD的核心目标是提高雷达信号的分辨率，使它们类似激光雷达。首先，可以考虑简单地插值方法并对雷达图像进行放大，就像相机图像上的超分辨率。但与相机图像不同，低分辨率雷达图像的邻域缺乏相似性。本文提出的RadarHD方法超越了传统的邻域方法，探索机器学习方法来获得全局图像理解。

ML 设计选择：机器学习方法的选择上，通常可以考虑一个简单的CNN模型，依次使用卷积层并构建输入图像的全局视图。然而，由于本文最终对超分辨率任务感兴趣，需要结合考虑全局图像理解和上采样。因此，RadarHD 建立在基于 U-Net 的编码器-解码器架构之上，该架构通常用于图像分割任务，使用它来解决雷达超分辨率任务。U-Net的编码器可以用来理解各种雷达伪影并获得真实世界目标的语义准确表征，解码器则使用这种表征来执行超分辨率。

设计挑战：本节的剩下章节描述了RadarHD模型的关键设计，帮助U-Net有效地学习。(1) 有效地表示、预处理和输入雷达I/Q数据。(2) 设计 U-Net 网络消除虚假伪影，同时保留场景中真实对象的数据。(3) 设计损失函数以确保保留预期输出中的尖锐线条等特征（如图 2所示）。

雷达数据表示：

• 本文选择的毫米波雷达装置可以提供原始I/Q数据流，根据需要进行进一步处理。典型的雷达处理包括空间傅立叶变换，输出具有反射雷达信号在距离和方位上的强度热力图。热力图被阈值化为“点云”。CFAR就是常用的阈值检测器，图2展示了CFAR处理后的雷达图像。本文中RadarHD对处理后得到的热力图应用非常低的阈值，以保留主要的反射信号许多伪影信号，将其留给ML模型来学习和过滤伪影。 在图2中，CFAR处理后雷达图像包含110个非零像素，RadarHD处理后包含1606个非零像素。
• 坐标表示：雷达本质上是径向测量的，为了捕捉这些径向和方位角的变化，需要进行径向/方位角处理。但机器学习中卷积层的主要学习元素是一个滤波器，它在输入的高度和宽度上执行2D卷积运算。为了利用这一点，本文选择了极坐标表示，这样当滤波器分别处理高度和宽度时，它们就会自然地沿着距离和方位角移动。因此，本文处理后的热力图为0-10米的图像，角度为-90°-90°。由于雷达方位分辨率较差，雷达图像大小为 64×256，激光雷达图像大小为 512×256。

神经网络架构：

2. Implementation

3. Results