arXiv今年10月刚刚上传论文“LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion“。

其特色在于，除了激光雷达和HD Map之外，该轨迹预测方法采用了雷达传感器的信息。雷达和激光雷达融合是有挑战性的，因为前者的低角分辨率缺陷，而且数据稀疏，和激光雷达同步也很难。为此，本文提出一个有效的时空雷达特征提取方法。

---

如图所示是雷达的挑战和益处的示意图：一个鸟瞰示例场景，其中当前、过去和将来帧中激光雷达点（浅蓝色）和雷达点速度（橙色）通过标签（白色）可视化。 车辆A是转弯公交车，在整个车架上有多个雷达点。 在空间和时间有效地组合这些信息，可以恢复完整的2D速度和转速。 车辆B显示出雷达固有的高位置噪声。 车辆C显示一个稀疏的激光雷达点情况，这时候时域隐式关联可能是一个挑战。 但是，C周围存在的雷达点可以为模型添加上下文信息，方便检测和预测轨迹。

融合多传感器的信息，可采用BEV格点，这里提出的是一个采用雷达数据学习BEV网格单元的时空特征方法。最后这些特征用于目标检测和预测的应用。

下图是LiRaNet纵览图：雷达特征提取网络（A）分两步从原始雷达点提取时空特征：（1）对于每帧，在BEV网格单元和雷达点之间创建一个图，用非刚性卷积学习空域特征，（2）这些空间特征在时域进一步融合，即沿通道维堆叠并使用MLP获得雷达特征体（feature volume）。 然后将此特征体与其他传感器的特征体融合，并馈入检测和未来轨迹预测的联合感知-预测网络（B）。 最后可以看到一个场景预测示例（C）。

雷达特征的计算如

---

激光雷达和HD Map的特征学习类似，其中HD Map表示为一个包括车道线几何信息的图像。

整个网络主干类似于以前Uber的工作，即CVPR论文【38】PnPNet。整个网络架构图如下所示：

如下是一些实验结果：

下表分析三个影响因素。