高精度端到端在线校准环视相机和LIDAR（精度0.2度内！无需训练数据）

附赠自动驾驶学习资料和量产经验：链接

写在前面

在自动驾驶车辆的使用寿命内，传感器外参校准会因振动、温度和碰撞等环境因素而发生变化。即使是看似无害的 camera-lidar 外参校准值有一两度的误差，也可能给高级的 camera-lidar 感知功能引入灾难性的故障。

连续在线外部校准（COEC）在自动驾驶车辆的稳健性和安全性中发挥关键作用，在操作系统失效时能够识别故障，触发纠正行为，然后继续无损运行。如图所示，在没有人员车辆服务事件的情况下，重新标定传感器系统是面向车队可扩展的安全关键传感器融合系统的要求。

原文链接：精度0.2度内！无需训练数据，端到端在线校准环视相机和LIDAR

本文提出了一种轻量级无模式在线校准算法，用于使用深度特征互信息（MI）进行鱼眼相机和激光雷达的连续在线外参标定：

使用深度特征互信息的端到端 COEC 流程
用于标定评估的自我诊断置信度度量
在 KITTI-360 数据集上进行的真实实验，使用原始未校正的鱼眼图像

方法

互信息测量了当了解一个变量后对另一个变量的不确定性减少的程度。在相机和激光雷达之间的外部标定的真值处，互信息的值应该是最大的。

当前有方法利用图像强度和激光雷达反射（一种强度特征）共享信息，并且可以用作相机-激光雷达外参标定的成本度量。然而，关于哪些场景共享强度特征信息没有理论和很少的一致性。图像的亮度（强度）与激光雷达测量的强度仅有松散的相关性。例如，一个深蓝色和明亮的白色路标都会返回高强度的激光雷达测量，但图像的强度会有很大的变化。这样的例子，在自动驾驶传感器数据中，显示了图像和激光雷达强度之间的不一致性是很常见的。

虚拟一个深度传感器以相机图像作为输入，并返回场景中每个像素的深度，使用单目深度估计网络实现深度估计。虚拟传感器和激光雷达之间的外参标定，也就是相机和激光雷达传感器之间的标定。如图所示，对于点云不使用强度信息，而是欧氏距离作为特征（见图2）。

如何判断优化收敛也至关重要，主要有三个简单的指标：

互信息的值，在外参标定的真实值处被假定为最大值
互信息对外参的一阶导数，在信息函数最大值时应为零
互信息对外参的二阶导数，反映了信息函数的峰值，并应在外参标定的正确值处为最大值。

具体算法

COEC算法的输入是一组时间同步的图像点云对 (�=(�1,�1),(�2,�2),…,(��,��))，其中每对包括在二维相机光学坐标系 ( �� ) 中记录的RGB图像 ( �� ) 和在LiDAR坐标系 ( �� ) 中记录的包含K个三维点的点云 ( �� )。

在第一步中，使用预训练的单目深度估计网络从每个RGB图像中提取深度图 ( �� )。第二步中，使用由初始值 ( Θ0=[��,��,��,��,��,��]� ) 参数化的刚性变换 ( ��∈�4×4)，首先将每个点云转换为三维相机坐标系 (�� )，然后进一步投影到相机光学坐标系 ( �� )。投影是基于双球相机模型和投影相机矩阵 ( �∈�3×4 ) 完成的。

对于每个深度图点云对 { (��,��)} ，我们得到了一组 ( �≤� ) 个像素，3D LiDAR点被投影到这些像素上。从像素中我们可以直接提取相应的图像深度特征 ( ��=��1,��2,…,�� )，通过从深度图中获取相应的值来实现。匹配的点云深度特征 ( ��=��1,��2,…,�� ) 则使用每个三维点到LiDAR坐标系原点的欧几里得距离来计算。通过归一化直方图表示，我们使用这两组特征近似它们的互信息（MI）：

��(��,��,Θ)=�(�Θ�)+�(�Θ�)−�(�Θ�,�Θ�)

MI值直接取决于外部参数 ( Θ )。为了获得更稳健的估计，对整个输入集合的MI值进行平均。最后，使用平均MI作为目标函数，该函数由外参参数化，并将其最大化以获得正确的外参参数。优化使用Powell的BOBYQA算法，用于解决无导数的有界优化问题。