文章：4DenoiseNet: Adverse Weather Denoising From Adjacent Point Clouds
代码：https://github.com/alvariseppanen/4DenoiseNet
1）摘要
可靠的点云数据对于感知任务至关重要，例如在机器人和自动驾驶应用中。恶劣天气会导致特定类型的噪声进入到激光测距 （LiDAR） 传感器数据，这会显着降低点云的质量。为了解决这个问题，本文提出了一种新颖的点云恶劣天气去噪深度学习算法（4DenoiseNet）。与文献中的深度学习恶劣天气降噪方法不同，文中的算法利用了时间维度。与之前的工作相比，它在交并集度量方面的性能提高了约 10%，并且计算效率更高。这些结果是在我们新颖的SnowyKITTI数据集上实现的，该数据集有超过 40000 个恶劣天气注释的点云。此外，加拿大不利驾驶条件数据集的强大定性结果表明，对域偏移和不同传感器特性具有良好的普遍性。
2）创新点
①提出了一种新颖的时空特征编码器，能够适用轻、中、大雪场景的去噪；
②模型只有 0.6 M 的可训练参数，需要较少的标记数据，并且具有更好的泛化性。
3）算法结构
A.有序点云表达
首先，将点云映射到球面坐标系，然后再转换为图像坐标系：
其中，fv为激光雷达的垂直视场角分辨率，fvup为原点水平面到垂直视场角的角度，sw和sh分别为图像的宽度和高度。得到的图像坐标列表用于构建 （x，y，z）的通道图像，即有序点云 Po ∈ Rsh×sw×（3+Cf） ，其中 Cf 表示特征通道的数量，在作者文章中，Cf = 1 表示强度。
B.空间数据构建
传统方法DROR、DSOR和DDIOR已经证明了密度在检测空气中颗粒物点云具有参考性。因此，利用神经网络去获取密度信息是表达空间信息的关键之处。因为文章方法是基于点云 球面投影结果进行度量处理，传统的2D卷积难以适用获取局部点云。如上图所示，作者利用KNN卷积作为第一层卷积用于获取度量空间中的K近邻邻域点。具体如下步骤：
①：从有序点云中选取一个锚点p(u,v)，该点包含一个坐标3通道和一个强度通道（C=4）；
②：基于锚点获取其点云周边的K个近邻点，从而每个点就构成了C*K个通道；而锚点的个数为H*W，那么就形成一个m=H*W,n=C*K的特征矩阵；
③：为了生成一个m=H*W,n=32的特征矩阵输入给ReLU，则共享权重矩阵应该为m=C*K,n为32的权重矩阵。
空间KNN卷积公式具体可参照下列公式：
其中有序点云
∂p为p的K邻域，
为K近邻搜索。
- 时间数据构建
LiDAR 点云中恶劣天气的影响比有效点具有更混乱的性质。这是由来自空气中粒子的光束反射引起的。由这些粒子引起的反射更加不可预测，因为它们很小并且受到气流的移动。这种混沌行为在其他点上的规模要小得多。因此，时间信息可以用于文中的任务。一项实证研究表明，空气中的颗粒物（例如雪花）的反射极不可能在同一地方发生两次。也就是说，在给定光束，从空气传播粒子反射的单个光束极不可能发生在相邻扫描中，而其他表面的反射则较为一致。如上图所示，对于具有均匀运动的一组点，它们的变化距离随着角度变化更平滑。相反，由非匀速运动引起的一组点更具随机性。具体步骤如下：
①：从当前扫描的有序点云选取一个锚点p(u,v)，该点包含一个坐标3通道，C=3；
②：在上一个相邻扫描中，获取锚点的最近K个点；
③：计算相邻扫描中近邻点的运动状态：(r、θ, φ)：
根据上述公式，计算得到运动状态矩阵m=H*W,n=3*K。
④：为了生成一个m=H*W,n=32的特征矩阵输入给ReLU，则共享权重矩阵应该为m=3*K,n为32的权重矩阵。
- 模型结构
模型包括两个分支：空间特征提取分支和时间特征提取分支。空间特征提取分支通过KNN卷积获取空间特征表达式，然后，利用Residual Block进行特征编码，最后利用均值池化进行特征图下采样；时间特征提取分支以空间分支的锚点作为参考点，利用相邻扫描场景计算时间特征图，并利用Residual Block进行特征编码，利用均值池化进行特征图下采样；接着，利用MGA进行时空特征融合，利用Residual Block进行时空特征图编码，并采用DropOut进行神经元的随机关闭，防止模型过拟合；然后，利用Pixel Shuffle进行特征图上采样，使用Residual Block进行编码，并利用K1D1的膨胀卷积生成密集的Score Map。最后，利用SoftMax的置信度生成用于删除噪声点的mask——M。基于mask对球面投影图进行噪声滤出，并反投影回点云空间，完成噪声滤除。
4）实验
实验采用模拟数据集SnowyKITTI进行训练，如上表所示，SnowyKITTI可以划分为6个子集，如下图所示，通过不同子集训练得到的模型，文章方法具有较好的稳定性。
下表是根据SnowyKITTI进行训练，训练占比80%，剩余的用于测试，从结果来看，文章方法在精度上与现有方法有较大改善，同时，在效率和参数大小上也具有优越性。
作者在构建空间特征时，采用r,x,y,z四个通道，其中r为距离，发现不使用强度训练的模型，在实际场景中的泛化性能更好。
上图为CADC数据集的测试结果，该数据集为实际场景采集的小雪、中雪和大雪场景，从上述图中可以观察到，能够较好地去除雪产生的点云噪声。
为了研究时空 kNN卷积的重要性，进行了如上表所示的一项消融研究，比较了四种 4DenoiseNet 变体。描述了变体及其性能、运行时间和可训练参数的数量。kNN-卷积模块被传统的二维卷积层所取代。在没有时间分支的变体中，不使用 MGA，空间分支直接连接到第二个残差块。基于消融研究，空间 kNN-卷积比时间 kNN 卷积对性能的提高略大。总体而言，空间和时间kNN-convolution模块均显著提高了性能。
5）结论
4DenoiseNet，这是第一个用于对相邻 LiDAR 点云进行恶劣天气降噪的深度学习算法。带注释的 SnowyKITTI 数据集的定量结果、加拿大不利驾驶条件数据集的定性结果和运行时间表明，模型是恶劣天气降噪的新技术。4DenoiseNet基于本文提出的时空kNN-卷积模块。通过消融研究展示了度量空间中的空间和时间信息在恶劣天气降噪任务中的重要性。鉴于轻量级的计算需求和性能，算法将成为户外LiDAR应用中必不可少的组成部分，为所有下游任务提供干净的点云数据。
