本文介绍一篇3D点云分割网络:Cylinder3D
,论文已收录于 CVPR 2021。 这里重点是理解本文提出的 Cylindrical Partition
和 Asymmetrical 3D Convolution Network
。
论文链接为:https://arxiv.org/pdf/2011.10033.pdf
项目链接为:https://github.com/xinge008/Cylinder3D
0. Abstract
本文提出了新的3D分割网络:由圆柱坐标体素划分
和非对称 3D 卷积网络
组成。此外本文还引入了一个 point-wise 模块
来改进体素块输出,提高辨识精度。
新的网络在两个大型室外场景数据集(SemanticKITTI
和 nuScenes
)上进行了评估:在 SemanticKITTI
数据集上,新框架排名第一。在 nuScenes
数据集上,新方法的表现也大大超过了之前的方法。
1. Introduction & Related Work
引言部分作者介绍了点云分割的三种处理方式:投影为距离图像
,直方体分割
、圆柱分割
,从下图可以看到,圆柱分割
能够有效提高分割精度。
研究现状,作者介绍了 :
室内场景点云分割
:PointNet和聚类算法,不过室内场景点云数量比较少而且距离范围很小,很难适用于室外场景;室外场景点云分割
:将3D投影为2D将不可避免失去3D几何信息;3D 体素分割
:将点云划分为规则的体素,但是都忽视了点云的稀疏性和密度不均匀性;
2. Methodology (重点)
2.1 Framework Overview
网络框架如下图所示,由圆柱坐标体素划分
、非对称3D卷积模块
、点元素模块
组成。
2.2 Cylindrical Partition
这里作者首先对比了直方体划分
和圆柱体划分
产生的非空网格比例情况,可以看到,距离越远时,圆柱体划分能产生更高比例的非空网格。
具体划分流程如右图所示,将直角坐标(x,y,z)(x,y,z)(x,y,z)转换为圆柱体坐标(ρ,θ,z)( ρ,\theta,z)(ρ,θ,z),距离约远时,划分的网格就越大。同时使用MLP
学习点云特征,最终得到的圆柱表示为 R∈C×H×W×L\mathbb{R} \in C \times H \times W \times LR∈C×H×W×L,这里CCC表示特征维度,HHH表示弧度,WWW表示角度,LLL表示高度。
2.3 Asymmetrical 3D Convolution Network
这里作者设计了非对称3D卷积块,如下图所示,由下采样和上采样块组成。
3. Experiments
首先对比了本文与其它分割算法在SemanticKITTI
和nuScenes
数据集上的精度。
然后是对比实验,验证本文设计的各个模块对分割精度的提升。
最后是扩展实验,验证本文设计的模块对全景分割
和物体检测
性能的提升。