击上方“新机器视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
基于点云的3D障碍物检测
主要有以下步骤：
点云数据的处理
基于点云的障碍物分割
障碍物边框构建
点云到图像平面的投影
点云数据的处理
KITTI数据集
KITTI数据集有四个相机，主要使用第三个相机(序号为02)拍摄的图片、标定参数和标签文件。
点云数据一般表示为N行，至少三列的numpy数组。每行对应一个单独的点，所以使用至少3个值的空间位置点(X, Y, Z)来表示。 
在KITTI数据中有一个附加值“反射率”，这是衡量激光光束在那个位置被反射回来了多少。所以在KITTI数据中，其点云数据就是N*4的矩阵。
三维点云的可视化
在MATLAB中可视化三维点云，如下图。 
额外的工作：三维点云的可视化，可使用python中的mayavi来实现，它是一个专门画3D图的python工具。另外，在有的论文中常常用到点云的鸟瞰图和前视图(包含360度的全景柱面图)。
高精地图
ROI指定从高精地图检索到包含路面、路口的可驾驶区域。以下点云数据处理在高精地图的基础上进行点云处理，默认去除路边建筑物和树木等背景对象。
额外的工作：百度Apollo使用了高精地图ROI过滤器建立了网格，对网格中的点云数据特征进行CNN学习来实现障碍物分割聚类，之后使用了MinBox构建障碍物边框。
去除地平面
找到地面平面并移除地面平面点，使用RANSAC(随机采样一致)算法检测和匹配地面平面，最后结果如下图。 
基于点云的障碍物分割
对点云数据进行预处理后，只留下路面上障碍物的点云，其余的背景障碍物以及地面已被移除。障碍物分割主要检测和划分单独的障碍物，将单独的车辆、行人等障碍物分割出来。
由于只是在二维图像中画出3D目标框，所以保留车辆前面的点(取x>5)。在剩下的点云中使用栅格法构建俯视图(即投影到x-y平面)2D网格，网格大小由点云的大小来决定。
通过建立网格，可以得到以下统计量：
网格中的点云个数
网格中的点云的最大、最小和平均高度
网格中的点云序号
基于以上统计量，寻找每个格子附近(3*9)领域的连通区域，每个连通区域为一个障碍物，达到了分割障碍物的目的。
额外的工作：使用KITTI的标签label文件来得到二维图像上的障碍物边界框，在此边界框中进行聚类分割前景障碍物和背景。
障碍物边框构建
从以上得到每个障碍物点云后，就需要画出每个障碍物的边界框。在这里使用最小凸包法求出包围点云的最小面积多边形边界框，如下图。 
基于最小凸包法得到障碍物周围的点，在这些点的基础上求出包围最小面积的矩形，如下图。 
可以看到黄色部分的点云求最小面积矩形边界框，会因为点云的稀疏，使得边界框不精确。
额外的工作：根据点云的x, y坐标找到x, y的最大值和最小值的点(共有4个点)，根据这4个点画出矩形框。很显然，这样做是不行的，但是如果知道车辆的朝向，以朝向为轴找到距离轴最大最小的点，此方法画出的边界框更加精确。
点云到图像平面的投影
点云到图像平面的投影需要读取标定参数文件，得到三个参数(相机的内参矩阵、基于相机0的旋转矩阵、外参矩阵)，三个参数的乘积也就是点云到图像的投影矩阵，结果如下图。 
转自：https://blog.csdn.net/qq_33801763/article/details/79283017
End
声明：部分内容来源于网络，仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥，请联系删除。
