无人驾驶

百度apollo课程 1-5

百度apollo课程 6-8

七月在线 无人驾驶系列知识入门到提高

当今，自动驾驶技术已经成为整个汽车产业的最新发展方向。应用自动驾驶技术可以全面提升汽车驾驶的安全性、舒适性，满足更高层次的市场需求等。自动驾驶技术得益于人工智能技术的应用及推广，在环境感知、精准定位、决策与规划、控制与执行、高精地图与车联网V2X 等方面实现了全面提升。科研院校、汽车制造厂商、科技公司、自动驾驶汽车创业公司以及汽车零部件供应商在自动驾驶技术领域进行不断地探索，寻求通过人工智能技术来获得技术上的新突破。

自动驾驶汽车（Automated Vehicle；Intelligent Vehicle；Autonomous Vehicle；Self-drivingCar；Driverless Car）又称智能汽车、自主汽车、自动驾驶汽车或轮式移动机器人，是一种通过计算机实现自动驾驶的智能汽车。

自动驾驶汽车等级标准,SAE J3016 标准(Level0~Level 5 共6 个级别)、

• Level 0：无自动化，由人类驾驶员全程操控汽车，但可以得到示警式或须干预的辅助信息。
• Level 1：辅助驾驶，利用环境感知信息对转向或纵向加减速进行闭环控制，其余工作由人类驾驶员完成。
• Level 2：部分自动化，利用环境感知信息同时对转向和纵向加减速进行闭环控制，其余工作由人类驾驶员完成。
• Level 3：有条件自动化，由自动驾驶系统完成所有驾驶操作，人类驾驶员根据系统请求进行干预。
• Level 4：高度自动化，由自动驾驶系统完成所有驾驶操作，无需人类驾驶员进行任何干预，但须限定道路和功能。
• Level 5：完全自动化，由自动驾驶系统完成所有的驾驶操作，人类驾驶员能够应付的所有道路和环境，系统也能完全自动完成。

目前对于自动驾驶汽车的研究有两条不同的技术路线：一条是渐进提高汽车驾驶的自动化水平；另一条是“一步到位”的无人驾驶技术发展路线。由SAE J3016 标准可以看出，通常大家谈论的无人驾驶汽车对应该标准的Level 4 和Level 5 级。无人驾驶汽车是自动驾驶的一种表现形式，它具有整个道路环境中所有与车辆安全性相关的控制功能，不需要驾驶员对车辆实施控制。

〉 自动驾驶技术的价值

• 1. 改善交通安全。驾驶员的过失责任是交通事故的主要因素。无人驾驶汽车不受人的心理和情绪干扰，保证遵守交通法规，按照规划路线行驶，可以有效地减少人为疏失所造成的交通事故。
• 2. 实现节能减排。由于通过合理调度实现共享享出行，减少了私家车购买数量，车辆绝对量的减少，将使温室气体排量大幅降低。
• 3. 消除交通拥堵，提升社会效率。自动驾驶汽车可以通过提高车速、缩小车距以及选择更有效路线来减少通勤所耗时间。
• 4. 个人移动能力更加便利，不再需要找停车场。
• 5. 拉动汽车、电子、通信、服务、社会管理等协同发展，对促进我国产业转型升级具有重大战略意义。

实战

自动驾驶汽车关键技术包括环境感知、精准定位、决策与规划、控制与执行、高精地图与车联网V2X 以及自动驾驶汽车测试与验证技术；人工智能在自动驾驶汽车中的应用包括人工智能在环境感知中的应用、人工智能在决策规划中的应用、人工智能在车辆控制中的应用。

计算机视觉（处理摄像头，分割、检测、识别）定位（算法+HD MAP）   路径规划  控制
传感器融合fusion（激光雷达等）以百度apollo 无人驾驶平台介绍相关的技术

1. 感知
2. 定位
3. 规划
4. 控制
5. 高精度地图和车联网 基础设施

comma.ai（无人驾驶公司）的这两千行Python/tf代码 Learning a Driving Simulator

openpilot 一个开源的自动驾驶（驾驶代理），它实行 Hondas 和 Acuras 的自适应巡航控制（ACC）和车道保持辅助系统（LKAS）的功能。

Autoware

udacity/self-driving-car

第六十八篇：从ADAS到自动驾驶（一）：自动驾驶发展及分级

1.环境感知，起着人类驾驶员“眼睛”“耳朵”的作用

• 摄像机可以识别车辆行驶环境中的车辆、行人、车道线、路标、交通标志、交通信号灯等。它具有较高的图像稳定性、抗干扰能力和传输能力等特点。
• 激光雷达是以发射激光束来探测目标空间位置的主动测量设备。
• 毫米波雷达是指工作在毫米波波段、频率在30—300GHz 之间的雷达。根据测量原理的不同，毫米波雷达可分为脉冲方式毫米波雷达和调频连续波方式毫米波雷达两种。
• 超声波雷达的数据处理简单快速，检测距离较短，多用于近距离障碍物检测。

目前，环境感知技术有两种技术路线，一种是以摄像机为主导的多传感器融合方案，典型代表是特斯拉。另一种是以激光雷达为主导，其他传感器为辅助的技术方案，典型企业代表如谷歌、百度等。

摄像机捕获图像（RGB图像） -> 预处理(缩放、旋转、格式转换) -> 提取特征 -> 物体检测/分类/语义分割/识别等

激光雷达捕获距离数据(点云数据) -> 预处理(PCL点云处理，降采样，聚类分割等) -> 提取特征（形状、表面纹理） -> 三维检测框（三维框+类别）

后两步，现在一般使用DCNN深度神经网络来实现。

检测 -> 跟踪(连续帧，检测出的物体匹配关联（利用局部二值模式特征/方向梯度直方图等特征进行匹配）) -> 判断速度（辅助雷达数据（三维点云数据，含有精确的距离信息）） -> 预测物体轨迹(未来的速度和位置)
-> 检测出 动态物体 和 车道线 -> 用于规划和决策

透视变换 和 滑动窗口跟踪

语义分割理解环境障碍物道路等，CNN卷积网络编码得到特征 -> 反卷积（或池化索引上采样+卷积）解码网络

高精度地图中，设定ROI感兴趣三维(点云)/二维（图像）区域，以缩小 查询匹配范围，加快感知，实际检测的静态物体(交通灯等)会在HD map中查找，辅助实际环境中的感知过程

相机 雷达radar 激光雷达LiDAR 在各种使用场景和环境下个有优缺点，所以需要结合他们的优点，达到在各种场景中最优，所以需要传感器融合技术

雷达radar 激光雷达LiDAR 检测障碍物，传感器融合的算法为 卡尔曼滤波（预测+测量误差更新）

数据同步融合 / 数据异步融合

有数据级融合，特征级融合，目标级融合，应用于不同的场景，融合策略就不同。

2.精准定位

• 惯性导航系统由陀螺仪和加速度计构成，通过测量运动载体的线加速度和角速率数据，并将这些数据对时间进行积分运算，从而得到速度、位置和姿态。

车辆速度 时间 初始位置 和 初始速度 车辆加速度。

短时间内准确，长时间内，由于IMU数据飘逸，变得的不准确，可以和GPS结合

• 轮速编码器与航迹推算.可以通过轮速编码器推算出自动驾驶汽车的位置。通常