端到端的自动驾驶--论坛分析

从Tesla开始，越来越多的企业和研究机构开始投身于端到端的自动驾驶模型，但是目前端到端的缺点是黑盒、不可读、不可解释。观看一些讲解和论坛后，个人觉得可解释的端到端模型将是未来的趋势。
视觉语言–大模型可以提供一些场景下的决策；
目前预测模块制约了自动驾驶的发展，感知相对稳定，规划控制也可以实时的计算出运动轨迹，不同的决策约束了不同的ROI区域，从而限制了相关的规划轨迹求解。
视觉语言模型，缺点是3D的场景下描述较差，推导计算周期长，规划轨迹不稳定。
Tesla的planning用DL主要是为了加速树搜索，而不是直接端到端黑箱出轨迹。用DL直接输出轨迹，再使用ilqr修正是不靠谱的。用DL只是加速是ok的，因为只影响搜索效率，不会有啥严重后果。同理Prediction直接DL出意图是可以的，出轨迹是不行的，至少要结合planning，做一些agent的轨迹优化和生成。

清华大学—赵行老师：

目前研究措施：使用双系统进行互补，一个是快模型。一个是慢模型，简单问题和默认情况下是快模型进行常规执行，复杂场景慢模型输出决策给快系统进行修正；
pipeline：：3D perception --> Video --> motion Prediction --> Trajectory Planning
两种结合：
1、感知层面：标注的视频进行匹配；
2、规划层面：两个模型的规划轨迹进行互相配合，进行微调；
参考tesla影子模式；
两个OrinX，一个fast，一个slow，多线程并行运行，slow额外发送一条指令给fast，微调fast的规划轨迹；
语言标注，推理标注，后验结果标注，模仿学习；

浙江大学—廖依伊老师—面向自动驾驶的写实可控视觉仿真

传统的数据集无法闭环测试；carla场景搭建复杂，与现实存在差距较大。

上海交大—蔡盼盼—决策规划

传统的模块化系统（计算量）和新的端到端系统（数据量）；
端到端系统面临的挑战：安全性、可靠性：神经网络的决策无法确保安全性和一致性，缺乏可解释性；
可拓展性挑战：
1、大规模交互场景：与大量交通参与者的实时交互；缺点：过度激进、过度保守；

step1：问题抽象建模；
马尔科夫决策过程（MDP）：<S,A,T,R,Y>;
利用MDP模型，求解机器人的最优闭环策略；
Tesla2022aiday分享相关的MDP知识
蒙塔卡洛树搜索（MCTS）：通过推演未来可能发生的各种状况，从而计算自车的最优策略；
人类行为存在不确定性：意图推断、分析；（贝叶斯推断）
信念；
部分可观马尔科夫决策过程（POMDP）；<S,A,Z,T,O,R,Y>
step2：设计规划算法
信念树；bellman等式；
信念树搜索；DESPOT算法；
step3：实用算法优化：
融合规划：LeTS-Drive；
并行化+融合规划与学习；