1 前言
随着自动驾驶端到端大模型的兴起,小鹏、华为、理想、蔚来、小米等公司都对自动驾驶业务部进行了组织架构的调整,准备应对新的或者更高级别的自动驾驶研发任务。
近几年由于自动驾驶技术的快速发展,不少从业者觉得相关职业的未来充满了挑战。那么针对传统的规控算法工程师的现状到底怎么样,以及未来的发展如何?
本篇博客就笔者了解到的实际情况和读者朋友们进行分享。
2 招聘市场
笔者首先在某招聘网站截取了相关岗位的招聘情况,职位搜索主要以规控算法工程师岗位为主,对于规控算法工程师,目前招聘需求还是比较多的(先给各位看官吃颗定心丸),其中主要以行车的规控算法为主,泊车规控算法招聘相对较少。
再往下不难发现,像文远知行和蔚来都在规控算法中提到了大模型算法,理想甚至都没有传统的规控算法工程师的岗位。
另外,在英伟达的实习生招聘中,提到了不少L2级功能的开发。由于英伟达的自动驾驶研发起步比较晚,目前还是比较传统的规控算法,包括行车以及泊车的功能。
实习生主要参与的工作:复杂交通场景下驾驶和停车功能的 NDAS 决策和规划算法的性能调优, 在不同 OEM 合作伙伴的平台上集成、调整和调整更具竞争力的 NDAS 决策和规划解决方案。
随后,笔者特意找到了理想汽车的大模型招聘需求,对于从事大模型岗位的读者可以参考下述的要求,看下来,对于没有工作经验的应届生,顶会论文和相关大厂的实习经历比较重要:
- 本岗位的主要工作内容为:
- 参与研发端到端、大模型在车端AI芯片上的部署和推理加速方案;
- 跟踪前沿的大模型、高性能计算方向技术,调研并落地到车端模型部署和加速上,包括但不限于LLM推理框架、投机采样、模型压缩、量化、计算图优化等方向;
- 撰写高水平学术论文或专利扩大影响力。
- 职位要求:
- 拥有丰富的高性能计算、大模型优化实战经历,在相关领域有突破性工作,精通计算机体系结构,对NV GPU芯片有深入理解,有端到端自动驾驶、机器人系统工程化落地经验更佳;
- 需要至少发表 1篇 人工智能/MLSys等领域顶会论文或者顶级学术比赛成果;
- 有自动驾驶、大模型推理加速相关领域顶尖实习经历的优先。
3 规控未来发展
3.1 发展趋势
规控算法未来会以神经网络学习算法为主,这是目前的一个趋势。逐渐会向强化学习,端到端深度学习,多模态融合发展。
-
强化学习(RL):强化学习在规控算法中的应用将越来越广泛,尤其是在复杂动态环境下的决策和规划。
-
多模态融合:第一个方面是针对感知层的视觉、激光雷达等多模态数据,提升规控算法的鲁棒性和适应性;第二个方面是针对大模型的多模态轨迹,去做轨迹融合,提升模型轨迹的类人性。
-
端到端:端到端(如基于深度学习的规控)将逐渐成熟,能够直接从传感器输入生成控制指令。由于车型控制之间的差异性,目前大部分公司还是输出到轨迹层面。
3.2 技术方向
(1)复杂场景下的规划与控制
基于第二小节的阐述,传统的规控策略目前还有大量需求,大模型上车对很多公司是有门槛的,国内目前除了头部的三五家智驾公司,其它公司依然以传统的规控算法为主。
-
动态避障:在动态环境中实现实时避障和路径规划,基于决策算法,时空联合规划算法等方面。
-
轨迹优化:之前的博客中也多次提到过,目前端到端的玩家输出均为轨迹,所以优化大模型输出的轨迹也是一个需求。
(2) 强化学习与模仿学习
-
模仿学习:开发基于深度学习的端到端规控算法,基于人类驾驶员数据进行监督。
-
强化学习:在复杂动态环境中应用强化学习进行决策和规划。
(3)安全与可靠性
-
功能安全:开发符合功能安全标准的规控算法,无论是高低速的安全冗余,比如AEB。作为智驾安全的最后一道底线,AEB覆盖的速度范围也是非常重要的。
4 职业发展建议
(1) 行业需求
-
随着自动驾驶技术的商业化落地,规控算法工程师的需求将持续增长。
-
自动驾驶出租车、物流车、矿区车等应用场景将创造大量就业机会。
(2)持续学习
-
关注行业前沿技术(如强化学习、端到端学习),主要以看论文为主,关注相关领域的发展状态。
-
有条件可参加学术会议和技术交流活动(如 CVPR、ICRA),和大牛交流,从中能获取更多行业相关的知识和经验。
(3)项目经验
参与自动驾驶相关项目是最能直接提升技能的。笔者认为在求学期间或者职业生涯前两年能完整接触一个自动驾驶项目最好,正式步入公司之后,更多的是量产方面的工作(抠细节的工作会比较多),在大公司更趋向于负责其中很小的一块。
-
参与实际自动驾驶项目,积累实战经验。
-
尽量在项目中承担核心模块的开发任务。
迎接清晨的曙光,共勉!!!