[自动驾驶技术]-5 Tesla自动驾驶方案之算法(AI Day 2021)

有朋友问我,如何有效学习一个新技术。笔者这么多年的经验是:1)了解国内外产业应用和标准法规现状,先建立宏观知识图谱及技术系统框架;2)根据系统框架逐块进行深入研究(横向、纵向),穿插行业内主流厂商对应模块技术方案;3)系统研究行业内TOP厂商完整解决方案;4)针对你选择的重点方向进阶研究。因此笔者建立的自动驾驶专题介绍也会按照这个思路搭建技术体系(发布内容顺序不一定能严格遵守该路线,但会力求不断更新最终能按照该思路完成自动驾驶专栏搭建)。

本文及之后几篇系列文章,旨在针对自动驾驶行业领军企业特斯拉的技术方案进行深入解读和分析(资料来源:特斯拉官网,AI Day 2021,AI Day 2022,Inventor Day 2023)。特斯拉自动驾驶技术的核心是三个点:算法、数据和硬件,以下笔者将分别介绍AI Day 2021,AI Day 2022,Inventor Day 2023三次分享的内容,然后综合梳理出目前特斯拉自动驾驶解决方案。本文主要介绍特斯拉AI Day 2021的算法部分内容。

1 感知算法系统框架

1)系统框架

(摄像头raw data 1280*960,12bit (HDR) @36Hz)

特斯拉的感知算法系统,取名为HydraNet(九头蛇),九头非常形象的表示了感知系统整个算法模型是一个多头任务学习神经网络架构,旨在处理自动驾驶汽车所需的多种感知任务;颈部形象的展示出整个感知模型共享特征提取部分,从而提高计算效率和感知精度。

从上图可以看到,整个算法模型的输入是来自8个摄像头提供的raw data,通过神经网络将图像实时处理转换成4D向量空间(包括自动驾驶所需一切物体的3D表示,再加上时间维度),包括线、边、道路、交通标志、行人、车辆的位置、方向、速度、角速度等。提取到的特征序列进入到特定任务头进行处理,例如使用一阶YOLO进行目标检测等,针对性完成更多任务处理。

2)模型优点

HydraNet使用共同的共享骨干网络Backbone,再分支到多个任务头进行具体的子任务处理,具有非常明显的优势:

  • 特征共享:在测试时,可以通过共享前向传递推理,提高车载系统的效率。
  • 任务解耦:各任务独立进行,互不影响,因此更新某个数据集或更改某个任务头的架构时,无需重新验证所有任务。
  • 瓶颈处理:可以将Multi-scale features特征缓存到磁盘,只需对缓存的特征进行微调即可。

3)各组成模块

3.1)Rectify校准

考虑到不同位置安装的摄像头的抖动等问题,需要对每个输入的视觉数据进行校准,就是Rectify模块的任务,将所有图片转换为虚拟通用摄像头。

3.2)Backbone主干

RegNet

Rectify校准之后的下一层是算法模型的backbone特征提取主干,使用RegNet(残差神经网络)在延迟和精度之间进行了很好的折衷,可以提供不同尺寸不同精度的特征输出。(算法底部提供高精度空间信息W*H=160*120,低通道数C=64,可以看到更多图像细节;顶部提供低精度空间信息W*H=20*15,高通道数C=512,可以看到图像的大部分而且具备更多上下文语义)

RegNet由一系列重复的网络块组成,通过一组参数(如宽度、深度、分组卷积等)来灵活调整网络规模,使得网络能够适应不同的计算资源和任务需求;在设计RegNet过程中,重点关注网络的宽度(通道数)和深度(层数)的平衡,确保在不同层次上都有足够的表达能力。

工作原理:

  • 网络块(Simple Block):每个网络块由标准的卷积层、批量归一化层和ReLU激活函数组成;
  • 使用分组卷积来提高计算效率,同时保持模型性能。
  • 阶段(Stage):RegNet由多个阶段组成,每个阶段由若干个相同的网络块组成;不同阶段之间通过调整宽度(通道数)和分组数来改变计算复杂度和表达能力。

可调参数:

  • w_0(起始宽度):第一个阶段的通道数。
  • w_a(宽度增量):每个阶段的宽度增加量。
  • w_m(宽度乘数):每个阶段的宽度乘数,用于调整每个阶段的通道数。
  • d(深度):每个阶段的网络块数。
  • g(组数):每个卷积层的分组数,用于分组卷积。

BiFPN

BiFPN,全称是Bi-directional Feature Pyramid Network(双向特征金字塔网络),是谷歌在EfficientDet论文中提出的一种高效的特征融合模块,旨在高效地融合来自不同尺度的特征,增强多尺度目标检测的性能,同时保持较低的计算复杂度。

BIFPN通过引入双向特征融合路径,结合加权特征融合策略,能够更有效地融合不同尺度的特征信息,增强特征的表达能力,提高了多尺度目标检测的性能。其主要思想包括:

  • 双向特征融合:在传统的自顶向下路径之外,增加自底向上的路径,使得信息在不同尺度之间可以双向传递,从而更好地融合多尺度特征。
  • 加权特征融合:使用可学习的权重对不同尺度的特征进行加权融合,从而自动学习特征融合的最佳方式。

BIFPN的结构如下

  • 输入特征层:来自主干网络(如EfficientNet、ResNet等)的多尺度特征层,通常包括不同分辨率的特征图。
  • 双向路径:自顶向下路径:从高分辨率特征层开始,通过上采样和逐层融合,将高层次的语义信息传递到低分辨率特征层。自底向上路径:从低分辨率特征层开始,通过下采样和逐层融合,将底层的空间细节信息传递到高分辨率特征层。
  • 加权特征融合:在每个特征融合节点,采用加权求和的方式,将来自不同尺度的特征进行融合。具体地,每个输入特征都乘以一个可学习的权重,然后进行加权求和,再经过归一化(如Softmax),以确保不同特征贡献的合理性。
  • 融合结果输出:最终输出多尺度融合后的特征图,供后续的目标检测头(如分类和回归)使用。

3.3)数据融合BEV+Transformer

8个摄像头提供的图像数据特征融合带来了2个问题:

结合时间对多个图像数据处理和预测过程中,调整占用跟踪器及其超参数非常复杂,我们希望避免通过手写C++来进行调参,更希望在神经网络中完成,实现端到端的优化。融合的2D图像空间并不理想,希望直接在高维3D向量空间中进行处理。

如何将2D图像空间转换为向量空间,将8张图像信息输入神经网络,融合后输出得到向量空间,并通过解码得到各个任务头的输出?如何标注数据,对于基于向量的特定数据集,需要在向量空间中进行标注?

针对第一个问题,我们使用Transformer(Multi-head Attention)来解决。

Transformer是一种用于处理序列数据的神经网络架构,由Vaswani等人在2017年提出,最初用于机器翻译任务,通过引入自注意力机制(self-attention)和多头注意力机制(multi-head attention)来捕捉序列中元素之间的关系,不依赖于传统的递归神经网络(RNN)结构,从而提高了并行计算能力和长距离依赖建模能力。

Transformer的架构

Transformer架构主要包括两个部分:编码器(Encoder)和解码器(Decoder),每个部分都由若干个相同的层堆叠而成。

  • 编码器(Encoder):由多个编码器层(Encoder Layer)组成,每个编码器层包括多头自注意力子层和前馈神经网络子层。多头自注意力子层中自注意力机制通过计算序列中每个元素对其他所有元素的注意力权重来捕捉序列中的全局依赖关系;多头注意力机制将输入分成多个部分,每部分独立计算注意力,然后将结果拼接起来,并通过线性变换得到最终的输出。前馈神经网络子层中每个位置的输出都通过一个相同的前馈神经网络,通常由两个线性变换和一个ReLU激活函数组成;每个子层之后都使用残差连接(Residual Connection)和层归一化(Layer Normalization)。
  • 解码器(Decoder):也由多个解码器层(Decoder Layer)组成,每个解码器层包括以下三个子层:掩码多头自注意力子层(类似于编码器中的多头自注意力子层,但通过掩码机制确保每个位置只能关注当前位置及之前的位置,从而保留自回归性质),多头注意力子层(通过注意力机制将解码器的输出与编码器的输出进行结合,使解码器能够关注编码器中的信息),前馈神经网络子层(与编码器中的前馈神经网络子层相同,每个子层之后都使用残差连接和层归一化)。

多头注意力机制(Multi-Head Attention)

多头注意力机制是Transformer中的核心组件,通过并行计算多个不同的自注意力来增强模型的表现力。其主要步骤如下:

  • 线性变换:将输入的每个序列元素通过三个不同的线性变换,得到查询(Query)、键(Key)和值(Value)向量。
  • 注意力计算:计算查询与所有键的点积,然后通过softmax函数得到注意力权重,使用这些权重对值向量进行加权求和,得到注意力输出。
  • 多头计算:重复上述过程多个头次(通常是8或16),每个头都有独立的查询、键和值向量。将所有头的输出拼接起来,通过另一个线性变换得到最终的多头注意力输出。

自注意力机制(Self-Attention)

自注意力机制允许序列中的每个位置与其他所有位置进行交互,从而捕捉长距离依赖关系。其具体步骤如下:

  • 计算查询、键和值:对于输入序列中的每个元素,通过线性变换得到查询、键和值向量。
  • 点积注意力:计算查询向量与所有键向量的点积,得到注意力分数,通过softmax函数将分数转换为注意力权重。
  • 加权求和:使用注意力权重对值向量进行加权求和,得到注意力输出。

3.4)Video Neural Net

基于融合数据后获得得3D向量空间,需要增加记忆信息获得更加准确得环境感知能力。

Feature queue基于之前获取了多尺度特征后,随着时间推移,缓存一些特征值;Feature queue同时需要获取汽车动力学数据,例如速度,加速度,了解汽车如何行驶。Video component负责融合这些临时数据,然后进入到多头任务中进行解码。

Feature Queue

Feature queue需要每隔27ms推送time-based queue,这样即使有些目标被大车遮挡,依然可以通过历史记忆数据知道大车后面得东西;需要每隔1米推送space-based queue,这样当预测到一条转弯的道路,可以通过记忆数据识别到交通标志等信息。

Spatial RNN Video Module

Video module使用了spatial RNN (LSTM)。长短期记忆网络(Long Short-Term Memory,LSTM)是一种特殊类型的循环神经网络,通常用于处理和预测时间序列数据,如文本、语音、视频等,比标准的RNN在处理长序列数据时更有效,因为它能够捕获和记忆长期依赖关系。

LSTM网络由一系列的“门”单元组成,这些门单元可以选择性地让信息通过网络。主要的门单元包括遗忘门、输入门和输出门,它们的作用如下:

  • 遗忘门(Forget Gate): 控制前一时刻的记忆是否保留到当前时刻,决定了要从细胞状态中丢弃哪些信息。遗忘门的输出由当前输入和前一时刻的隐藏状态共同决定。
  • 输入门(Input Gate): 控制新的信息如何加入到细胞状态中,确定了要更新的内容,并将其加入到细胞状态中。输入门的输出由当前输入和前一时刻的隐藏状态共同决定。
  • 细胞状态(Cell State): 细胞状态是LSTM网络的核心部分,负责传递长期依赖关系。细胞状态通过遗忘门和输入门进行更新,以及通过输出门传递给下一时刻的隐藏状态。
  • 输出门(Output Gate): 决定当前时刻的隐藏状态如何影响输出,通过将细胞状态与当前输入和前一时刻的隐藏状态相结合,来生成当前时刻的输出。

2 规划控制系统算法

(特斯拉关于规控的介绍内容非常少)

系统的目标:safety安全,comfort舒适,efficiency高效

关键难题:action space is very non-convex, high dimensional,自动驾驶中可以操作的动作空间,例如方向盘角度、加速度、刹车力度,具备非凸性(一个空间是非凸的,意味着在该空间中,任意两点之间的连线不一定完全位于该空间内,即空间中可能存在“凹陷”或“洞”,导致标准的优化算法如梯度下降,可能会陷入局部最优解,而无法找到全局最优解),高维性(指的是维度即自由度非常高的空间,搜索和优化问题更加复杂。维度的增加导致搜索空间呈指数级增长,使得算法的计算成本和所需的数据量大幅上升)。

特斯拉的解决方案如下:需要进行搜索来规划车辆的行驶路径,考虑到车辆本身以及周围环境的情况,通过设置上下文走廊,并优化平滑路径,可以实现更高效的行驶规划,在非常短的时间内进行成千上万次搜索,支持10秒的规划。

不同地区的驾驶环境可能复杂多变,需要适应不同的场景和驾驶习惯,需要考虑其它智能体进行综合规划,另外使用基于学习的方法,如神经网络,获得更好更光滑的运动轨迹,可以更有效地解决复杂的行驶规划问题。

举例:通过训练神经网络,可以解决简单的停车问题,而无需使用导航启发式方法。神经网络能够吸收场景的全局上下文,并产生一个有效的值函数,引导车辆朝着全局最小值前进,而不是陷入局部最小值。使用蒙特卡罗树搜索(MCTS)的方法进行研究,神经网络能够在一次尝试中就取得进展,直接朝着目标前进,大大减少了搜索节点数量。

3 感知规控整体架构

感知系统将8个摄像头稠密的图像数据进行融合转换成向量空间,送入explicit基于规则和NN基于神经网络的规控系统,生成期望的运动轨迹操作汽车方向盘和速度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/843982.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【html+css(大作业)】二级菜单导航栏

目录 实现效果 代码及其解释 html部分 CSS部分 hello&#xff0c;hello好久不见&#xff01; 今天我们来写二级导航栏&#xff0c;所谓二级导航栏&#xff0c;简单来说就是鼠标放上去就有菜单拉出&#xff1a; 实现效果 代码及其解释 html部分 <!DOCTYPE html> &l…

嵌入式进阶——矩阵键盘

&#x1f3ac; 秋野酱&#xff1a;《个人主页》 &#x1f525; 个人专栏:《Java专栏》《Python专栏》 ⛺️心若有所向往,何惧道阻且长 文章目录 矩阵按键原理图按键状态检测单行按键状态检测多行按键状态检测 状态记录状态优化循环优化 矩阵按键 矩阵键盘是一种常见的数字输入…

Databend 开源周报第 146 期

Databend 是一款现代云数仓。专为弹性和高效设计&#xff0c;为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务&#xff1a;https://app.databend.cn 。 Whats On In Databend 探索 Databend 本周新进展&#xff0c;遇到更贴近你心意的 Databend 。 支持 Expressio…

网络编程基础知识

一、网络的相关概念 二、Ip 对于ipv4&#xff0c;是由4个字节&#xff08;32位&#xff09;表示&#xff0c;一个字节的范围是0~255&#xff0c;采用的是十进制表示ipv6的地址长度位128位&#xff0c;是ipv4的4倍&#xff0c;采用的是16进制表示查看ip地址&#xff1a;在命令行…

windows 下载redis (通过redis-server.exe启动服务)

下载链接&#xff1a; https://github.com/MicrosoftArchive/redis/releases 启动&#xff1a; 查看&#xff1a; 人工智能学习网站 https://chat.xutongbao.top

玩转STM32-I2C通信协议(详细-慢工出细活)

文章目录 一、I2C总线原理&#xff08;掌握&#xff09;1.1 硬件构成1.2 传输位1.3数据传输格式 二、STM32的I2C特性和结构三、STM32的I2C通信实现&#xff08;硬件实现方式&#xff09;3.1 I2C主模式 四、应用实例 一、I2C总线原理&#xff08;掌握&#xff09; 1.1 硬件构成…

day19--IO流(二)

day19-IO流&#xff08;二&#xff09; 一、字符流 同学们&#xff0c;前面我们学习了字节流&#xff0c;使用字节流可以读取文件中的字节数据。但是如果文件中有中文使用字节流来读取&#xff0c;就有可能读到半个汉字的情况&#xff0c;这样会导致乱码。虽然使用读取全部字…

Harmony OS 开发指南——源码下载和编译

本文介绍了如何下载鸿蒙系统源码&#xff0c;如何一次性配置可以编译三个目标平台&#xff08;Hi3516&#xff0c;Hi3518和Hi3861&#xff09;的编译环境&#xff0c;以及如何将源码编译为三个目标平台的二进制文件。 坑点总结&#xff1a; 下载源码基本上没有太多坑&#xff…

爬虫案例-亚马逊反爬分析-验证码突破(x-amz-captcha)

总体概览&#xff1a;核心主要是需要突破该网站的验证码&#xff0c;成功后会返回我们需要的参数后再去请求一个中间页&#xff08;类似在后台注册一个session&#xff09;&#xff0c;最后需要注意一下 IP 是不能随意切换的 主要难点&#xff1a; 1、梳理整体反爬流程 2、验证…

【C++初阶】--- C++入门(中)

目录 一、缺省参数1.1 缺省参数概念1.2 缺省参数分类 二、函数重载2.1 函数重载概念2.2 C支持函数重载的原理 --- 名字修饰 三、引用3.1 引用概念3.2 引用特性3.3 常引用3.4 使用场景3.5 引用和指针的区别 一、缺省参数 1.1 缺省参数概念 缺省参数是声明或定义函数时为函数的…

数据挖掘与机器学习——回归分析

目录 回归分析定义&#xff1a; 案例&#xff1a; 线性回归 预备知识&#xff1a; 定义&#xff1a; 一元线性回归&#xff1a; 如何找出最佳的一元线性回归模型&#xff1a; 案例&#xff1a; python实现&#xff1a; 多元线性回归 案例&#xff1a; 线性回归的优缺…

大疆、猛犸、西圣无线麦克风哪个牌子好?大疆、西圣麦克风测评PK

在当今这个全民参与媒体创作的时代&#xff0c;视频分享已经崛起为引领流行文化的关键力量。随着自媒体领域的竞争日益白热化&#xff0c;要想在浩瀚的内容海洋中脱颖而出&#xff0c;创作出卓越的作品无疑是吸引观众目光的核心要素。然而想要成功打造这样的佳作&#xff0c;除…

学习Uni-app开发小程序Day21

学习了评分组件、自定义导航栏 评分组件uni-rate 这是需要达到的效果图&#xff0c;这里先分析下效果图&#xff0c; 1、图片是从布局中间弹出的&#xff0c;那这里就要用到uni-popup &#xff0c;设置type从中间弹出 2、这个弹出的顶部和上一张的顶部布局是一样的&#xff0c…

水电表远程抄表:智能化时代的能源管理新方式

1.行业背景与界定 水电表远程抄表&#xff0c;是随着物联网技术发展&#xff0c;完成的一种新型的能源计量管理方式。主要是通过无线传输技术&#xff0c;如GPRS、NB-IoT、LoRa等&#xff0c;将水电表的信息实时传输到云服务器&#xff0c;进而取代了传统人工当场抄水表。这种…

目标检测——家庭日常用品数据集

引言 亲爱的读者们&#xff0c;您是否在寻找某个特定的数据集&#xff0c;用于研究或项目实践&#xff1f;欢迎您在评论区留言&#xff0c;或者通过公众号私信告诉我&#xff0c;您想要的数据集的类型主题。小编会竭尽全力为您寻找&#xff0c;并在找到后第一时间与您分享。 …

CentOS 7如何使用systemctl管理应用

说明&#xff1a;本文介绍如何使用systemctl命令的方式来启动、查看、停止和重启应用&#xff0c;以安装后的prometheus、alertmanager为例&#xff1b; Step1&#xff1a;创建文件 在系统/etc/systemd/system/路径下&#xff0c;创建一个xxx.service文件&#xff0c;该文件内…

【最优化方法】实验二 一维搜索方法的MATLAB实现

实验二  一维搜索方法的MATLAB实现 实验的目的和要求&#xff1a;通过本次实验应使学生掌握如何使用MATLAB软件进行一维搜索&#xff0c;并学会对具体问题进行分析。 实验内容&#xff1a; &#xff11;、0.618法的MATLAB实现 &#xff12;、Fibonacci法的MATLAB实现 学…

机器学习(五) -- 监督学习(4) -- 集成学习方法-随机森林

系列文章目录及链接 上篇&#xff1a;机器学习&#xff08;五&#xff09; -- 监督学习&#xff08;3&#xff09; -- 决策树 下篇&#xff1a;机器学习&#xff08;五&#xff09; -- 监督学习&#xff08;5&#xff09; -- 线性回归1 前言 tips&#xff1a;标题前有“***”…

150.二叉树:二叉树的后序遍历(力扣)

代码解决 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(int x) : val(x), left(nullptr, right(nullptr) {}* Tree…

Autoware 技术代码解读(三)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务&#xff0c;并且需要GPU资源&#xff0c;可以考虑使用Compshare的GPU算力云平台。他们提供高性价比的4090 GPU&#xff0c;按时收费每卡2.6元&#xff0c;月卡只需要1.7元每小时&#xff0c;并附带200G…