BEV+Transformer架构加速“上车”,智能驾驶市场变革开启

BEV+Transformer成为了高阶智能驾驶领域最为火热的技术趋势。

近日,在2023年广州车展期间,不少车企及智能驾驶厂商都发布了BEV+Transformer方案。其中,极越01已经实现了“BEV+Transformer”的“纯视觉”方案的量产,成为国内唯一量产“纯视觉”智驾方案的厂商。

预计明年1月,极越01将在BEV+Transformer的基础上通过OTA升级更新OCC占用网络技术,极大提升异形障碍物识别能力和场景泛化能力,并实现BEV+Transformer+OCC的“纯视觉”高阶智驾完整技术体系。

除此之外,蔚来、小鹏、理想、百度、华为等主流主机厂、自动驾驶方案商在此前也推出了基于BEV+Transformer的智驾方案。

据了解,Nullmax就围绕BEV+Transformer技术架构进行了大量的工作,包括开发了一套强大的平台化BEV-AI整体技术架构。

这种技术可以在感知层面同时融合时间信息和空间信息,从而更好地支持多传感器、多任务的协同工作。通过支持多平台、多产品,以及任意传感器配置,为快速完成车企各项功能和任务的开发提供了可能性。

对于以量产见长的Nullmax来说,BEV+ Transformer这套技术架构可以说是打造易于部署、性能优秀、持续升级的行泊一体量产方案的根本。

现阶段,各大主机厂已经进入了城市NOA的规模化竞争周期,“高性价比”的高阶智能驾驶方案成为了各大主机厂决胜智能化下半场的关键点。

根据高工智能汽车研究院最新发布数据显示,2023年1-9月,中国市场(不含进出口)乘用车前装标配(软硬件)NOA交付新车37.73万辆,同比上年同期增长151.20%。未来几年内,NOA(从高速到城区)的普及化将是高阶智能驾驶市场的主旋律。

传统的智能驾驶技术主要依靠的是分析表达式和二进制编码交通规则算法来感知环境、规划轨迹和控制车辆,但这些方法在处理动态目标、遮挡等复杂环境时,往往面临着诸多的挑战。

图片

而BEV+Transformer方案能够很好地融合多传感器的特征,将多传感器收集到的图像信息转换成3D视角,从而提高感知和预测的准确率,进而成为了高阶智能驾驶的主流方案。

毫无疑问,伴随着BEV+Transformer的大规模应用,从芯片到传感器、软件算法、数据、模型部署等都将发生改变,整个智能驾驶供应链体系正在发生新一轮的重构。

高阶自动驾驶进入2.0时代

基于BEV+Transformer方案,高阶智能驾驶正在进入2.0时代。

一方面,伴随着智能驾驶感知系统进入新一轮的变革周期,“重感知、轻地图”成为了行业主流趋势。根据《高工智能汽车研究院》监测数据显示,目前市面上的智能驾驶系统,多摄像头依然是感知组合的必选项,而4D毫米波雷达、激光雷达则以辅助感知和冗余决策为主。

在这样的背景之下,车载摄像头作为智能驾驶感知系统的主力传感器,正在进入了全新的爆发式增长周期。根据《高工智能汽车研究院》数据显示,2023年1-6月中国市场(不含进出口)乘用车前装标配前向ADAS摄像头589.23万颗,同比增长29.29%;侧视ADAS摄像头225.64万颗,同比增长107.13%;舱内摄像头标配搭载量达到225.50万颗,同比增长82.40%。

与此同时,车用传感器也进入了快速迭代演进与技术升级的发展阶段,高性能、低成本、小体积成为了新一代传感器产品的主流发展趋势。以车载摄像头为例,其性能要求正在不断被提升,比如环视/侧视摄像头,传统的360环视更多只是解决人机交互的问题,图像的现实和拼接仅仅是辅助驾驶员的感知和决策,但BEV却对摄像头的分辨率与暗光成像等性能提出了更高的要求。

BEV+Transformer对于传感器的测量精度、鲁棒性、性价比和数量等都提出了更高的要求。”元橡科技相关负责人表示,双目立体视觉系统内专用深度引擎,直接输出图像+深度信息,在同等目距、像素条件下,具备测距更远、精度更高等独特的竞争优势。

据介绍,元橡科技的双目立体视觉系统通过双目系统识别道路类型,扫描前方路面信息得到高精度路面3D点云,不依赖激光和高精地图,是有效应对城市、高速等复杂NOA需求的高性价比解决方案。同时,双目立体视觉系统还可以与主动悬架系统结合,从而实现 “魔毯”垂向控制技术。

目前,元橡科技的“主动悬架路面预瞄系统”已经获得国内多家一线乘用车企前装定点,成为国内首家基于双目立体视觉的主动悬架路面预瞄系统的前装量产供应商。此外,元橡科技针对多种场景定制立体视觉解决方案来解决行业痛点,满足各类需求,也降低传感器使用门槛,从硬件、软件、平台、应用多层级与合作伙伴共建立体视觉新生态。

“仅提供硬件产品已经无法满足主机厂的需求,新一代传感器需要配套软件算法、测试验证等服务,为主机厂提供全方位的服务。”有企业人士表示,具备自主学习能力且能够支持AI技术处理大模型数据的新一代智能传感器,未来市场空间巨大。

另一方面,由于BEV+Transformer方案面临着大数据量的处理,对于大算力芯片的需求也在日益增强。在地平线看来,以数据为驱动、大规模并行运算的智能计算正取代逻辑计算,成为车载计算的核心。因此,如何在有限的面积、有限的功耗及成本下,实现更大的算力,已经成为巨大的挑战。

为此,地平线专门自主研发设计了具备“智能进化”能力的BPU创新性智能计算架构,有望在未来几年做到一至两个数量级的有效算力提升。

目前,经三代架构迭代、超400万片前装量产验证,地平线已经推出了最新一代智能驾驶加速引擎——BPU纳什,专为大参数量Transformer、大规模交互式博弈而设计,具有超异构计算架构,可显著增强算力多样性,是智能汽车时代的最优选择。

除此之外,地平线还推出了基于征程5的纯视觉BEV感知原型方案,并提出“感知决策一体化”的自动驾驶通用算法框架(UniAD),将智驾流程融合到基于Transformer的端到端网络框架中。

而近期,地平线还发布了新一代系列车载智能计算方案——征程6,基于统一的BPU纳什计算架构而来,是业界首款能够覆盖从低到高全阶智能驾驶需求的系列车载智能计算方案。

据了解,征程6旗舰专为新一代城区高阶智驾而生,拥有高集成度、高算力、高效率、高处理能力、高接入能力以及高安全等特点,算力高达560 TOPS,对BEV、Transformer等先进模型的支持效率在业界处于领先地位。

地平线相关负责人介绍,征程6旗舰搭载的BPU纳什架构实现了软硬结合的极致优化,专为大参数Transformer而生,面向高阶智驾前沿算法赢得最佳计算效率。同时,在强大计算性能的加持下,单颗征程6旗舰即可支持感知、规划决策、控制、座舱感知等全栈计算任务。

总体来看,伴随着高阶智能驾驶进入2.0时代,从芯片、传感器乃至智能驾驶系统的每一个模块都在发生“震动”。

新机会已经显现

尽管BEV+Transformer的技术路线优势众多,但是目前仍然面临着诸多的挑战。不过,这也意味着全新的市场机会已经显现。

一方面,由于Transformer训练与迭代需要海量数据做支撑,催生出了海量的数据采集、数据标注以及数据闭环打造的需求。

觉非科技联合创始人与技术合伙人刘斌表示,数据闭环是决定自动驾驶下半场竞赛的胜负关键。Transformer算法特性对数据的质量有较高的要求,需要设计多种渠道的数据采集闭环通道。除了动态目标感知数据闭环之外,还需要配合基于环境感知数据闭环的运用。

众所周知,BEV+Transformer方案可以将静态道路信息与动态道路信息统一到了同一个坐标系下,通过实时感知与转换,在行驶中即可实时生成“活地图”。

觉非科技认为,在BEV+Transformer架构下,道路数据越来越重要。“单车BEV实时感知范围较小,且许多特殊场景出现频率低等因素影响,很难实现所有驾驶场景数据的全覆盖。”刘斌表示,高精地图具备超视距等能力,在复杂路口、恶劣天气等复杂与极端场景下,地图与车端BEV感知数据闭环进行有效互补,才能提升高阶智能驾驶的安全性和驾驶体验。

另一方面,Transformer必将推动AI芯片市场格局进一步发生重构。资料显示,传统AI芯片主要针对CNN模型设计,常使用INT8量化操作来减少存储和计算的使用,对于精度的要求较低。但Transformer模型需要在较高的精度下进行,要求硬件具备高性能的浮点运算能力。

此外,由于Transformer模型的体量庞大,对于芯片性能要求严苛,除了需要进行底层软件等优化之外,SOC层面还需对缓存与带宽空间进行提升。

在这样的背景之下,爱芯元智、后摩智能等芯片厂商已经针对Transformer模型推出了相应的产品,率先抢跑AI大模型时代的新机会。

比如,爱芯元智自研了爱芯智眸®AI-ISP和爱芯通元®混合精度NPU两大核心技术,不仅可以对传感器特性做精细化建模、对影像处理策略进行极致优化设计,还可以充分利用AI算法的数据驱动特性,来获取更高维度的效果“助推”,全面提升智能驾驶疑难场景下的表现力。

目前,爱芯元智已基于自研的两大核心技术爱芯智眸®AI-ISP和爱芯通元®混合精度NPU,研发了M55和M76两个系列智驾芯片。

其中,爱芯元智推出的车规级主控芯片M55H,其在图像处理、算力、安全性和功耗等关键指标实现了全面突破。比如M55H首创了AI ISP技术,实现黑夜成像、防抖除模糊、去雾除紫边等多项图像增强,大幅提升复杂环境感知能力,保障出行安全。而其采用自研混合精度NPU,算力性能可达同级产品的两倍,有力支撑智能驾驶算法的演进。

爱芯元智汽车事业部总裁龚惠民强调,得益于爱芯智眸®AI-ISP的加持,车企可以用更具性价比的传感器方案来降低系统成本。此外,爱芯元智的开发平台和工具链也可以帮助客户快速开发,实现降本增效。

而在后摩智能看来,在AI大模型时代,定制化的AI芯片已经难以满足以Transformer为代表的网络模型的需求,存算一体芯片的性能优势逐步凸显。

后摩智能的存算一体技术,采用非冯·诺依曼架构,打破了芯片设计的“存储墙”及“功耗墙”,实现计算单元与存储单元的集成,在存储单元内完成部分或者全部的运算。

今年5月,后摩智能发布了业内首款存算一体智驾芯片鸿途™H30,以12nm制程实现最高物理算力 256TOPS,典型功耗 35W,成为国内率先落地存算一体大算力AI芯片的公司。

可以预见,伴随着BEV+Transformer的大规模上车应用,一个全新的智驾市场格局正在到来。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/173380.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用Pytorch从零开始构建Normalizing Flow

归一化流 (Normalizing Flow) (Rezende & Mohamed,2015)学习可逆映射 f : X → Z f: X \rightarrow Z f:X→Z, 在这里X是我们的数据分布,Z是选定的潜在分布。 归一化流是生成模型家族的一部分,其中包括变分自动编…

系列二十、Spring循环依赖问题

一、概述 循环依赖是指多个bean之间相互依赖,形成了一个闭环。比如A依赖于B、B依赖于C、C依赖于A,形成了一个圈,如: 二、循环依赖案例 2.1、构造方法注入产生循环依赖案例 2.1.1、ServiceA /*** Author : 一叶浮萍归大海* Date…

AntDB数据库,通信行业20年变迁的见证者

2000年至今,通信行业发展已过了20多年。面对通信行业巨大的数据信息,数据库在行业发展中发挥了巨大的作用,AntDB数据库便是其中较为知名的一款数据库。在通信行业快速发展的阶段,打破国外产品与技术垄断是产业发展的重点与难点。面…

处理分类问题的不平衡数据的 5 种技术

一、介绍 分类问题在机器学习领域很常见。正如我们所知,在分类问题中,我们试图通过研究输入数据或预测变量来预测类标签,其中目标或输出变量本质上是分类变量。 如果您已经处理过分类问题,那么您一定遇到过以下情况:其…

HTML5原生视频播放器组件video的videocontrolslist属性详解

HTML5提供了内置的视频播放控件,其中videocontrolslist是其中一个很有用的属性。videocontrolslist属性可以用于告诉浏览器在视频播放过程中应该显示哪些默认的用户界面控件。下面我们将从几个方面来介绍videocontrolslist的详细使用。 一、启用videocontrolslist videocont…

2024重庆大学计算机考研分析

24计算机考研|上岸指南 重庆大学 重庆大学计算机考研招生学院是计算机学院和大数据与软件学院。目前均已出拟录取名单。 重庆大学计算机学院是我国高校最早开展计算机研究的基地之一,1978年和1986年获西南地区首个硕士和博士点,1998年成立计算机学院&a…

单片机学习2——流水灯的实现

#include<reg52.h>sbit LED P1^0; unsigned char i;void main() {while(1){LED 0;for(i0;i<100;i);LED 1;for(i0;i<100;i);} } RST是复位按钮&#xff0c;单击一下之后&#xff0c;程序就会跑到最开始的位置运行。 右侧的按钮是RUN按钮&#xff0c;单击下&…

ShardingSphere-JDBC 入门教程(v4.1.1)

框架介绍 ShardingSphere-JDBC 定位为轻量级 Java 框架&#xff0c;在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库&#xff0c;以 jar 包形式提供服务&#xff0c;无需额外部署和依赖&#xff0c;可理解为增强版的 JDBC 驱动&#xff0c;完全兼容 JDBC 和各种 OR…

利用ogr2ogr从PostGIS中导出/导入Tab/Dxf/Geojson等格式数据

ogr2ogr Demo Command 先查看下当前gdal支持的全部格式&#xff0c;部分gdal版本可能不支持PostGIS。 如出现PostgreSQL表名支持。 #全部支持的格式 ogrinfo --formats | sort #AVCBin -vector- (rov): Arc/Info Binary Coverage #AVCE00 -vector- (rov): Arc/Info E00 (ASC…

数据结构——动态规划

动态规划&#xff1a;有很多重叠子问题&#xff0c;每一个状态一定是由上一个状态推导出来的 贪心&#xff1a;没有状态推导&#xff0c;而是从局部直接选最优的 动规五步曲&#xff1a; 确定dp数组&#xff08;dp table&#xff09;以及下标的含义 确定递推公式&#xff08;容…

STM32-SPI1控制AD7705(Sigma-Delta-ADC芯片)

STM32-SPI1控制AD7705&#xff08;Sigma-Delta-ADC芯片&#xff09; 原理图手册说明功能方框图引脚功能 片内寄存器通信寄存器&#xff08;RS2、RS1、RS00、0、0&#xff09;设置寄存器时钟寄存器数据寄存器&#xff08;RS2、RS1、RS00、1、1&#xff09;测试寄存器&#xff08…

SAP Smartforms设计

第八章 SMART FORMS设计 要点列表 概览&#xff1b; Form&#xff08;表格&#xff09;&#xff1b; Smart Styles&#xff08;样式&#xff09;&#xff1b; Text Module&#xff08;文本模块&#xff09;&#xff1b; 使用标准表方式打印&#xff1b; 使用模板方式打印…

淼一科技为互联网企业销毁硬盘数据 拆除机房设备

在上海这座繁华的大都市&#xff0c;淼一科技以其专业的服务和卓越的技术&#xff0c;为众多互联网企业提供硬盘数据销毁和机房设备拆除服务。作为业界领先的数据安全解决方案提供商&#xff0c;淼一科技致力于保障客户数据的安全与隐私&#xff0c;为客户创造更高的商业价值。…

uni-app:心跳机制基础逻辑(定时器方法解决)

思路 1、在登录的时候&#xff0c;定义一个存储当前时间的全局变量&#xff0c;并且开始心跳请求 2、在全局中定义一个定时器&#xff0c;该定时器每秒都会执行一次&#xff0c;并获取当前的时间 3、将定时器每秒的获取的当前时间和全局变量获取的时间进行比较 4、指定一个…

网络运维与网络安全 学习笔记2023.11.27

网络运维与网络安全 学习笔记 第二十八天 今日目标 OSPF基本原理、OSPF单区域配置、OSPF多区域配置 特殊区域之Stub、特殊区域之NSSA OSPF基本原理 项目背景 随着企业的发展&#xff0c;网络的规模越来越大&#xff0c;网段的数量越来越多&#xff0c;公司内部的路由器的…

Windows系统下搭建PXE Server

在给一台服务器初始安装OS时一般有以下几种方式&#xff1a; 1、通过BMC挂载iso镜像来安装&#xff1b; 2、通过U盘启动来安装&#xff1b; 3、通过网络启动来安装&#xff1b; 方式1和方式2只能一台一台地进行&#xff0c;且需要有键盘和显示器&#xff0c;效率低下&#xff…

在vue页面中添加组件到底有多方便

修改vue写的前端页面到底有多方便&#xff1f;如果熟练的话&#xff0c;出乎你想象的快。 原来的页面&#xff1a;/admin/stock 原来的文件地址&#xff1a;src\views\admin\stock\Stock.vue 另一个页面有个入库功能&#xff0c;需要转移到上面的页面中&#xff1a; 路径&…

基于C#实现块状链表

在数据结构的世界里&#xff0c;我们会认识各种各样的数据结构&#xff0c;每一种数据结构都能解决相应领域的问题&#xff0c;当然每个数据结构&#xff0c;有他的优点&#xff0c;必然就有它的缺点&#xff0c;那么如何创造一种数据结构来将某两种数据结构进行扬长避短&#…

Java代码生成器,一键在线生成,支持自定义模板

【Java代码生成神器】自动化生成Java实体类、代码、增删改查功能&#xff01;点击访问 推荐一个自己每天都在用的Java代码生成器&#xff01;这个网站支持在线生成Java代码&#xff0c;包含完整的Controller\Service\Entity\Dao代码&#xff0c;完整的增删改查功能&#xff01…

金鸣表格文字识别客户端输出项该如何选择?

智能布局&#xff1a;根据提交的图片自动设置输出的打印纸张大小和方向&#xff0c;其中表格识别默认为A4纵向&#xff0c;勾选“合并”可将N张图片批量识别成一个文件、一个表。 表格识别&#xff1a; excel&#xff1a;输出可编辑的excel。 word&#xff1a;输出可编辑的w…