大模型重塑车载语音交互:赛道巨头如何引领新周期?

车载语音交互赛道正进入新一轮竞争周期。

高工智能汽车注意到,传统车载语音交互赛道当前基本已进入成熟期,主要为任务型助手,包括从单轮对话到多轮对话,单音区到多音区,从单一的导航、多媒体娱乐等座舱功能扩展智能驾驶、车身控制等,用户体验逐步面临天花板,缺乏实质性突破。

2023年,经由ChatGPT引爆后,大模型技术崛起(深度学习从原来基于规则驱动的专家模型,转为基于数据驱动),本身即位于深度学习赛道的车载语音交互,迎来新一轮发展周期,向AI虚拟副驾驶/沉浸式驾驶伴侣迈进。且,车载语音交互,被认为是大模型上车的首选赛道。

赛轮思正加码布局。一般而言,算力、数据是大模型竞争的底层基座,具体应用和产生的价值是实现商业化破局的核心,作为全球车载语音交互赛道的巨头,赛轮思正给出自己的赛道突围方式。

2023年12月19日,赛轮思宣布推出由英伟达技术驱动、具有开创性的汽车级大型语言模型CaLLM™(Cerence Automotive Large Language Model),为主机厂当前面临的多个关键挑战提供解决方案:通过与现有嵌入式系统和新生成式AI功能的云集成,部署新的用户体验,加速产品上市周期。

此次合作,英伟达无疑可解决算力的问题,CaLLM™可解决应用与算法的问题。在赛轮思看来,作为全球第一个车载级、专注于车与人机交互的LLM,其核心优势为依赖赛轮思车载智能助手广泛部署以及在车载人机交互领域深入的经验,打造的可深度定制的跨语言跨平台的端云一体的车载智能助手解决方案。

“通过NVIDIA 业界领先的AI框架和平台相配合,结合我们独有的数据集、与汽车制造商的深厚关系以及广泛的市场渗透率,使我们处于领先的位置,更好的发挥开创性、汽车级的LLM、CaLLM™和自研的车载计算平台的优势。” 赛轮思首席技术官 Iqbal Arshad表示。

图片

01

联手英伟达打造汽车级LLM平台

赛道发生剧变之时,往往也意味着巨大的机会窗口。

在赛轮思看来,车载语音交互赛道正面临“从以性能指标为优先,提升为是否可深度定制、是否能快速部署、是否能提供极致的人机交互体验全方位的竞争。大模型(特别是适用于车载领域的大模型),是未来人车交互系统的核心竞争力,这也是赛轮思聚焦的方向”。

“CaLLM™是赛轮思全新车载计算平台的基础,该平台是车载交互的未来”,赛轮思称。

据介绍,传统车载语音解决方案需要多步骤交互作为不同的独立步骤进行,从而导致过多的手动交互并给驾驶者带来很高的认知负担,赛轮思的新平台将用户所有种类的交互整合到一个无缝、直观的对话界面中,帮助主机厂将现有的应用平稳过渡到一个更直接的对话界面,并为用户提供生成式AI驱动的新服务。

其进一步表示,CaLLM™能够支持汽车功能、特性和要求,并可以通过训练、微调和专属的应用,为汽车制造商进行深度定制。此外,它还可以为用户提供个性化以及本地信息检索,例如Cerence Car Knowledge生成式AI应用。

在NVIDIA DRIVE 上运行的CaLLM™,是赛轮思新一代车载计算平台的基础。随着汽车制造商和移动出行OEM应用生成式AI和 LLM以提升用户体验,CaLLM™满足了用户多项关键需求,并拥有独特的汽车级智能答问能力。

一般而言,算力、数据是大模型竞争的核心竞争要素,赛轮思如何破局?

具体来看,CaLLM™尝试集合赛轮思和英伟达两大细分赛道巨头的优势。在算力平台方面,赛轮思利用NVIDIA AI Foundation构建CaLLM™,其中包括NVIDIA AI Foundation Models、 NVIDIA AI Enterprise软件和NVIDIA加速计算。

操作上,其一,赛轮思将首先利用NVIDA DGX Cloud和 NVIDIA DGX系统在其广泛的数据集上训练CaLLM™,然后开发车载用户体验所需的功能;

其二,为了实现响应极快的用户体验,赛轮思将通过NVIDIA AI Enterprise在NVIDIA加速基础设施中部署 CaLLM™,这是一个端到端、云原生、安全的软件平台,可通过NVIDIA NeMo 框架和NVIDIA TensorRT-LLM 优化库,加速对LLM 的训练、微调和推理。

“通过英伟达在云计算和边缘技术方面的核心专长,赛轮思可以在其车载用户体验平台中更快速地训练、扩展和部署这些模型,从而实现更安全、更智能、更愉悦的驾乘体验。” NVIDIA汽车事业部副总裁Ali Kani表示。

数据方面,得益于近25年在汽车行业的深厚积累,赛轮思拥有经过微调、不断增长的、包含数十亿个token的汽车数据集。据悉,其提供的集成车载用户体验,远远超越一般通用LLM。

02

迈向车载语音交互2.0

事实上,赛轮思探索下一代车载语音交互已久。

回溯来看,作为细分赛道的巨头,赛轮思始终致力于车载语音交互的创新和落地。从结果层面,根据赛轮思对外释放的信息,凭借先进的AI技术和全球语言支持,其与全球80多个汽车制造商和一级供应商合作。近5亿辆在道路上行驶的汽车使用了Cerence技术,占全球汽车产量约53%。

产品层面,基于Cerence Assistant,2021年11月,赛轮思即推出Cerence Co-Pilot,核心是主动AI,突破传统基于唤醒词的被动式交互,利用实时数据、内置智能、用户偏好和车辆传感器信息实现一系列创新功能;下一代Cerence Companion,则将实现人机交互新突破,实现多模态、多感官交互。

2022年11月,Open AI发布ChatGPT3.5,2个月时间月活用户突破1亿,引发了贯穿2023年的大模型热潮,车载语音交互赛道玩家纷纷入局。同样在2022年11月,赛轮思发布了“Destination Next” 新战略,欲通过AI驱动的产品,为驾驶者带来更多创新的沉浸式多模态交互体验。

赛轮思首席执行官Stefan Ortmanns 博士在2023年中发表观点称,车载语音正处在“从典型的出行助理解决方案到沉浸式伴侣体验”的过程中,其中离不开 AI 的驱动,而这个过程中间阶段就是虚拟副驾驶 (Co-Pilot)阶段。显然,此次CaLLM™的发布,意味着赛轮思在赛道探索上又迈出实质性一步。

高工智能汽车注意到,作为细分赛道的国际巨头,本地化布局至关重要。

具体来看,赛轮思在持续就加强中国市场的布局。根据赛轮思披露的信息,其全球员工超过1700名,中国总部设于上海,有近500名员工,其中技术研发的占大部分,3个主要的研发基地分别设于上海、成都和北京,包括设于上海的世界级别设计和研发中心,还有6个主要的工程服务中心。

根据介绍,赛轮思在华市场拥有完整的产品、研发、工程、销售和专业服务能力。值得一提的是,Cerence Assistant以及Cerence Co-Pilot都是由中国研发团队负责开发,成果与全球共享,同时参与声学模型和语言模型的建模等,包括策略地利用生成式人工智能和大型语言模型LLMs以及类似ChatGPT的技术。

“中国是赛轮思最重要的战略市场之一,对中国市场的重视、以及对高速增长的中国汽车市场充满信心。未来我们将继续加大对本地客户的支持力度,竭诚为我们的客户提供更好的服务。” 2023年6月,赛轮思首席执行官Stefan Ortmanns 博士再度访华时称。

尤为值得注意的是,赛轮思在赋能车企出海方面的突出优势。

事实上,伴随电动化、智能化浪潮,国内车企正强势突围,出海成为横亘在进一步发展面前的一道必答题,由于世界各地的驾驶者的语言、用车理念各异,车企出海的长期战略,也需要针对不同市场需求开发符合当地用户使用习惯的车载功能和应用。

赛轮思可帮助车企解决这一痛点。作为细分赛道的国际巨头,赛轮思在全球有24个办事处, 在中国、加拿大、欧洲和印度设立了主要的研发中心。具体业务上,在全球语言方面,赛轮思的优势更为明显,目前可以提供34种 “全栈式”语言 、65 种TTS和110种文本IO支持,。

对于车企客户而言,赛轮思拥有丰富的经验、强大的专业服务团队和第三方整合资源,只需要较短的开发周期,通过可扩展的AI核心产品架构,全面满足OEM在集成最新的AI技术、升级嵌入式和云技术的需求,打造品牌的差异化,并大大缩短新产品上市时间。

值得一提的是,基于遍布全球的业务,赛轮思在提供跨越语言、文化和地域的解决方案同时, 还为车企的出口市场提供深入的本地化专业知识,对于国内车企制定扩展海外市场的策略上别具意义,其产品和解决方案均符合欧洲GDPR《通用数据保护条例》标准,并在全球范围内密切关注政府法规。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/664677.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ubuntu 添加字体

Ubuntu 添加字体 Ubuntu如何添加新的字体?似乎远远没有Windows方便呀,查询了一些资料,与大家分享。 方法1 根据字体名称直接安装 oyroy-FMVU08001:~$ sudo apt-get install fonts-wqy-zenhei [sudo] roy 的密码: 正在读取软件…

2024美赛D题完整四小问代码+数据集+22页成品参考论文

D题(文末获取完整版的) 题目三:新控制方法是否会让各利益相关者满意或优于当年实际记录的 水位? 解题思路 问题 3 要求我们理解控制算法对两座控制大坝流出量的敏感性,并利用 2017 年 的数据来验证新控制措施是否能为各方利益相关…

第二代视频换脸工具facefusion

GitHub - facefusion/facefusion: Next generation face swapper and enhancer官方地址 1.环境安装 Windows - FaceFusion Windows Python winget install -e --id Python.Python.3.10 PIP python -m ensurepip --upgrade GIT winget install -e --id Git.Git

【奶奶看了都会】《幻兽帕鲁》云服务器部署教程

在帕鲁的世界,你可以选择与神奇的生物「帕鲁」一同享受悠闲的生活,也可以投身于与偷猎者进行生死搏斗的冒险。帕鲁可以进行战斗、繁殖、协助你做农活,也可以为你在工厂工作。你也可以将它们进行售卖,或肢解后食用。 《幻兽帕鲁》官…

halcon中的坐标系相关

一、定义 世界坐标系:真实世界中物体实际位置(三维) 相机坐标系:以镜头光心为原点,光轴为Z轴(三维) 图像物理坐标系:以成像图像中心维原点(二维) 像素坐标系…

题目:有1,2,3,4共四个数字,能组成多少个不相同而且无重复数字的三位数有多少个,都是多少?lua

这是作者的思路, 创建三个表, 第一个数是从四个数遍历, 第二个是数剔除第一个数进行遍历 第三个是剔除第一第二个数遍历 脚本如下 local a{1,2, 3, 4} local b{} local c{} local d{} local function copy(tbl) local ctbl{} for k,v in…

MySQL 安装配置 windows

一、下载 去官网MySQL :: MySQL Downloads 下载社区版 然后根据自己的系统选择 直接下载。 二、安装 点击安装程序 这边看样子缺少东西。 去这边下载 Latest supported Visual C Redistributable downloads | Microsoft Learn 然后再一次安装mysql 三、配置 安装完成后&a…

记录关于node接收上传文件formData踩的坑

1.vue2使用插件formidable实现接收文件,首先接口不可以使用任何中间件,否则form.parse()方法不执行。 const express require(express) const multipart require(connect-multiparty); const testController require(../controller/testController)/…

WordPress SMTP发信避坑指南

前言 Clip_2024-01-31_19-46-18803285 10.5 KB 目前不少主题已经内置了SMTP发信功能,这是因为WordPress自带的mail()函数发信时基本无法发送。 但是在之前(约2021年末)貌似可以通过WordPress自带的函数发信,并且收信方提示由xxx代…

Request Response 基础篇

Request & Response 在之前的博客中,初最初见到Request和Response对象,是在Servlet的Service方法的参数中,之前隐性地介绍过Request的作用是获取请求数据。通过获取的数据来进行进一步的逻辑处理,然后通过对Response来进行数…

C# Onnx yolov8 水表读数检测

目录 效果 模型信息 项目 代码 训练数据 下载 C# Onnx yolov8 水表读数检测 效果 模型信息 Model Properties ------------------------- date:2024-01-31T10:18:10.141465 author:Ultralytics task:detect license:AGPL-…

c语言---访问越界之后死循环的原因

目录 死循环的概念环境题目代码运行结果对代码发生情况进行解释对i的地址和arr[12]地址一样的解释注意总结 死循环的概念 简单来说,死循环就是指无法靠自身的控制终止循环,在编程中,则是靠自身控制无法终止的程序。即在某一时刻,…

uniapp基于Android平台的校园生活服务交流论坛系统(二手,失物招领 -跑腿) 小程序hbuiderx

作为一款APP的校园论坛系统,面向的是大多数学者,软件的界面设计简洁清晰,用户可轻松掌握使用技巧。在调查之后,获得用户以下需求: (1)用户注册登录后,可进入系统解锁更多功能&#x…

Windows网络常用的11个命令,ping、tracert、arp、ipconfig、netstat、telnet等

1.ping命令 ping是个使用频率极高的实用程序,主要用于确定网络的连通性。ping能够以毫秒为单位显示延迟。如果应答时间短,表示数据报不必通过太多的路由器或网络,连接速度比较快。ping还能显示TTL(Time To Live&#…

AspNet web api 和mvc 过滤器差异

最近在维护老项目。定义个拦截器记录接口日志。但是发现不生效 最后发现因为继承的 ApiController不是Controller 只能用 System.Web.Http下的拦截器生效。所以现在总结归纳一下 Web Api: System.Web.Http.Filters.ActionFilterAttribute 继承该类 Mvc: System.Web.Mvc.Ac…

客户端和服务端的简介

Client 和 Server 客户端(Client) 或称用户端,是指与服务器相对应,为客户提供本地服务的程序。除了一些只在本地运行的应用程序之外,一般安装在客户机上,需要与服务端互相配合运行。例如:下载 Q…

STM32GPIO输入(按键控制LED、光敏电阻控制蜂鸣器实例)

文章目录 一、介绍传感器模块介绍硬件电路c语言数据类型 二、实例按键控制LED接线图代码实现 光敏电阻控制蜂鸣器组装线路代码实现 相关函数解释 一、介绍 传感器模块介绍 硬件电路 上两种按下时为0,下两种按下时为1。 c语言数据类型 现在常用stdint头文件所定…

BeanDefinitionRegistry学习

Spring版本5.1.x 简介 在Spring框架中,BeanDefinitionRegistry是一个接口,它主要用于向注册表中注册BeanDefinition实例,完成注册的过程。该接口的主要方法是registerBeanDefinition,用于将一个BeanDefinition实例注册到注册表中…

【zip密码】zip压缩包的打开密码忘了,怎么办?

Zip压缩包设置了密码,解压的时候就需要输入正确对密码才能顺利解压出文件,正常当我们解压文件或者删除密码的时候,虽然方法多,但是都需要输入正确的密码才能完成。忘记密码就无法进行操作。 那么,忘记了zip压缩包的密…

一张证书如何改变职业生涯?程序员必看!

随着信息产业的迅猛发展,对行业人才的需求也在逐年扩大。据统计,未来五年,我国对信息化人才的总需求量将高达1500万至2000万人。以软件开发为例,我国对软件人才的需求正以每年20%的速度递增,每年新增的需求接近百万。计…