智能座舱相关术语全解及多模态交互在智能座舱中的应用

文章目录

  • 座舱相关术语全解
    • 1. 智能座舱
    • 2. UFS
    • 3. 多模态交互
    • 4. 3D虚拟引擎
    • 5. AR/VR
    • 6. GNSS
    • 7. TTS
    • 8. DPU
    • 9. 摄像头
    • 10. 屏幕/显示器
    • 11. 音频
    • 12. 无线连接
    • 13. 其他组件
  • 多模态交互在智能座舱中有以下一些应用

座舱相关术语全解

1. 智能座舱

智能座舱(intelligent cabin)旨在集成多种IT和人工智能技术,打造全新的车内一体化数字平台,为驾驶员提供智能体验,促进行车安全。目前国内外已经有很多研究工作,例如在车辆的AB柱及后视镜安装摄像头,提供情绪识别、年龄检测、遗留物检测、安全带检测等。

2. UFS

  1. 定义
    • UFS闪存是由多个闪存芯片、主控、缓存组成的阵列式存储模块。

在这里插入图片描述

  1. 特点
    • 弥补了eMMC仅支持半双工运行(读写必须分开执行)的缺陷,可实现全双工运行,性能得以翻番。
  2. 分类及标准
    • 目前被细分为UFS 2.0和UFS 2.1,读写速度的强制标准都为HS - G2(High speed GEAR2),可选HS - G3标准。
    • 两套标准都能运行在1Lane(单通道)或2Lane(双通道)模式上,手机读写速度取决于UFS闪存标准、通道数以及处理器对UFS闪存的总线接口支持情况。
  3. 应用及目标
    • 是一种设计用于数码相机、智能电话等消费电子产品使用的闪存存储规范。
    • 设计目标是发展一套统一的快闪存储卡格式,在提供高数据传输速度和稳定性的同时,减少消费者对于市面上各种存储卡格式的混淆和不同存储卡转接器的使用。

3. 多模态交互

  1. 定义
    • 英文是modality,通俗说就是“感官”,多模态即将多种感官融合。Turing OS机器人操作系统将机器人与人的交互模式定义为“多模态交互”,即通过文字、语音、视觉、动作、环境等多种方式进行人机交互,充分模拟人与人之间的交互方式。
  2. 意义
    • 打破了传统PC式的键盘输入和智能手机的点触式交互模式。

4. 3D虚拟引擎

  1. 定义
    • 是将现实中的物质抽象为多边形或者各种曲线等表现形式,在计算机中进行相关计算并输出最终图像的算法实现的集合,就像在计算机内建立一个“真实的世界”。

5. AR/VR

  1. VR
    • 虚拟现实Virtual Reality的英语缩写。VR显示的全是假的,是一种可以创建和体验虚拟世界的计算机仿真系统,利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。
  2. AR
    • 增强现实Augmented Reality的英文缩写。AR显示的画面有一半是真的,一半是假的,是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,目标是在屏幕上把虚拟世界套在现实世界并进行互动,最早于1990年提出,随着随身电子产品运算能力的提升,用途越来越广。

6. GNSS

  1. 定义
    • 全球导航卫星系统(英文:Global Navigation Satellite System,GNSS),又称全球卫星导航系统。

7. TTS

  1. 定义
    • TTS是Text To Speech的缩写,即“从文本到语音”。它将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语(或者其他官方语言语音)输出的技术,隶属于语音合成(SpeechSynthesis)。

8. DPU

  1. 定义
    • DPU一般指数据处理器。数据处理器(英文名【Data Processing Unit】,简称DPU)是面向以数据为中心的计算的新一代处理器,集完整的数据中心功能于单芯片,和CPU及GPU一起构成新型计算的三大支柱。

9. 摄像头

  1. 分类
    • ADAS Camera:高级驾驶员辅助系统Camera,一般为车前双目摄像头等。
    • AVM Camera:Around View Monitor,全景环视系统。
    • DMS:Driver Monitoring System,监测对象为Driver(驾驶员)。
    • OMS:Occupancy Monitoring System,监测对象为乘客。
    • CMS:Camera - monitor system,电子后视镜。
  2. 相关组件
    • DES(DESerializer,解串器)、SER(SERializer,串行器)、CSI(CMOS Serial Interface)、ISP (Image Signal Processor,即图像处理)、NPU(Neural - network Processing Unit神经网络处理器)

10. 屏幕/显示器

  1. 分类
    • Cluster:汽车仪表群。
    • IVI Display:In - Vehicle Infotainment,车载信息娱乐系统。
    • RSE:Rear seat entertainment,后排座椅娱乐系统。
    • CMS:Camera - monitor system,电子后视镜。
  2. 相关组件
    • DP(display port,显示接口)、DSI(Display Serial Interface,显示串行接口,MIPI接口)

11. 音频

  1. 组成
    • Speaker:喇叭、外放。
  2. 相关组件
    • TDM(Time Division Multiplexing,时分复用)是PCM的一种方式,TDM相比I2S可以传输多channel音频数据。AMP(Amplifier,放大器)、A2B(Automotive Audio Bus)是汽车音频总线的简称,ADI设计研发的标准。

12. 无线连接

  1. 分类
    • BT/WIFI:PCIe接口的模块。
    • GNSS:全球导航卫星系统模块。
    • FM/AM: Tuner(调谐器)

13. 其他组件

  1. 分类
    • ETH:LIDARs(雷达);
    • Vehicle Network:车载网络;
    • PCIe:SSD(固态硬盘,PCIe接口、NVMe协议);
    • IMU:(Inertial Measurement Unit,即惯性测量单元);
    • Codec: 编译码器。指的是数字通信中具有编码、译码功能的器件。

多模态交互在智能座舱中有以下一些应用

  1. 语音 + 视觉:语音交互本身不可见,将其与视觉模态融合,例如通过中控屏幕上的语音虚拟形象或实体机器人的空间方位和状态变化,能让驾驶员更清楚地了解指令所处的状态,增强安全感。如蔚来汽车的 NOMI,在语音交互时能通过屏幕表情给出聆听、开心、点赞等反馈,增加了陪伴感和信任感。
  2. 视觉 + 触觉:例如小鹏 P7 在打开车道辅助时,为减少驾驶员低头看仪表盘的情况,方向盘会通过抖动提示车辆压线;还可通过方向盘物理按键唤醒语音,语音虚拟形象的状态变化显示在中控屏上。
  3. 手势识别:用于多媒体切换、音量控制、接电话、灯光控制等方面。比如岚图追光的手势控制,支持左右、上下和前后 3 种动态手势及 5 种静态手势,包括确认、自拍、接听 / 拒接电话和播放 / 暂停等常用功能,结合四音区语音系统实现语音 + 手势交互。一些车型还能通过 3D TOF 摄像头进行三维手势检测。
  4. 驾驶员监测系统(DMS):利用座舱内摄像头、近红外线等传感器,基于面部特征分析、头部姿态追踪、视线追踪、面部表情和情绪识别、身体姿势追踪和物体侦测等关键技术,实现对驾驶员的身份识别,以及疲劳驾驶、分心驾驶等危险行为的检测功能。例如,主流 DMS 方案采用近红外摄像头拍摄驾驶员眼球运动、面部表情,进行计算和 AI 识别,分析出驾驶员疲劳、分心、危险驾驶等动作信号,以此来提醒驾驶员。3D-TOF 传感器的 DMS 方案则可定位驾驶员眼神,协助 AR-HUD 实现动态校正。此外,DMS 能时刻监控驾驶员状态,满足 L3 决策安全性要求,法规也有标配 DMS 的趋势。
  5. 乘客监测系统(OMS):OMS 是 DMS 系统的延伸,可监测座舱内乘客的状态,比如监测儿童或宠物是否遗留在车内,还能检测人员是否使用安全带。在交互或娱乐方面,也可利用 OMS 摄像头完成手势识别、情绪识别、视频聊天等功能。
  6. 增强现实抬头显示器(AR-HUD):AR-HUD 可将车速、驾驶辅助和导航等信息直接显示在真实道路上,实现这一特性需要通过前视摄像头对前方的路况进行解析建模,得到对象的位置、距离、大小等,再把 HUD 需要显示的信息精准地投影到对应的位置。同时,融合 DMS 的眼神追踪摄像头,可保障画面跟着眼睛实时动态调节,保持动态中的相对静止,减少产生眩晕感,提升 AR-HUD 体验感。
  7. AID 全息投影:借助光学原理投射在空气中,不需要任何介质,用户能从各个角度感受到悬浮在屏幕上的真实效果。它可同仪表、中控屏、视觉感知系统和语音交互系统等多维深度协同,与 DMS 的视线追踪和表情识别、自动驾驶的环境感知等融合,感知驾驶员的心情以及车外环境,通过数字虚拟人进行主动关怀(如音乐电影播放、氛围灯开启)、疲劳提醒、危险预警、天气提醒、节日变装等,建立更深层次的情感交流,带来更多陪伴和乐趣。
  8. 情感化体验与主动服务:基于多模态感知,根据用户行为、历史使用习惯、用车场景和时间等情况主动推送应用服务。例如,对于 “路怒族”,AI 助手会通过心率、体温、表情等方面的大数据预判司机情绪是否处于 “路怒症” 发作范围,若判定则会通过对话、播放音乐、调节车内灯光等方式对司机进行安抚,并对车辆采取制动措施。还可感知司机的疲劳状态,准确识别人脸更多细节信息,如表情、微表情、精神状态(如是否疲劳、是否专注)等,从而判断出人的情绪、疲劳状态和开车时的专注度,通过情感互动进行疲劳驾驶预警,提高驾驶员专注度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/58854.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

selinux和防火墙

目录 selinux 1、selinux的说明 2、selinux的工作原理 安全上下文四个字段: 访问过程: 3、selinux的启动、关闭与查看 (1)SELinux三种模式 (2)修改安全上下文 4、selinux对linux服务的影响 防火墙 …

制氮机分子筛的材质选择

制氮机分子筛的材质选择对于其性能和效率至关重要。作为制氮设备中的核心部件,分子筛承担着将空气中的氮气与氧气有效分离的重任。以下是对制氮机分子筛常用材质的详细探讨: 制氮机分子筛的主要材质 碳分子筛(CMS) 碳分子筛由活性炭经过特殊工艺加工而成…

【运动的&足球】足球场地区域图像分割系统源码&数据集全套:改进yolo11-RFAConv

改进yolo11-ContextGuidedDown等200全套创新点大全:足球场地区域图像分割系统源码&数据集全套 1.图片效果展示 项目来源 人工智能促进会 2024.10.28 注意:由于项目一直在更新迭代,上面“1.图片效果展示”和“2.视频效果展示”展…

Java keytool keystore的相关概念介绍与使用

参考资料 Java证书工具keytool用法总结keytool-简介CA证书介绍与格式转换密钥,私钥,公钥的区分とほほのOpenSSL入門 目录 一. 概念1.1 keystore文件1.2 keytool1.3 非对称加密1.3.1 加密解密1.3.2 数字签名认证1.3.3 通信中的加密与签名过程 1.4 证书格…

MFC图形函数学习04——画矩形函数

MFC中绘制矩形函数是MFC的基本绘图函数,它的大小和位置由左上角和右下角的坐标决定;若想绘制的矩形边框线型、线宽、颜色以及填充颜色都还需要其它函数的配合。 一、绘制矩形函数 原型:BOOL Rectangle(int x1,int y1,int x2,int y2); …

openGauss数据库-头歌实验1-5 修改数据库

一、查看表结构与修改表名 (一)任务描述 本关任务:修改表名,并能顺利查询到修改后表的结构。 (二)相关知识 为了完成本关任务,你需要掌握: 1.如何查看表的结构; 2.如…

树莓派5实时时钟(RTC)

树莓派5板载一个实时时钟模块。它可以通过 USB-C 电源插口右侧板上的 J5(BAT) 插口进行电池供电。如果没有互联网连接来通过 NTP 获取时间,RTC 可能会很有用。 可以设置唤醒警报,将树莓派5切换到非常低功耗的状态(大约3mA)。当到达…

分段线性回归

5. 分段线性回归 (Piecewise Linear Regression) 分段线性回归是一种简单的方式,尤其当数据的弧度变化不大但有多个不同趋势段时。可以将数据分为多个区间,每个区间内拟合一条直线。最终的模型是这些直线的组合。 优点:模型简单、易解释&am…

Git下载-连接码云-保姆级教学(连接Gitee失败的解决)

Git介绍 码云连接 一、Git介绍 二、Git的工作机制 下载链接:Git - 下载软件包 三、使用步骤 创建一个wss的文件夹,作为‘工作空间’ 四、连接码云账号 五、连接Gitee失败的解决方法 一、Git介绍 Git是一个免费的、开源的分布式版本控制…

网络工程师的瑞士军刀:深度解析20+常用工具

文章目录 网络工程师的瑞士军刀:深度解析20常用工具一、网络诊断与分析工具1.1 Wireshark1.2 Tcpdump1.3 Ping工具1.4 Tracert(Windows)/Traceroute(Linux)1.5 Nslookup 二、网络管理工具2.1 SNMP(Simple N…

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-30

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-30 目录 文章目录 计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-30目录1. Step Guided Reasoning: Improving Mathematical Reasoning using Guidance Generation and Step Reasoning摘要研究背…

【再谈设计模式】原型模式~复制的魔法师

一、引言 在软件工程、软件开发中,创建对象的过程常常涉及复杂的初始化和配置。在某些情况下,直接复制现有对象比从头开始创建新对象更为高效。原型模式(Prototype Pattern)是一种创建型设计模式,允许我们通过复制现有…

【运动的&足球】足球运动员球守门员裁判检测系统源码&数据集全套:改进yolo11-DBBNCSPELAN

改进yolo11-FocalModulation等200全套创新点大全:足球运动员球守门员裁判检测系统源码&数据集全套 1.图片效果展示 项目来源 人工智能促进会 2024.10.28 注意:由于项目一直在更新迭代,上面“1.图片效果展示”和“2.视频效果展示…

yocto中一些主要可被改写的函数

以下是 Yocto 中一些主要的可被改写的函数: 1. 源代码获取与准备阶段 do_fetch:从指定位置获取源代码。可用于自定义获取源代码的方式、处理认证或对获取的源进行预处理。do_unpack:解压获取到的源代码包。如果解压格式特殊或解压后需额外处…

React 组件生命周期与 Hooks 简明指南

文章目录 一、类组件的生命周期方法1. 挂载阶段2. 更新阶段3. 卸载阶段 二、函数组件中的 Hooks1. useState2. useEffect3. useContext4. useReducer 结论 好的,我们来详细讲解一下 React 类组件的生命周期方法和函数组件中的钩子(hooks)。 …

数据库连接池实现

目录 前提:如果我要操作多个表,那么就会产生冗余的JDBC步骤,另一个弊端就是每次都需要数据库连接对象(Connection),获取效率低下,每次使用时都需要先进行连接 数据库连接池的特点: …

软件测试基础三(前端知识)

前端基础 1. HTML(超文本标记语言) 1.1. 基本概念 定义:HTML 是用来描述网页的一种语言,指的是超文本标记语言(Hyper Text Markup Language)。它不是编程语言,而是一种标记语言,由…

优化用于传感应用的衬底集成波导技术

ANSYS HFSS 是一款功能强大的电磁仿真软件,支持为微流体生物传感器应用设计和分析衬底集成波导 (SIW) 技术。它为快速设计优化、材料选择、系统集成和虚拟原型制作提供了一个强大的平台。借助 ANSYS HFSS,研究人员和工程师可以高效…

Linux 开机自动挂载硬盘

在日常使用 Linux 系统的过程中,我们可能需要挂载一些机械硬盘或者移动硬盘来存储数据。手动挂载虽然简单,但每次重启后都需要重新操作,未免有些繁琐。那么,如何让硬盘在开机时自动挂载呢?本篇博客将详细介绍如何通过配…

[项目] C++基于多设计模式下的同步异步日志系统

[项目] C基于多设计模式下的同步&异步日志系统 文章目录 [项目] C基于多设计模式下的同步&异步日志系统日志系统1、项目介绍2、开发环境3、核心技术4、日志系统介绍4.1 日志系统的价值4.2 日志系统技术实现4.2.1 同步写日志4.2.2 异步写日志 5、相关技术知识5.1 不定参…