杜比全景声——空间音频技术

  • 什么是杜比?
  • 是否是标清、高清、超清之上的更清晰的格式?
  • 杜比全景声 和传统多声道立体声的差别?
  • 杜比全景声音频的渲染方式?
  • 车载平台上杜比技术的应用?
  1. 杜比技术的起源

  • 杜比实验室(Dolby Laboratories)是一家总部位于美国的公司,由雷·杜比(Ray Dolby)于1965年在英国伦敦创立。雷·杜比是一位物理学家和电子工程师,他的目标是改进录音质量。他的第一个发明是杜比降噪系统,这是一种可以显著减少磁带录音中背景噪声的技术。
  • 2010年6月,杜比推出了杜比7.1环绕声(Dolby Surround 7.1),并在全球范围建立起与影院的合作,推出配置7.1环绕音箱的杜比影厅
  • 杜比全景声(Dolby Atmos)是杜比实验室于2012年推出的高级环绕声标准,用于电影院,通过将前置、侧置、后置和天空扬声器加上复杂的音频处理和算法相结合,提供高达最高64声道的环绕声,增加空间沉浸感
  1. 杜比技术的应用

杜比的技术在电影制作中尤其重要。杜比数字(Dolby Digital)是一种音频压缩技术,它使得电影制作人可以在电影中使用更丰富、更逼真的声音。杜比全景声(Dolby Atmos)则进一步提升了这种体验,它允许声音在三维空间中移动,给观众带来沉浸式的体验。

  1. 杜比的三大核心技术

  • 杜比数字(Dolby Digital): 一种音频压缩技术,比如AC-3格式,将6个声道的数据压缩到一个数据流中。应用于DVD、蓝光光盘;
  • 杜比全景声 (Dolby Atoms): 音频领域革命性的技术,彻底摒弃传统声道概念,将声音视为“对象”,在三维空间自由移动,从而模拟逼真的场景。应用在电影、电视和音乐制作;
  • 杜比视界(Dolby Vision): 高动态范围(HDR)视频技术,提供更亮、更暗、更丰富的颜色。主要用于投影和高端电视。
  1. 基础概念科普

4.1 音频编码技术

PCM 是指脉冲编码调制(Pulse Code Modulation),是数字通信的编码方式之一,是一种将模拟信号数字化的方法。主要过程是将话音等模拟信号每隔一定时间进行取样,使其离散化,同时将抽样值按分层单位四舍五入取整量化,同时将抽样值按一组二进制码来表示抽样脉冲的幅值。

我们熟悉的MP3、AAC、OPUS通常都是基于PCM进行压缩编码的格式

4.2 声道(Channel)/声床(Bed)

声道(Sound Channel ): 是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号,所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。声床是制作端对于声道的对应说法。

4.2.1 1维音频

基于单声道的PCM编码,我们称为一维音频

4.2.2 2维音频

用两个不同的PCM进行双声道播放,可以称为二维音频

4.2.3 2.5维音频

多个声道进行播放,即为2.5维音频

2.5维音频常见的配置有:

  • 5.1声道: 表示有五个普通声道+1个低音声道:

  • 7.1:7个普通声道+1个低音声道

超重低音声道提供20-120Hz的声音

4.1.4 3维音频

引入天空声道,即为3维音频

  • 代表性的是7.1.4: 7个平面声道+1个低音声道+4个天空声道

  • 9.1.6: 9个平面声道+1个低音声道+6个天空声道

x.y.z的涵义:

  • x通常代表耳平面的传统环绕声道的数量(如前置、中置、环绕);
  • y代表低音声道的数量,虽然我们见到的大多都是1,但在“多炮”的扬声器排布下,甚至可以提高到4个或更多低音扬声器,在更大的空间中实现理想的低频响应;
  • z代表天空声道的数量,天空(或称高度)声道的存在使得扬声器排布从平面提升为立体,能够通过响度和时间差的调整,控制声像在三维空间中的方向。

传统声道的概念还是基于左右两声道完成,每个声音元素的发声点局限在空间中相对固定的声道/扬声器中,要求声道数量和摆放位置完全一样

在飞机飞过的时候,音量、频率、延时等等都会发生变化

4.1.5 立体声音效发展历程

4.3 声音对象(Object)

声音不再局限于声道或者音箱,可以自由摆放在虚拟的三维空间中的任意位置,可以按照设计的轨迹进行运动。

设计好每个对象的轨迹之后,这些对象的位移信息再由渲染器进行计算出哪个音箱要出多大声或者要延迟多少ms才能使得某个声音元素听起来像是它本来应该在的位置。

这种概念的引入使得回放系统的配置更加灵活,这样一来不论是简单的Soundbar,或者耳机,或者5.1.2、9.3.6的家庭影院,都可以通过计算而渲染出全景声音效

Pan-through array: The sound can travel through each speaker placed around and above the audience as it moves across the cinema, in what’s called a pan-through array.

优点:

  • 全景特效:声音更真实,更立体
  • 兼容性高:不需要Care具体的播放设备的规格、数量及设备的摆放,都能达到同样的效果
  1. 杜比全景声的产生过程

解码方式:

  1. 直通(Passthrough): 指电视或投影或机顶盒——不对音轨进行任何解码,直接将原音频数据传输给回音壁或者功放。一台机器想要支持源码输出,需要经过杜比和DTS的授权认证。

  2. 解码: 指将Dolby AtmoS的音频信息在电视或投影或机顶盒端先完成解码再映射到回音壁的方式。由于杜比公司有专利保护,任何想要解码的硬件或软件播放器,都需要向杜比支付授权费才能获得解码密钥。这也是很多设备并不支持的自己解码的原因。

  3. 转码: 指播放Dolby Atmos的设备或软件本身不是直连回音壁,还需要将声音传给中间商。此时会把音频打包转码成普通的LPCM音频格式,在这个过程中会丢失的是全景声的元数据。就不再是7.1.2而上7.1声道。效果也是有损的

  4. 双耳渲染

6.1 头部跟踪

头部跟踪的必要性是一个大话题,为了更清晰地认知头部跟踪的必要性,我们需要了解人对于声音方位感的感知原理。人们对声音方位感的判断主要有4个依据:时间差、声级差、人体滤波效应和头部晃动

  1. 时间差(Interaural Time Difference, ITD):

声音到达双耳的距离不一样,时间不一样,会有延时

  1. 声级差(Interaural Level Difference, ILD):

由于双耳和音源的距离差异,也会造成此外,头部的遮挡,也会使得到达左耳与右耳声音的声压级是不同的,进一步形成声级差。

不同频率的声波会发生衍生的效果也不一样

  1. 人体滤波效应:

人的头部、肩颈、躯干,会对来自不同方向的声音产生不同的作用,形成反射、遮挡或衍射。

大脑通过这些不同的滤波效果产生对声源方位的判断,这就是著名的头部相关传输函数——HRTFs (Head-Related Transfer Functions)。

  1. 头部的晃动:

当一个声源的位置难以判断的时候,人们常常会不自觉的轻微晃动头部,使时间差、声级差或人体滤波效应产生变化,并依据这些变化进行快速的重新定位

在现实中,声源位于三维的空间中,通常都需要我们综合时间差、声级差、人体滤波效应这三个要素可以被综合的表述为头部相关传输函数(Head-Related Transfer Functions, HRTFs),这项技术构成了绝大部分三维声定位技术的基础。头部晃动虽然并不是一个决定性因素,但是无论在哪个方向上,都对我们判断声源的位置有着极大地帮助

6.2 双耳渲染

室内声场有3个组成部分:直达声、早期反射声和混响声。人们对于声音的空间感主要是依据早期反射声和混响声来建立的。

  1. 直达声

声音直接穿到人耳所感知到的声音

  1. 反射声

声音通过回音壁和障碍物经过多次反射进入人耳所感知到声音

  1. 混响声

声音在空间中不断反射、衰减,形成了均匀、密集的混响声,与直达声、反射声共同建立起室内声场。这是一个经过多次反射的、没有方向性的声音,当然没有方向性也就是说它会来自三维空间内的各个方向。

6.3 声音的采集

目前移动设备拥有最大用户基群,耳机成为主要的播放场景。双耳信号回放的终极目标就是在听音者鼓膜处再现与实际听音环境相同的声学信号

常见的有两种采集方式:

  1. 在同一位置进行录音和回放(Dummy Head人头录音)

这种方式缺点显而易见,制约了现代音乐产业中的混音工作,不适合非现场演出的录音和回放

  1. 采取“计算音频”的方式,模拟在真实听音环境中聆听一个或多个真实扬声器的听觉体验

从理论上来说,只要模拟足够精确,双耳重放应该完全可以重现多个扬声器的听感(不包括其他感官),毕竟人的耳朵本身也是双声道的

  1. 移动设备的杜比全景声回放

对于用户终端对于杜比全景声的回放处理,下面先看一张表,这张表整理了各个流媒体平台在各个硬件终端上对于杜比全景声的处理方式,表中撰写的状态,是APP从云端下发给终端设备的音源的规格

AtmosAndroidiOSWIndowsMacTV* (For AVR)
Apple MusicEAC3-JOC 768kbpsEAC3-JOC 768kbpsEAC3-JOCEAC3-JOC
QQ音乐AC4-IMS 256kbps双耳渲染EAC3-JOC 448kbps
网易云音乐双耳渲染EAC3-JOC 768kbps
Apple TVEAC3-JOC 768kbps7.1.4EAC3-JOC
爱奇艺5.1(部分厂商)双耳渲染立体声立体声EAC3-JOC
优酷双耳渲染双耳渲染立体声立体声立体声
腾讯视频双耳渲染多声道立体声立体声EAC3-JOC
Bilibili双耳渲染多声道立体声立体声立体声
本地音视频APP√(Android 13)

可以看到,各大终端里,只有Apple在自己的硬软件生态内保持了相对原始的声道信息,亦即保留了更多的空间信息。

从2020年开始,安卓厂商们还陆续往手机里集成了Dolby格式的解码器,配合着杜比的效果调试(包扩DRC,人声增强,响度均衡,频响调整,声道互馈等),就统称为“杜比全景声”。

  1. 杜比全景声的制作

渲染流程:

制作过程:

  1. Eletre中的杜比

路特斯 lambda 配置豪华的座舱 音响系统

  • 选用英国品牌KEF,两个配置:

    • 2D配置支持15扬,7.1全景声,额定功率1400W
    • 3D配置支持23扬,7.1.4全景声,额定功率2120W。
  • 需要刷杜比Key才能使用,杜比Key是杜比官方授权密钥,不安装不能播放。565和台架均不能播放

  • 杜比全景声内容:主要包括杜比介绍视频、QQ音乐+索尼高品质的7.1.4音乐展示、音乐播放器、音乐播放的信

息展示及控制(HUD显示、语音控制、方控等)、整车声音设置的杜比全景声的试听及

app入口。

  • 杜比播放器也叫高品质音乐,英文名是:HYPER Music,图标如下:

杜比App主界面:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/43399.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大数据基础:Hadoop之MapReduce重点架构原理

文章目录 Hadoop之MapReduce重点架构原理 一、MapReduce概念 二、MapReduce 编程思想 2.1、Map阶段 2.2、Reduce阶段 三、MapReduce处理数据流程 四、MapReduce Shuffle 五、MapReduce注意点 六、MapReduce的三次排序 Hadoop之MapReduce重点架构原理 一、MapReduce概…

讲讲 JVM 的内存结构(附上Demo讲解)

讲讲 JVM 的内存结构 什么是 JVM 内存结构?线程私有程序计数器​虚拟机栈本地方法栈 线程共享堆​方法区​注意永久代​元空间​运行时常量池​直接内存​ 代码详解 什么是 JVM 内存结构? JVM内存结构分为5大区域,程序计数器、虚拟机栈、本地…

【AI前沿】深度学习:神经网络基础

文章目录 📑引言一、神经元和感知器1.1 神经元的基本概念1.2 感知器模型 二、多层感知器(MLP)2.1 MLP的基本结构2.2 激活函数的重要性2.3 激活函数2.4 激活函数的选择 三、小结 📑引言 深度学习是现代人工智能的核心技术之一&…

kotlin Flow 学习指南 (三)最终篇

目录 前言Flow生命周期StateFlow 替代LiveDataSharedFlow其他常见应用场景处理复杂、耗时逻辑存在依赖关系的接口请求组合多个接口的数据 Flow使用注意事项总结 前言 前面两篇文章,介绍了Flow是什么,如何使用,以及相关的操作符进阶&#xff…

如何挑选适合的需求池管理系统?10款优质工具分享

本文将分享10款优质需求池管理工具:PingCode、Worktile、Teambition、Epicor Kinetic、TAPD、SAP IBP、Logility、RELEX Solutions、JIRA、明道云。 在管理项目和产品需求时,正确的工具能够大幅提高效率与透明度。如何从众多需求池工具中选择最适合团队的…

自定义类型:联合体

像结构体一样,联合体也是由一个或者多个成员组成,这些成员可以是不同的类型。 联合体类型的声明 编译器只为最⼤的成员分配⾜够的内存空间。联合体的特点是所有成员共⽤同⼀块内存空间。所以联合体也叫:共⽤体。 输出结果: 联合体…

【基于R语言群体遗传学】-16-中性检验Tajima‘s D及连锁不平衡 linkage disequilibrium (LD)

Tajimas D Test 已经开发了几种中性检验,用于识别模型假设的潜在偏差。在这里,我们将说明一种有影响力的中性检验,即Tajimas D(Tajima 1989)。Tajimas D通过比较数据集中的两个𝜃 4N𝜇估计值来…

spark shuffle写操作——UnsafeShuffleWriter

PackedRecordPointer 使用long类型packedRecordPointer存储数据。 数据结构为:[24 bit partition number][13 bit memory page number][27 bit offset in page] LongArray LongArray不同于java中long数组。LongArray可以使用堆内内存也可以使用堆外内存。 Memor…

秋招突击——7/9——字节面经

文章目录 引言正文八股MySQL熟悉吗?讲一下MySQL索引的结构?追问:MySQL为什么要使用B树?在使用MySQL的时候,如何避免索引失效?讲一下MySQL的事物有哪几种特征?MySQL的原子性可以实现什么效果&…

【区块链+跨境服务】粤澳健康码跨境互认系统 | FISCO BCOS应用案例

2020 年突如其来的新冠肺炎疫情,让社会治理体系面临前所未见的考验,如何兼顾疫情防控与复工复产成为社会 各界共同努力的目标。区块链技术作为传递信任的新一代信息基础设施,善于在多方协同的场景中发挥所长,从 而为粤澳两地的疫情…

CSS关于居中的问题

文章目录 1. 行内和块级元素自身相对父控件居中1.1. 块级元素相对父控件居中1.2. 行内元素相对于父控件居中 2. 实现单行文字垂直居中3. 子绝父相实现子元素的水平垂直居中3.1. 方案一3.1.1. 示例 3.2. 方案二3.2.1. 示例 3.3. 方案三(推荐)3.3.1. 示例 3.4. 方案四(了解一下) …

AI大模型知识点大梳理_ai大模型的精度以下哪项描述的准确

AI大模型是什么 AI大模型是指具有巨大参数量的深度学习模型,通常**包含数十亿甚至数万亿个参数。**这些模型可以通过学习大量的数据来提高预测能力,从而在自然语言处理、计算机视觉、自主驾驶等领域取得重要突破。 AI大模型的定义具体可以根据参数规模…

短信验证码研究:公开的短信验证码接口、不需要注册的短信验证码接口

短信验证码研究:公开的短信验证码接口、不需要注册的短信验证码接口 0 说明 本文提供了一个短信验证码接口,主要用于以下场景: 1、用于开发调试 2、用于申请验证码困难的企业和个人 3、用于短信验证码认证还没有通过,但是着急…

DBeaver操作MySQL无法同时执行多条语句的解决方法

DBeaver选择数据库连接,在【驱动属性】中将allowMultiQueries允许执行多条语句置为True

泰迪智能科技大数据实验室产品-实训管理平台介绍

高校大数据实验室通常配备有先进的计算机硬件和软件工具,以及专门的数据库和分析平台,以便研究人员和学生能够进行复杂的数据处理、分析和解释。主要利用大数据技术进行科学研究、技术开发和人才培养。 泰迪智能科技实训管理平台作为教学核心&#xff0c…

JS进阶-构造函数

学习目标: 掌握构造函数 学习内容: 构造函数 构造函数: 封装是面向对象思想中比较重要的一部分,js面向对象可以通过构造函数实现的封装。 同样的将变量和函数组合到了一起并能通过this实现数据的共享,所不同的是借助…

小程序需要进行软件测试吗?小程序测试有哪些测试内容?

在如今移动互联网快速发展的时代,小程序已成为人们生活中不可或缺的一部分。然而,面对日益增长的小程序数量和用户需求,小程序的稳定性和质量问题日益突显。因此,对小程序进行软件测试显得尤为重要。 近期的一项调查显示&#xf…

【架构】分布式与微服务架构解析

分布式与微服务架构解析 一、分布式1、什么是分布式架构2、为什么需要分布式架构3、分布式架构有哪些优势?4、分布式架构有什么劣势?5、分布式架构有哪些关键技术?6、基于分布式架构如何提高其高性能?7、如何基于架构提高系统的稳…

【工具】咸鱼小助手,一款咸鱼之王辅助工具

转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ Github:咸鱼之王的自动化脚本,自动答题、爬塔、领资源等 下载:(密码:9u22) 咸鱼小助手 文档:腾讯文档 视…

软考《信息系统运行管理员》-3.2信息系统设施运维的环境管理

3.2信息系统设施运维的环境管理 1 计算机机房的选址要求 电子计算机机房地理位置 选择水源充足,电子比较稳定可靠,交通通信方便,自然环境清洁的地点要远离产生粉尘、油烟、有害气体以及生产或存储具有腐蚀性、易燃、易爆物品的工厂、仓库、…