多媒体技术:语音音频压缩

语音音频压缩

  • 语音音频基础知识
    • 物理世界的声音——语音
  • 语音音频编码方法
    • 波形编码
      • 波形编码原理
      • 常用波形编码技术
        • 脉冲编码调制PCM
        • 差分脉冲编码调制DPCM
        • 自适应差分脉冲编码调制ADPCM
        • 子带ADPCM
    • 参数编码
    • 感知编码
  • 语音音频编码框架
    • 语音编码框架
    • 音频编码框架
    • 混合编码框架
  • 语音音频编码标准
  • 语音音频质量评价
  • 空间音频编码
    • 多声道编码
    • 三维音频系统

语音音频基础知识

物理世界的声音——语音

语音短时平稳性:人在说话时,声道形状会随口腔肌肉运动而进行相应变化,肌肉运动频率相对于语音变化频率而言要相对缓慢,在一个短时间间隔(20~40ms)内,可以认为声道及其输入是近似平稳的。
语音信号分析帧:假设语音信号短时平稳,为便于语音信号处理,会将语音信号进行分帧处理,语音信号的处理帧长为20ms。
在这里插入图片描述
听觉感知

语音音频编码方法

波形编码

波形编码原理

波形编码:将时域波形信号采样、量化和编码形成数字语音信号,恢复的音频信号与原始信号波形基本上相同。

波形编码技术特点:高话音质量、压缩比低、码率通常在20kb/s以上、适用于高清高真语音编码。

在这里插入图片描述

  • 采样
    将时间连续信号变成时间离散信号。语音通信中采样频率通常为fs=8kHz,为了避免混叠,采样频率至少为连续信号频率的两倍。(奈奎斯特采样定理:采样频率至少应为信号最高频率的两倍)
    在这里插入图片描述

  • 量化
    将采样后的信号按幅度划分成有限个区段,把落入某个区段内的样值赋于相同的量化值。
    在这里插入图片描述

  • 编码
    将每个采样点赋值为量化单位的整数倍m(四舍五入),再对m进行二进制编码。
    在这里插入图片描述

常用波形编码技术

脉冲编码调制PCM

脉冲编码调制(Pulse Code Modulation, PCM):只对模拟音频采样量化。优点:方法简单,重构信号与原始信号几乎没有差别,代表了数字音频最佳保真水准,被广泛用于素材保存及音乐欣赏,CD、DVD文件中。缺点:实质上并没有进行压缩,编码后数据量大。

最高频率为20KHz双声道模拟音频信号,若采样频率为44.1KHz,量化位数为16位,采用PCM编码后数据带宽(数据传输率)为:44.1 × 16 × 2 = 1411.2𝐾𝑏𝑝s

  • 均匀量化方法
  • 非均匀量化方法
差分脉冲编码调制DPCM
自适应差分脉冲编码调制ADPCM
子带ADPCM

参数编码

感知编码

语音音频编码框架

语音编码框架

音频编码框架

混合编码框架

语音音频编码标准

语音音频质量评价

空间音频编码

多声道编码

三维音频系统

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/877354.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JDK8的新特性

目录 接口的默认方法和静态方法 Lambda表达式1、匿名内部类2、函数式接口(FunctionalInterface)2.1 无参函数式接口匿名内部类方式-->Lambda表达式方式 2.2 有参函数式接口匿名内部类方式-->Lambda表达式方式 3、Lambda实战 3.1 循环遍历 3.2 集合排序 3.3 创建线程方…

黑马头条Day12-项目部署_持续集成

一、今日内容介绍 1. 什么是持续集成 持续集成(Continuous integration,简称CI),指的是频繁地(一天多次)将代码集成到主干。 持续集成的组成要素: 一个自动构建过程,从检出代码、…

Golang处理Word文档模板实现标签填充|表格插入|图标绘制和插入

本教程主要实现【Golang处理Word文档模板实现标签填充|表格插入|图标绘制和插入】。 本文源码:https://gitee.com/songfayuan/go-zero-demo 教程源码分支:master 分支(_examples/word-template/fill-word-template.go) Golang处理…

Java-Swing开发-001组件

文章目录 Top-level containerJFrame容器对话框相关 JComponent组件面板相关文本相关菜单相关工具栏按钮下拉框进度条树形组件 Top-level container 1.JFrame 2.JDialog JFrame容器 //设置APP图标 this.setIconImage(new ImageIcon(getClass().getResource("/button/i…

论文解读(10)-图神经网络

加油,继续看论文。 这次学图神经网络,这个概念经常在其他论文里出现,所以我想先学习一下这方面的知识。 参考: 【图神经网络综述】一文道尽GNN原理、框架和应用-CSDN博客 【图神经网络】10分钟掌握图神经网络及其经典模型_图神经…

谷粒商城实战笔记-85~87-商品发布-关键

文章目录 一,85-商品服务-API-新增商品-获取分类下所有分组以及属性二,86-商品服务-API-新增商品-商品新增vo抽取三,87-商品服务-API-新增商品-商品新增业务流程分析 一,85-商品服务-API-新增商品-获取分类下所有分组以及属性 在…

某“新一线城市“前端面试,纯纯被恶心到了

一.起因 在boss上刷到的一个小小厂,收大四全年实习生(web前端),因为离家乡比较近,而且双非一本的学历以及入坑的时间没有太长(前端部分不到一年),想去那里看看形势,要求是笔试面试,当场给是否录用结果&…

大模型预训练实践

文章目录 参数量计算本文是 LLMBox 和 YuLan-Chat 的预训练示例代码。此示例基于 Transformers 和 DeepSpeed 进行训练。在下面的示例代码中,train() 函数涵盖了预训练过程中的主要步骤,包括模型与分词器的初始化、训练数据的准备等;然后调用 Trainer 类来执行模型训练并保存…

AgentBench: Evaluating LLMs As Agents

AgentBench: Evaluating LLMs As Agents Github: https://github.com/THUDM/AgentBench 榜单:https://llmbench.ai/agent/data demos:https://llmbench.ai/agent/demo 备注:该论文介绍为AgentBench v0.2版本 一、介绍 现如今&am…

指令数据的构建

文章目录 基于现有的 NLP 任务数据集构建基于日常对话数据构建基于合成数据构建指令微调(Instruction Tuning)是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调,这一术语由谷歌研究员在 2022 年的一篇 ICLR 论文中正式提出。在另外一些参考文献中,指令微调也…

三行代码高搞定nestjs静态图片映射方案

方案一 nestjs/serve-static 库映射 上代码 npm i nestjs/serve-staticimport { ServeStaticModule } from nestjs/serve-static; import { join } from path; const staticPath join(__dirname, .., /public/);Module({imports: [ServeStaticModule.forRoot({rootPath: sta…

用Python代码调用GPT-SoVITS

GPT-SoVITS 项目地址:https://github.com/RVC-Boss/GPT-SoVITS import os import requests from PySide6.QtCore import QThread from PySide6.QtWidgets import QWidget, QApplication from design import Ui_Form import subprocess import sounddevice as sd im…

JAVA基础 - 泛型

目录 一. 简介 二. 集合泛型 三. 自定义泛型 四. 自定义泛型类和普通类的区别 一. 简介 泛型是 Java 语言中一种强大的特性,它允许在定义类、接口和方法时使用类型参数,从而增加了代码的类型安全性和复用性。 类型安全性: 使用泛型可以…

day07 项目启动以及git

spring框架 spring 负责整合各种框架,把new对象的部分交给spring去做,对象new不出来,项目就启动不起来,这样可以有效保证所需要的对象都在容器中存在,后续的部分都可以顺利执行控制反转:业务对象创建依赖资…

19、基于DDD的微服务代码详解

本章将深入探讨如何基于领域驱动设计(DDD)开发微服务代码,并提供具体的代码示例和详细解释。我们将基于第十八章中的请假案例进行讲解,确保每个细节都不放过。 1、项目背景 回顾第十八章中请假案例的需求和设计,我们…

“八股文”在实际工作中是助力、阻力还是空谈?

一:浅谈 关于“八股文”在程序员面试中的重要性和实际工作中的作用,确实是一个引发广泛讨论的话题。以下是我对这个问题的看法: 1. “八股文”的定义与特征 “八股文”通常指的是面试中常见的标准化问答或经典理论知识,例如…

Apollo:源码分析之cyber/mainboard启动入口介绍-my write, test ok

软件结构图 cyber入口 cyber的入口在"cyber/mainboard"目录中: ├── mainboard.cc // 主函数 ├── module_argument.cc // 模块输入参数 ├── module_argument.h ├── module_controller.cc // 模块加载,卸载 └── module_controller.…

idea如何配置tomcat

1,点击Run---EDit Configurations... 2.点击左侧“”号,找到Tomcat Server---Local(若是没有找到Tomcat Server 可以点击最后一行 34 items more) 3.在Tomcat Server -> Unnamed -> Server -> Application server项目下&…

JumpServer关闭admin mfa验证

背景 因为上一次启动了mfa验证,但是没有验证就关机重启,导致再开机输入密码后需要mfa绑定,但是怎么也无法绑定成功,导致无法登录。 故希望通过后台取消mfa的验证 解决方法 1. 进入docker docker exec -it jms_core /bin/bash…