VQE音频处理流程

VQE

上行VQE,主要针对MIC采集部分的音频增强

在这里插入图片描述

下行VQE,主要针对SPK播放部分的音频增强

在这里插入图片描述

附关键词解释

  1. RES
    RES 模块为重采样(Resampler)模块。当AI上行或AO下行通路中开启VQE 各功能
    模块时,在处理前后各存在一次重采样,第一次的作用是将输入采样率下的音频数据转换成功能模块所支持的工作采样率(8kHz/16kHz/48kHz),第二次则将工作采样率下的数据转换成输出采样率。

  2. HPF
    HPF为高通滤波(high-pass filte)模块,主要负责去除低频噪声。
    低频噪声来源经常为硬件噪声或工频噪声,表现为轰轰轰类不舒适的声音。我们可以
    通过使用频谱分析单板在安静环境下录制的码流,来确定是否需要加入该模块。如果
    低频噪声不是非常明显,并且客户需要保留低频部分的音源,则不建议加入该模块。

  3. HDR
    HDR为高动态范围(High Dynamic Range)模块,主要用于Codec输入音量控制,通
    过动态调节Codec增益控制Codec音量在合理范围内,保证声音不至于过大或过小。

  4. EQ
    EQ模块为均衡处理器(Equalizer)模块,主要对音频数据进行均衡处理,以调节音频
    数据中各频段声音的增益。

  5. DRC
    DRC为动态压缩控制(Dynamic Range Control)模块,负责控制输出电平,将输出增
    益控制在一个范围,主要工作在需要保证声音不至于过大或过小的场景下。
    DRC与AGC作用相似,但算法实现及调节力度不同。其配合RNR 使用在运动DV场
    景,与AEC/ANR 互斥。

  6. RNR
    RNR为录音噪声消除(Record Noise Reduction)模块,主要工作在需要去除环境噪
    声,但保留小信号输入的场景下。
    与 ANR 算法比起来,RNR 更讲究细节输入(小信号)的保留度,RNR 会在降噪的同
    时保留小信号的输入,所以降噪力度会低一点,但能更多的保留现场声音,真实还原
    场景,适用于运动DV 场景。

  7. AGC
    AGC为自动增益控制(Auto Gain Control)模块,主要负责增益控制输出电平,在声
    音输入音量有大小变化时,能将输出音量控制在比较一致的范围内,主要工作在需要
    保证声音不至于过大或过小的场景下。
    AGC更多起到的作用是放大输入源的声音,以保证音源过小时,经过算法处理后的声
    音依然很大。AI通路如果使能了AGC 功能,那么将不再能够通过调节AI增益来控制
    输出声音大小,需要通过接口来控制声音输出大小。

  8. PEQ
    PEQ 为参量均衡器(Parameter Equalizer)模块,主要对音频数据进行均衡处理,以调
    节音频数据中各频段声音的增益。
    PEQ 与EQ 均为均衡处理器,但是PEQ 调节方式更灵活,适用于运动DV 场景。

  9. AEC
    回声抵消(Acoustic Echo Cancellation)模块,主要工作在需要进行去除回声的
    场景下:如IPC 对讲,远端语音数据在AO 设备上播放,此时在本地通过MIC 采集语
    音数据,它支持消除录制的语音数据中的AO设备播放的声音(回声)。

  10. ANR
    ANR为语音降噪(Audio Noise Reduction)模块,主要工作在需要去除外界噪声,保
    留语音输入的场景下。
    与 RNR 算法比起来,ANR 更讲究噪声处理的干净程度。ANR 会滤除一些环境声音,
    主要保留语音数据,并会带来一定的细节丢失。所以ANR 算法更适用于NVR 和IPC
    场景。在这两个场景下,我们更希望能够着重保留人声,滤除其他噪声。

  11. GAIN
    GAIN 模块是音量调节模块,主要用于调节AGC开启后的音量大小。
    AGC负责对语音的音量进行动态增益控制,算法能够处理的Sin语音电平范围为0dB
    至-40dB,处理完毕后的语音电平最大值为-2dB,并且在语音最大增益方面做到了
    30dB的增益,这使得sout的语音电平能够做到-2dB至-10dB,同时也使得通过调整AI
    增益来调整sout的音量成了一个很困难的事情,因此GAIN模块在VQE 处理流程中位
    于AGC 模块后端,以实现AI上行通路的音量调节。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/622489.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

c语言实现b树

概述:B 树(B-tree)是一种自平衡的搜索树数据结构,广泛应用于数据库和文件系统等领域。它的设计旨在提供一种高效的插入、删除和查找操作,同时保持树的平衡,确保各个节点的深度相差不大。 B 树的特点包括&a…

怎么使用好爬虫IP代理?爬虫代理IP有哪些使用技巧?

在互联网时代,爬虫技术被广泛应用于数据采集和处理。然而,在使用爬虫技术的过程中,经常会遇到IP被封禁的问题,这给数据采集工作带来了很大的困扰。因此,使用爬虫IP代理成为了解决这个问题的有效方法。本文将介绍如何使…

【redis基础1】基础数据类型详解和应用案例

博客计划 ,我们从redis开始,主要是因为这一块内容的重要性不亚于数据库,但是很多人往往对redis的问题感到陌生,所以我们先来研究一下。 本篇,我们先看一下redis的基础数据类型详解和应用案例。 1.redis概述 以mysql为…

xtu oj 1340 wave

题目描述 一个n列的网格,从(0,0)网格点出发,波形存在平波(从(x,y)到(x1,y)),上升波(从(x,y)到(x1,y1)),下降波(从(x,y)到(x1,y−1))三种波形,请问从(0,0)出发,最终到达(n,0)的不同波形有多少种&#xff1f…

C++PythonC# 三语言OpenCV从零开发(1):环境配置

文章目录 前言课程选择环境配置PythonC#COpenCV官网下载新建C项目测试运行Csharp版Python版 gitee仓库总结 前言 由于老王我想转机器视觉方向的上位机行业,我就打算开始从零学OpenCV。但是目前OpenCV有两个官方语言,C和Pyhont。C# 有大佬做了对应的Open…

vue 自定义网页图标 favicon.ico 和 网页标题

效果预览 1. 添加配置 vue.config.js 在 module.exports { 内添加 // 自定义网页图标pwa: {iconPaths: {favicon32: "./favicon.ico",favicon16: "./favicon.ico",appleTouchIcon: "./favicon.ico",maskIcon: "./favicon.ico",msTil…

memory泄露分析方法(java篇)

#memory泄露主要分为java和native 2种,本文主要介绍java# 测试每天从monkey中筛选出内存超标的app,提单流转到我 首先,辨别内存泄露类型(java,还是native) 从采到的dumpsys_meminfo_pid看java heap&…

【ROS2】使用C++实现简单的发布订阅方

1 构建自定义数据类型 1、自定义消息类型Student 1.1 创建base_interfaces_demo包 1.2 创建Student.msg文件 string name int32 age float64 height 1.2 在cmakeLists.txt中增加如下语句 #增加自定义消息类型的依赖 find_package(rosidl_default_generators REQUIRED) # 为…

基于Java SSM框架实现学生成绩管理系统项目【项目源码+论文说明】

基于java的SSM框架实现学生成绩管理系统演示 摘要 学生成绩是高校人才培养计划的重要组成部分,是实现人才培养目标、培养学生科研能力与创新思维、检验学生综合素质与实践能力的重要手段与综合性实践教学环节。而学生所在学院多采用半手工管理学生成绩的方式&#…

FFmpeg技术详解

FFmpeg技术详解 本文概不介绍相关安装配置,详情请入官方或者其他大佬博客,此处做出推荐: https://ffmpeg.org/ FFmpeg官网 https://ffmpeg.github.net.cn/developer.html FFmpeg中文文档 https://blog.csdn.net/m0_47449768/article/details/…

steam搬砖项目赚钱吗?低门槛副业月入5k真的假的?

steam搬砖项目一开始默默无闻,现在越来越受欢迎,因为大家都看到了该项目的长期稳定性。 steam搬砖项目主要是搬csgo游戏装备和道具,从steam购买,在网易Buff上出售,赚取差价。只需少量投资,即可获得长期稳定…

软件测试|Python requests库的安装和使用指南

简介 requests库是Python中一款流行的HTTP请求库,用于简化HTTP请求的发送和处理,也是我们在使用Python做接口自动化测试时,最常用的第三方库。本文将介绍如何安装和使用requests库,以及一些常见的用例示例。 安装requests库 首…

Python Matplotlib 动画教程:提高可视化吸引力的强大工具【第24篇—python:Matplotlib】

文章目录 🍖 方法一:使用pause()函数🚀 方法二:使用FuncAnimation()函数🥋 线性图动画:🎻 Python中的条形图追赶动画🌌 Python中的散点图动画:🛹 条形图追赶的…

Java Web项目中 JSP 访问问题

一、名词说明: 1、JSP 文件一般有两个存放位置 (1)webapp 的 WEB-INF目录中 (2)webapp 目录中 其中 存放在 WEB-INF 被成为 安全目录 安全目录:就是客户端无法访问,只有服务端可以访问的…

day01

文章目录 创建Vue实例插值表达式响应式数据常见标签v-htmlv-show v-ifv-if v-else-if v-elsev-onv-bindv-forv-model 综合案例 创建Vue实例 <!--创建Vue实例&#xff0c;初始化渲染1. 准备容器2. 引包&#xff08;官网&#xff09; — 开发版本/生产版本3. 创建Vue实例 ne…

Maven《一》-- 一文带你快速了解Maven

目录 &#x1f436;1.1 为什么使用Maven 1. Mavan是一个依赖管理工具 ①jar包的规模 ②jar包的来源问题 ③jar包的导入问题 ④jar包之间的依赖 2. Mavan是一个构建工具 ①你没有注意过的构建 ②脱离IDE环境仍需构建 3. 结论 &#x1f436;1.2 什么是Maven &#x…

感知机(二分类模型)

目录 1.感知机计算预测值&#xff1a;2.感知机训练&#xff1a;3.损失函数&#xff1a;4.多层感知机&#xff1a;5.单隐藏层的多层感知机代码实现&#xff1a; 1.感知机计算预测值&#xff1a; 训练结果只有1、-1&#xff0c;故正负相同训练正确&#xff0c;正负相反即训练错误…

【DB】MySQL版本5.7和8的区别,以及升级的注意事项

文章目录 1、MySQL版本5.7和8的区别2、MySQL 5.7升级8 1、MySQL版本5.7和8的区别 在数据库管理系统中&#xff0c;MySQL是一个广泛使用、开源的解决方案。它提供了强大的功能&#xff0c;同时具有优秀的性能和可扩展性。 MySQL 5的发布于2005年&#xff0c;在MySQL数据库的发…

实体企业品牌推广之困与解:迅腾文化如何助力企业“显”化品牌价值

在数字化浪潮的冲击下&#xff0c;许多实体企业面临着品牌推广的困境。由于缺乏系统的经验和网络资源的积累&#xff0c;这些企业在品牌推广过程中有很大提升空间。如何以低成本的方式有效推广品牌&#xff0c;成为了实体企业亟待解决的问题。迅腾文化从策略到设计&#xff0c;…

Linux第26步_在虚拟机中安装stm32wrapper4dbg工具

在Ubuntu下编译TF-A 或者 Uboot时&#xff0c;我们需要用到ST公司提供的stm32wrapper4dbg工具。stm32wrapper4dbg工具的源码下载地址为: GitHub - STMicroelectronics/stm32wrapper4dbg 记得我们在前面已经创建过的目录如下&#xff1a; 1&#xff09;、在根目录下&#xf…