零基础入门多媒体音频(1)-音频基础

声音的本质是波动,波形图能直观体现声音的特征。我们常用于描述音频的属性有下面这些:
1.采样率:声音中每秒包含的采样点个数。
2.位宽:每个采样点需要多少个bit进行存储。
3.声道数:声音进行回放需要喇叭的个数。
4.频率:声波每秒中包含的周期数。
5.周期:声波两个波峰之间的时间差。
我们看到的波形图一般都是连续的,但在计算机中用于描述声音的是离散的点,连续的波形是通过对这些离散的点进行插值得到。这些点就是常说的采样点。

做音频领域的开发经常能看到PCM这个词。PCM指的是数据脉冲编码调制。具体定义可以从网络上获取,很好理解。一句话概括就是将模拟信号的声音直接编码成数字信号,最原始的音频数据。从软件角度看,PCM数据就是能直接进行播放的最基础的音频格式。与PCM格式相对应的是各种编码格式。包括DDP,DD,AAC,MP3,DTS,AVS3-P3.

当我们知道一段音频 PCM数据的数据量(bytes),声道数(channels),位宽(bitwidth),采样率(samplerate)时,
就可以计算出这段音频数据能播放多长时间。播放时长time = bytes / (bitwidth / 8) / samplerate / channels.
播放时长主要可以用于以下这两种场景:

1.判断数据发送端是否欠载:若数据发送端在时间time_real发送到数据接收端的音频PCM数据对应的时长time_data存在下面的情况时,则数据发送端发送数据不及时。time_real > time_data。

2.算法处理性能不足:若算法处理模块处理一段时长time_data的音频数据花费time_alg存在下面的情况时,则算法性能不足。time_alg > time_data。

我们不仅要知道播放时长的用途,还需要知道这背后的原理。播放一条特定的码流,硬件需要根据采样率,位宽,声道数进行配置,然后按照相应的速率进行数据的传输,转化。也就是硬件会在时长time内消耗掉bytes的数据量。为什么要按照这个速率处理呢?数据的录制媏就是按照这个进行数据录制的。如果播放媏数据输出太快,听到的声音就是加速播放的效果。反之,则是低速播放效果。因为硬件播放媏以恒定速度进行数据的处理,那么整个软件处理通路也必须保持相对稳定的数据处理速度。考虑到CPU调度的波动性,软件处理是不可能维持恒定处理速度。可以通过在不同处理节点增加缓存buffer进行抗抖动处理。(CPU调度不及时,则数据缓存至buffer。获得CPU调度时,则尽快消耗buffer里面的数据。在宏观层面上达到一个稳定的处理速度)

音频名词介绍:
merge:多路音频数据拼凑成一路音频数据,总数据量不变。
mix:多路音频数据混音成一路音频数据,总数据量减倍。
slot:一路TDM音频输出
BE:back end 一路硬件音频输出
FE:front end 一路软件音频输入

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/761172.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

智慧交通运维合集:基于图扑数字孪生技术的解决方案

城市交通作为城市与区域交通体系的核心,其完善程度和发展水平是评价城市现代化水准的关键指标之一。 城市交通数字孪生技术正在成为城市交通管理的关键工具,支持系统的高效运行和安全保障。随着互联网、大数据和人工智能技术的进步,城市交通…

LLM—Transformer作用及信息流

一、Transformer的作用 Transformer架构的精髓在于其创新性地采用了编码器与解码器的堆叠设计,这一设计巧妙地融合了多头自注意力机制(Multi-Head Attention)和位置前馈网络(Position-wise Feed Forward Network)两大核…

【Memcached】springBoot 集成 memcached 两万字长文带你认识memcached

目录 一、 memcached 介绍1.1 简介1.2 特性1.3 优点1.4 缺点1.5 实现原理1.6 适用场景1.7 不适用场景1.8 与 Redis 比较相同点1.9 与 Redis 比较不同点 二、对 java 的支持2.1 Memcached-java-client 客户端2.2 Spymemcached 客户端2.3 XMemcached 客户端 三、下载安装3.1 wind…

美易官方:美股维持涨势,三大股指再创新高

在今日的早盘交易中,美股市场继续维持其涨势,三大股指再次刷新历史纪录。市场信心受到一系列积极经济数据的支撑,投资者对未来的经济增长和企业盈利保持乐观态度。 首先,让我们来看一下道琼斯工业平均指数的表现。该指数在早盘交易…

[实践经验]: visual studio code 实用技巧

目录 editor rulers 这里主要总结一些常用的VScode技巧,不定时更新… editor rulers 设置 -> 搜索 editor.rulers -> edit in settings.json "editor.rulers": [{"column": 80,"color": "#ff00FF"},]效果如图

【概念验证(POC):技术项目开发的关键一步】

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航 檀越剑指大厂系列:全面总结 jav…

Python脚本:用py处理PDF的五大功能

一、代码 【第三方库】3个 【Py版本】3.9 【使用前提】关闭所有的word文档 import os from datetime import datetime from docx2pdf import convert from pdf2docx import parse from PyPDF2 import PdfMerger from PyPDF2 import PdfReader,PdfWriter#将文件夹中的所有Wo…

GANs生成实例

利用生成对抗网络(GANs)进行图像生成的一个著名实例是深度卷积生成对抗网络(DCGAN)。DCGAN是一种简化版的GANs,它被广泛用于生成逼真的图像。以下是一个简化的DCGAN模型结构: 生成器(Generator…

【目标检测-复制粘贴数据增强】

复制粘贴数据增强 在目标检测、分类和分割任务中,复制粘贴数据增强(Copy-Paste Data Augmentation)是一种创新的数据增广技术,它通过将训练集中的一部分物体实例复制并粘贴到其他图像的合理位置上,以生成新的训练样本…

Linux:网络的初步认知

文章目录 网络的认知如何理解协议网络分层OSI模型TCP/IP五层(或四层)模型网络传输的基本流程协议的参与局域网通信原理 本篇将会引入到网络的话题 网络的认知 第一个问题是,网卡是文件吗?答案是显然的,在Linux下一切皆文件,基于…

29-1 webshell 管理上

一、什么是webshell? WebShell是一种以asp、aspx、php、jsp或者cgi等网页文件形式存在的命令执行环境,也可称为一种网页后门。在发现Web站点漏洞后,攻击者通常会利用这些漏洞上传WebShell程序,从而实现对目标站点的控制。"Web"指的是万维网,而"Shell"…

Trait与生命周期

原文链接:(*∇`*) 咦,又好了~ Rust – xiaocr_bloghttp://www.xiaocr.fun/index.php/2024/03/18/trait%E4%B8%8E%E7%94%9F%E5%91%BD%E5%91%A8%E6%9C%9F/ 目录 Trait 定义trait 默认实现 trait作为参数 Trait Bound语法 通过指定多个 trait bound …

opengl日记12-opengl坐标系统

文章目录 环境代码CMakeLists.txtvertexShaderSource.vsmain.cpp 总结 环境 系统&#xff1a;ubuntu20.04opengl版本&#xff1a;4.6glfw版本&#xff1a;3.3glad版本&#xff1a;4.6cmake版本&#xff1a;3.16.3gcc版本&#xff1a;10.3.0 在<opengl学习日记11-opengl的t…

2024年旅游卡代理好做嘛?浅析旅游卡加盟项目的发展前景

旅游卡代理作为一种新型的旅游消费方式&#xff0c;近年来备受瞩目。其中&#xff0c;千益畅行共享旅游卡作为旅游卡代理市场的一员&#xff0c;其便捷性和实用性得到了广大消费者的认可。那么&#xff0c;旅游卡代理究竟好做吗&#xff1f;千益畅行共享旅游卡的发展前景又如何…

【Caddy】 Ubuntu 下卸载 Caddy

要在 Ubuntu 下卸载 Caddy&#xff0c;你可以按照以下步骤进行&#xff1a; 步骤一&#xff1a;停止 Caddy 服务 首先&#xff0c;停止正在运行的 Caddy 服务&#xff1a; sudo systemctl stop caddy步骤二&#xff1a;卸载 Caddy 软件包 执行以下命令卸载 Caddy 软件包&am…

【算法】差分、前缀和(重新排序)

给定一个数组 A和一些查询 Li,Ri&#xff0c;求数组中第 Li 至第 Ri个元素之和。 小蓝觉得这个问题很无聊&#xff0c;于是他想重新排列一下数组&#xff0c;使得最终每个查询结果的和尽可能地大。 小蓝想知道相比原数组&#xff0c;所有查询结果的总和最多可以增加多少? 输…

Java 什么时候类会被加载?

Java 什么时候类会被加载&#xff1f; 题目 Java 什么时候类会被加载&#xff1f; 推荐解析 1&#xff09;创建类的实例&#xff0c;也就是 new 一个对象 public class Test {public static void main(String[] args) {MyClass obj new MyClass(); // 通过new关键字实例化…

多语言LLM的状态:超越英语

多语言大语言模型的发展现状&#xff1a;超越英语 引言 据微软研究院的数据显示&#xff0c;世界上大约88%的语言&#xff0c;即12亿人的母语&#xff0c;缺乏对大型语言模型&#xff08;LLM&#xff09;的访问。这是因为大多数LLM都是以英语为中心的&#xff0c;即它们大多是…

Java:接口

目录 1.接口的概念2.接口的语法规则3.接口使用4.接口的特性5.实现多个接口6.接口中的继承7.抽象类和接口的区别 1.接口的概念 在现实生活中&#xff0c;接口的例子比比皆是&#xff0c;比如&#xff1a;笔记本上的USB口&#xff0c;电源插座等。 电脑的USB口上&#xff0c;可以…

pycorrector检测OCR错字实践

参考&#xff1a;https://github.com/shibing624/pycorrector/tree/master/examples/macbert stopwords.txt 添加专业停用词&#xff0c;避免错误 设置自定义词典&#xff0c;避免将正确的词错误检测成错误的词 from pycorrector import Corrector m Corrector() m.set_cus…