【音频】Glitch、降噪相关

背景

因为要判断低码率下，MOS分值为啥下降，从几个方面调查。其中提及到Glitch、缓冲buffer等，慢慢积累名次概念以及经验。

“Glitch” 在音频领域通常指的是非预期的、短暂的干扰或失真。这些问题可能由于信号传输错误、设备问题、软件错误等引起。处理音频
glitch 的具体方法取决于问题的根本原因。

以下是一些可能的算法和处理方法：

波形插值（Waveform Interpolation）： 通过在 glitch 区域内对波形进行插值，尝试平滑过渡，减少突变。这在一些情况下可能有助于减轻失真。
波形剪裁（Waveform Clipping）： 如果 glitch 是由于波形超出正常范围导致的，可以考虑剪裁超出范围的部分，使其回到正常范围。
交叉淡入淡出（Crossfade）： 在 glitch 区域的两侧应用交叉淡入淡出，平滑过渡，减少突变的感觉。
重采样（Resampling）： 尝试将 glitch 区域的采样率进行调整，有时这可以减轻某些类型的干扰。
去噪（Noise Reduction）： 如果 glitch 是由于噪声引起的，可以尝试应用去噪算法，将噪声成分降低。
音频重建（Audio Reconstruction）： 在某些情况下，可以尝试使用音频重建算法，通过从周围的音频数据中推断并填充 glitch 区域。
重新采样和量化（Resampling and Quantization）： 重新采样和量化算法可以尝试修复由于采样和量化错误导致的 glitch。
检测与修复（Detection and Repair）： 使用算法检测 glitch 区域，然后根据检测到的问题类型应用相应的修复算法。
软件修复工具： 一些音频编辑软件和数字音频工作站（DAW）提供了专门用于修复 glitch 的工具和插件。

处理 glitch 可能是一项复杂的任务，因为它取决于具体的音频文件和问题的性质。在进行处理之前，最好备份原始音频文件，以防意外损坏。

“Choppy”
是一个用于描述音频或视频体验的术语，通常指的是媒体播放过程中的不流畅或卡顿现象。具体表现为声音断断续续或图像播放时出现卡顿。

在音频中，“choppy” 可能指的是声音的中断或跳跃，导致听起来不连贯或有间歇性的干扰。

在视频中，“choppy” 可能表示图像播放时的不流畅，可能由于帧率低、网络问题、硬件性能不足或其他因素引起。

当面临音视频播放过程中的 “choppy” 问题时，可以考虑以下一些常见的解决方法：

调整媒体播放参数：
- 帧率调整： 确保媒体文件的帧率与播放设备/应用的帧率兼容。不同的设备和应用可能对帧率有不同的要求。
- 分辨率调整： 降低媒体文件的分辨率，以减轻对硬件资源的压力。
优化网络连接：
- 网络带宽： 如果是在线媒体流，确保网络带宽足够支持流畅的播放。低网络带宽可能导致视频缓冲或加载时间过长。
- 网络稳定性： 确保网络连接稳定，避免丢包或波动。
更新硬件驱动程序：
- 显卡驱动程序： 更新显卡驱动程序，以确保与媒体播放应用的兼容性。
- 音频驱动程序： 确保音频设备的驱动程序是最新的，以解决音频播放中的问题。
关闭其他应用程序：
- 关闭同时运行的其他应用程序，以释放系统资源，确保媒体播放应用能够获得足够的计算资源。
使用专业的媒体播放器：
- 使用经过优化的媒体播放器，如VLC、MPC-HC等，它们通常对各种媒体格式和参数有更好的支持。
检查硬件性能：
- 检查计算机或移动设备的硬件性能，确保其足够处理高分辨率或高比特率的媒体文件。
调整应用设置：
- 根据具体的媒体播放应用，检查和调整应用的相关设置，可能有一些参数可以优化播放性能。

除硬件降噪、软件降噪、WebRTC 3A（Acoustic Echo Cancellation、Automatic Gain
Control、Automatic Noise Suppression）和SFU（Selective Forwarding
Unit）算法之外，还有一些其他常见的音视频降噪方法和技术：

故障检测和排除（Fault Detection and Diagnostics，FDD）： 通过监测设备的状态和性能，及时检测到硬件或软件的故障，并进行自动排除。
深度神经网络（Deep Neural Networks，DNN）： 利用深度学习中的深度神经网络来进行高级的音视频降噪，通过训练网络模型学习信号中的噪音特征。
主动噪音控制（Active Noise Control，ANC）： ANC 使用反向的噪音波形来抵消环境中的噪音，从而实现噪音的抑制。
环境噪音监测和适应（Environmental Noise Monitoring and Adaptation）： 根据环境中的噪音水平动态调整降噪算法参数，以适应不同的环境条件。
麦克风阵列技术（Microphone Array）： 使用多个麦克风的阵列，通过对声音信号的多通道处理来提高语音信号的质量和降低噪音。
增强现实（Augmented Reality，AR）： 在音视频通信中应用AR技术，通过虚拟场景和对象的添加，减轻用户对真实环境中噪音的感知。
网络降噪： 在音视频传输中，通过网络优化、丢包重传等技术来减少网络引入的噪音和抖动。
声源定位和追踪（Sound Source Localization and Tracking）： 通过检测声音源的方向和位置，有助于集中处理目标声源，减少环境噪音的影响。