AI视野·今日CS.Sound 声学论文速览
Mon, 4 Mar 2024
Totally 6 papers
👉上期速览✈更多精彩请移步主页
Daily Sound Papers
| VoxGenesis: Unsupervised Discovery of Latent Speaker Manifold for Speech Synthesis Authors Weiwei Lin, Chenhang He, Man Wai Mak, Jiachen Lian, Kong Aik Lee 实现对人类声音细致入微且准确的模拟一直是人工智能的长期目标。尽管近年来取得了重大进展，但语音合成模型的主流仍然依赖于有监督的说话人建模和显式参考话语。然而，人类声音的很多方面，如情感、语调、说话风格等，很难获得准确的标签。在本文中，我们提出了 VoxGenesis，一种新颖的无监督语音合成框架，可以在没有监督的情况下发现潜在的说话人流形和有意义的语音编辑方向。 VoxGenesis 在概念上很简单。 VoxGenesis 不是将语音特征确定性地映射到波形，而是将高斯分布转换为由语义标记调节和对齐的语音分布。这迫使模型学习与语义内容分离的说话人分布。在推理过程中，从高斯分布中采样可以创建具有独特特征的新颖扬声器。更重要的是，对潜在空间的探索揭示了与特定说话者特征（例如性别属性、音调、语气和情感）相关的人类可解释的方向，允许通过沿着这些识别的方向操纵潜在代码来进行语音编辑。我们进行了大量的实验，使用主观和客观指标来评估所提出的 VoxGenesis，发现它比以前的方法产生了更加多样化和现实的、具有独特特征的扬声器。我们还表明，潜在空间操纵会产生一致的、人类可识别的效果，并且不会损害语音质量，这是以前的方法不可能实现的。 |
| The Impact of Frequency Bands on Acoustic Anomaly Detection of Machines using Deep Learning Based Model Authors Tin Nguyen, Lam Pham, Phat Lam, Dat Ngo, Hieu Tang, Alexander Schindler 在本文中，我们提出了一种基于深度学习的机器声学异常检测模型，即通过分析机器声音来检测异常机器的任务。通过大量的实验，我们表明以特征工程为主的伪音频、音频分段、数据增强、马哈拉诺比斯距离和窄频带等多种技术可以有效提高系统性能。在评估技术中，窄频带具有显着的影响。事实上，我们提出的模型专注于窄频带，在 DCASE 2022 任务 2 开发集的基准数据集上优于 DCASE 基线。 |
| Post-decoder Biasing for End-to-End Speech Recognition of Multi-turn Medical Interview Authors Heyang Liu, Yu Wang, Yanfeng Wang 端到端 E2E 方法正在逐渐取代自动语音识别 ASR 任务的混合模型。然而，E2E模型的优化缺乏直观的方法来处理解码移位，特别是在具有大量具有特定重要含义的特定领域稀有词的场景中。此外，学术界缺乏知识密集型语音数据集一直是一个重要的限制因素，常用的语音语料库与现实对话表现出显着差异。为了应对这些挑战，我们提出了 Medical Interview MED IT，这是一个多轮咨询语音数据集，其中包含大量知识密集型命名实体。我们还探索了增强端到端模型稀有词识别性能的方法。我们提出了一种新颖的方法，即解码器后偏置，它根据训练转录的分布构建变换概率矩阵。这引导模型优先识别偏差列表中的单词。 |
| Efficient Adapter Tuning of Pre-trained Speech Models for Automatic Speaker Verification Authors Mufan Sang, John H.L. Hansen 凭借出色的泛化能力，自监督语音模型在预训练和微调范式中的各种下游语音任务中表现出了令人印象深刻的性能。然而，随着预训练模型规模的不断增大，由于大量的计算和存储开销以及过度拟合的风险，微调实际上变得不可行。适配器是插入预先训练的模型中的轻量级模块，以促进参数高效适应。在本文中，我们提出了一种有效的适配器框架，旨在使自监督语音模型适应说话人验证任务。通过并行适配器设计，我们提出的框架将两种类型的适配器插入到预先训练的模型中，从而允许调整中间 Transformer 层中的潜在特征和所有 Transformer 层的输出嵌入。我们进行了全面的实验来验证所提出框架的效率和有效性。 |
| CustomListener: Text-guided Responsive Interaction for User-friendly Listening Head Generation Authors Xi Liu, Ying Guo, Cheng Zhen, Tong Li, Yingying Ao, Pengfei Yan 听者头部生成旨在通过对说话者和听者之间动态转换的相关性进行建模来合成非语言响应的听者头部。听者代理生成在虚拟交互中的应用推动了许多实现多样化和细粒度运动生成的工作。然而，他们只能通过简单的情感标签来操纵动作，而无法自由地控制听者的动作。由于侦听器代理应该具有类似人类的属性，例如用户可以自由定制身份、个性，这限制了它们的真实性。在本文中，我们提出了一个名为 CustomListener 的用户友好框架，以实现自由格式文本优先引导侦听器生成。为了实现说话者听众的协调，我们设计了一个静态到动态肖像模块SDP，它与说话者信息交互，将静态文本转换为具有完成节奏和幅度信息的动态肖像标记。为了实现片段之间的连贯性，我们设计了过去引导生成模块PGG，通过运动先验保持定制听众属性的一致性，并利用基于肖像标记和运动先验的扩散结构来实现可控生成。为了训练和评估我们的模型，我们构建了两个基于 ViCo 和 RealTalk 的文本注释听力头数据集，它们提供文本视频配对标签。 |
| Transcription and translation of videos using fine-tuned XLSR Wav2Vec2 on custom dataset and mBART Authors Aniket Tathe, Anand Kamble, Suyash Kumbharkar, Atharva Bhandare, Anirban C. Mitra 这项研究解决了用最少的数据训练个性化语音 ASR 模型的挑战。我们仅利用 YouTube 视频中 14 分钟的自定义音频，采用基于检索的语音转换 RVC 来创建自定义 Common Voice 16.0 语料库。随后，跨语言自监督表示 XLSR Wav2Vec2 模型在此数据集上进行了微调。开发的基于 Web 的 GUI 可以有效地转录和翻译输入的印地语视频。 |
| Chinese Abs From Machine Translation |
Papers from arxiv.org
更多精彩请移步主页
pic from pexels.com
