深度伪造音频普遍检测的Codecfake数据集和对策

基于音频语言模型（ALM）的深度伪造音频的扩散，出现了对其负面影响的担忧。如，这项技术可能被用于传播错误信息和虚假新闻，迫切需要有效的检测方法。与通常涉及多步骤过程并以声码器使用结束的传统深度伪造音频生成不同，ALM直接利用神经编解码方法将离散代码解码成音频。此外，由于大规模数据的驱动，ALM展现出显著的鲁棒性和多功能性，为当前的音频深度伪造检测（ADD）模型带来了重大挑战。为了有效检测基于ALM的深度伪造音频，我们从以下三个维度进行优化：

专注于ALM基于音频生成方法的机制，即从神经编解码到波形的转换。
构建Codecfake数据集（开源的大规模数据集），包括两种语言、百万级的音频样本以及各种测试条件，专为基于ALM的音频检测量身定制。
提出CSAM策略，实现深度伪造音频的通用检测并解决原始SAM的领域上升偏差问题。

1、Codecfake数据集

Codecfake数据集包含两种语言：英语和中文，共包含1,058,216个音频样本。其中，英语数据来自VCTK数据集，包含248,031个样本；中文数据来自AISHELL3数据集，包含492,716个样本。此外，训练集共包含740,747个样本，验证集共包含92,596个样本，测试集共包含224,873个样本。因此，Codecfake数据集总共包含超过一百万个音频样本。

音频采样率：Codecfake数据集中的音频采样率主要使用16kHz和24kHz。具体来说，SoundStream、SpeechTokenizer和FuncCodec使用16kHz的采样率，而Encodec、AudioDec、AcademicCodec和DAC使用24kHz的采样率。
标签及标注：Codecfake数据集提供了真实的标签，用来指示每个样本是真实音频还是伪造音频。

2、如何使用Codecfake数据集，用Python代码来下载和加载数据集

import os

import requests

import zipfile

# 下载数据集

dataset_url = 'https://zenodo.org/record/5307883/files/codecfake_dataset.zip?download=1'

dataset_path = 'codecfake_dataset.zip'

if not os.path.exists(dataset_path):

response = requests.get(dataset_url, stream=True)

with open(dataset_path, 'wb') as file:

for chunk in response.iter_content(chunk_size=1024):

if chunk:

file.write(chunk)

# 加载数据集

with zipfile.ZipFile(dataset_path, 'r') as zip_ref:

zip_ref.extractall('./codecfake_dataset')

# 此时，您可以加载数据集中的文件并进行相关的分析和处理。

3、CSAM策略

CSAM（Co-Training Sharpness Aware Minimization）策略是一种用于提高音频深度伪造检测（ADD）模型泛化能力的方法。CSAM策略的核心是在共训练（Co-Training）过程中应用Sharpness Aware Minimization（SAM）的思想，同时解决由于数据集大小不平衡和领域特定伪影导致的领域上升偏差问题。

3.1 CSAM策略的动机

共训练：共训练是指同时使用来自多个领域的数据进行模型训练，以提高模型在不同领域的泛化能力。

SAM：SAM是一种优化方法，用于在非凸优化问题中寻找一个平坦且泛化的最小值。它通过最大化损失函数的梯度来寻找上升方向，从而避免模型陷入过拟合的训练集所对应的尖锐最小值。

领域上升偏差：在共训练过程中，由于不同领域数据量的不平衡，模型可能会偏向于学习数据量较大的领域的特征，而忽略数据量较小的领域。

3.2 CSAM策略的关键点

数据采样器：CSAM定义了一个特定的数据采样器，根据数据集的比例确保每个领域在每个mini-batch中都被均匀地采样。

损失函数计算：在每个mini-batch中，CSAM计算损失函数时，会确保每个领域都根据其数据量比例被随机采样，从而使得上升方向向量在每个mini-batch计算中都包含来自每个领域的梯度。

优化过程：CSAM通过这种方式优化经验风险最小化（ERM）的同时，学习到一个平坦的最小值区域，从而提高了模型在看不见的领域（OOD）上的泛化能力。

3.3 CSAM策略的实现

在实现CSAM策略时，需要考虑以下几点：

数据集的划分：确保共训练的数据集中每个领域都有代表。
mini-batch的构建：在构建每个mini-batch时，根据数据集的比例随机采样数据，以避免领域上升偏差。
损失函数的优化：使用SAM的优化方法来寻找一个平坦的最小值，同时在共训练过程中保持领域之间的平衡。

4、三种用于音频深度伪造检测（ADD）的基线模型

Mel-LCNN：这个模型使用Mel-spectrogram（梅尔频谱图）作为前端特征，然后通过轻量级的基于卷积的网络LCNN（Light Convolutional Neural Network）进行处理。LCNN是一个专为音频信号设计的卷积神经网络，它包含一个特定的MFM（Mel-Frequency Magnitudes）层，用于有效筛选有助于验证的特征通道。

W2V2-LCNN：这个模型同样使用Mel-spectrogram作为输入，但前端特征是通过预训练的wav2vec2-XLS-R模型获得的1024维隐藏状态。这些状态被用作LCNN的输入，以利用wav2vec2-XLS-R的强大特征表示能力。

W2V2-AASIST：这个模型使用wav2vec2-XLS-R模型的预训练隐藏状态作为特征，但背骨网络（Backbone network）使用的是AASIST，这是一个在音频深度伪造检测领域中最先进的网络之一。AASIST引入了一种新颖的异构堆叠图注意力层，该层使用异构注意力机制和堆叠节点来模拟不同时间和频域上的特征。