文章目录
- 1. Wav2Vec 2.0
- 2. Whisper
- 2. WeNet
1. Wav2Vec 2.0
由Facebook AI Research(FAIR)于2020年提出的在语音方向里具有一定影响力的预训练模型。
论文地址:https://arxiv.org/pdf/2006.11477.pdf
项目地址:https://github.com/pytorch/fairseq
训练数据:62万小时未标注数据
结构:由FeatureEncoder和Encoder两个模块组成。
其中FeatureEncoder由7层卷机结构组成,Encoder就是Transformer。
乘积量化:把原来连续的特征空间假设是d维,拆分成G个子空间(codebook),每个子空间维度是d/G。然后分别在每个子空间里面聚类,一共获得V个中心和其中心特征。每个类别的特征用其中心特征代替。这样原来d维的连续空间,坍缩成了有限离线的空间[GxV],其可能的特征种类数就只有G*V个。
损失函数:由对比损失和多样性损失两部分构成。
虽然无监督预训练能产生高质量的语音表征,但它学不到语音到文本的映射,要学到语音到文本的映射只能靠微调