2018年，谷歌发布了BERT（来自transformers的双向编码器表示），这是一种预训练的语言模型，在一系列自然语言处理（NLP）任务中对SOTA结果进行评分，并彻底改变了研究领域。类似的基于变压器的模型，如Open AI的GPT-2和百度的ERNIE也紧随其后。2019年10月，Facebook AI推出了BART，这是一种新的文本生成和理解预训练模型，使用双向和自回归方法。
现在，Facebook AI研究人员通过引入mBART进一步开发了BART模型，他们说这是第一种方法，通过对多种语言的全文进行去噪以进行机器翻译，从而预训练完整的序列到序列模型。
机器翻译可以简要描述为自动将一种语言的文本转换为另一种语言。对于大多数当前的机器翻译方法，只能对某些模型组件进行预训练，例如编码器和解码器。功能也很有限，因为大多数模型只能重建部分文本或只关注英语语料库。Facebook AI研究小组提出的新方法显示，由于添加了预训练的自回归模型，跨多种语言的翻译性能显着提高。
对于任何预训练的模型，“预训练”过程的质量至关重要。Facebook研究人员使用了从25种语言的通用爬行语料库（CC25）中提取的数据集作为子集，并根据CC25中每种语言的百分比进行了上/下采样。然后，使用句子片段模型（SPM）对文本语料库进行标记化，该模型实现了子单词单元，并扩展了行语句的直接训练。
在不同的语言集上预训练了具有12个编码器层和12个解码器层的BART模型。最终的模型被命名为mBARTNum，其中“Num”表示用于训练的语言数量；以及Random，这是一个在没有预训练的情况下随机初始化的基线模型。
然后，通过将源语言输入编码器并解码目标语言，对这些预训练模型在24对公开可用的并行语料库上分别进行微调。模型的机器翻译质量是根据微调的BLEU评分（双语评估替补）进行评估的，该评分是通过将句子级机器翻译结果与一组人工参考翻译进行比较来计算的。
结果肯定是有希望的，因为mBART25模型的表现明显优于随机模型。一个有趣的观察结果是，当用于微调的数据集超过2500万个并行句子时，这会“损害”模型的性能。研究人员怀疑，监督训练可能会“洗掉”预训练的好处。
除了直接BLEU测试外，研究人员还通过计算回译（将目标语言翻译回源语言）的BLEU分数来评估模型的翻译能力。这些结果也提供了信息，因为BLEU分数显示整个回译过程中句子翻译质量有所提高。
与现有型号相比，新的 mBART 模型具有许多优势。在预训练步骤中，mBART 使用所有可能的语言进行训练，这提供了一组参数，可以针对任何训练形式的任何未来语言对进行微调，包括有监督和无监督。预训练步骤还减少了未来的训练和微调步骤成本——尽管预训练步骤本身很昂贵。
在未来的工作中，研究人员计划扩大语言库，并通过合并更多语言的训练数据集来进行大规模的预训练。
论文《神经机器翻译的多语言去噪预训练》发表在arXiv上。
)
