Arxiv: https://arxiv.org/abs/1910.13461
一个去噪自编码器的预训练序列到序列的模型。是一个结合了双向和自回归transformers的模型。
预训练分为两个阶段:任意噪声函数破坏文本和序列模型重建原始文本
一、模型
input:被破坏的文本-->bidirectional encoder-->left-to-right autoregressive decoder-->output
标准transformers模型,encoder 6层,decoder 12层
其他细节:激活函数把ReLU换成GeLUs
1、预训练:
允许输入任意类型噪声破坏的文本,极端情况下,如果任意信息都丢失,BART等同于语言模型。
Token Masking:和BERT一样
Token Deletion:随机抽取到的token删除(Token Masking是抽取到的token用mask代替,这个是随机抽取到的token删除),模型可以学习到什么位置的token丢失了
Text Infilling:对多个文本跨度进行采样,跨度长度取自泊松分布,可以教模型预测一个跨度中缺少多少tokens
Sentence Permutation:文章句子打乱顺序
Document Rotation:文章中随机找到一个token,将文章翻转,以该token作为文章的开头
2、微调:
各下游任务微调
二、Loss:交叉熵