RoBERTa：更大更多更强
今天分享一个Bert的改进工作RoBERTa。RoBERTa是训练充分的Bert。
主要掌握以下几点，与Bert相比较，RoBERTa预训练的时候：
- 动态掩码：comparable or slightly better
- 去掉NSP任务并且更改数据输入格式为全部填充可以跨越多个文档
- 更多数据，更大bsz，更多的步数，更长训练时间
1. 动态掩码
首先明确Bert使用的是静态掩码。但是这样会存在一个现象，比如我训练40个epoches，那么每次epoches都是使用同一批数据。
这其实不是什么大问题，我们在深度学习训练模型的时候，每个epoches基本都没咋变过。
不过对于Bert，其实本质是一个自监督模型。每次的训练输入如果是不同的，对于模型肯定是更好的。
比如我们句子为：今天去哪里吃饭啊？
mask之后为：今天去哪里[mask]饭啊？
每次训练使用同一个mask样本，那么模型见得就少。
如果换一个mask：[mask]天去哪里吃饭啊？
模型对于同一个句子，在预测不同的单词，那么模型对句子的表达能力直觉上肯定是会上升的。
所以为了缓解这种静态掩码的问题，Bert的操作是这样的：
复制原始样本10份，每份都做不同的静
)
