pytorch微调bert_小版BERT也能出奇迹：最火的预训练语言库探索小巧之路

选自Medium

作者：Victor Sanh

机器之心编译

参与：魔王

过去一段时间，大模型层出不穷。在大家纷纷感叹「大力出奇迹」的时候，作为调用预训练语言模型最流行的库，HuggingFace 尝试用更少的参数量、更少的训练资源实现同等的性能，于是知识蒸馏版 BERT——DistilBERT 应运而生！

近日，HuggingFace 发布了 NLP transformer 模型——DistilBERT，该模型与 BERT 的架构类似，不过它仅使用了 6600 万参数(区别于 BERT_base 的 1.1 亿参数)，却在 GLUE 基准上实现了后者 95% 的性能。

在过去 18 个月中，基于大规模语言模型的迁移学习显著提升了自然语言处理任务的 SOTA 成绩。这些预训练语言模型通常基于 Vaswani 等人提出的 Transformer 架构，这些模型的规模越来越大，训练数据集的规模也越来越大。最近英伟达提出的预训练语言模型拥有 83 亿参数：是 BERT-large 参数量的 24 倍、GPT-2 参数量的 5 倍。而 Facebook AI 最近提出的 RoBERTa 模型在 160GB 文本上训练得到。

社区中的一些人质疑训练越来越大 Transformer 的必要性，尤其是考虑到训练的资金成本和环境成本时。该图展示了部分近期大模型及其参数量。

Hugging Face 直接体会到这些模型的流行度，因为其预训练语言库(包含这些模型中的大部分)在近几个月的安装量超过 40 万次。

NLP 库地址：https://github.com/huggingface/pytorch-transformers

然而，尽管这些模型被更大的 NLP 社区接受，一个重要且有挑战性的问题出现了。如何将这些庞然大物投入到生产中？如何在低延迟约束下使用这些大模型？我们需要用(昂贵的)GPU 服务器执行大规模服务吗？

为了构建更尊重隐私的系统，Hugging Face 注意到在边缘设备上运行机器学习系统的需求在不断增长，而不是调用云 API，将隐私数据发往服务器。在智能手机等设备上运行的模型需要是轻量级、响应快和能源利用率高的！

最后但同样重要的一点，Hugging Face 越来越担忧这些大模型所需的指数级计算成本增长。

有很多技术可以解决前述问题。最常见的工具是量化(使用更小精度逼近全精度模型)和权重剪枝(移除网络中的部分连接)。想了解更多，可以查看这篇关于 BERT 量化的精彩博客：https://blog.rasa.com/compressing-bert-for-faster-prediction-2/。

Hugging Face 的研究者决定把重点放在知识蒸馏(distillation)上。蒸馏即，将较大模型(教师模型)压缩成较小模型(学生模型)的方法。

知识蒸馏：迁移泛化能力

知识蒸馏是一种模型压缩方法，又叫师生学习(teacher-student learning)。它训练一个小模型，使之复制大模型(或模型集成)的行为。知识蒸馏由 Bucila 等人提出，几年后被 Hinton 等人推广(参见论文《Distilling the Knowledge in a Neural Network》)。Hugging Face 研究者使用的是 Hinton 等人的方法。

在监督学习中，分类模型通常用于预测类别，它利用对数似然信号最大化类别概率。在很多案例中，高性能模型预测的输出分布中，正确的类别具备高概率，而其他类别的概率则接近于零。

例如，desk chair(办公椅)可能会被误分类为 armchair(扶手椅)，但通常不会被误认为是 mushroom(蘑菇)。这种不确定性被称为「暗知识」。

理解蒸馏的另一种方式是，它阻止模型对预测结果过于自信(类似于标签平滑)。

以下是一个实践示例。在语言建模过程中，我们通过观察词汇分布，可以轻松发现这种不确定性。下图展示了 Bert 对电影《卡萨布兰卡》中某句著名台词的 top 20 补全结果：

BERT_base 对被遮蔽 token 的 top 20 补全结果。该语言模型确定了两个概率较高的 token(day 和 life)。

如何复制暗知识？

在师生训练中，我们训练学生网络来模拟教师网络的完整输出分布(它的知识)。

我们使学生网络和教师网络具备同样的输出分布，从而使学生网络实现同样的泛化。

我们不对硬目标类别(正确类别的 one-hot 编码)使用交叉熵来进行训练，而是对软目标类别(教师网络的概率)执行交叉熵，从而将教师网络的知识迁移到学生网络。这样训练损失函数就变成了：

其中 t 表示教师网络的 logit 值，s 表示学生网络的 logit 值。该损失函数具备更丰富的训练信号，因为软目标类别比单个硬目标类别提供更多约束。

为了进一步揭示类别分布的多样性，Hinton 等人提出了 softmax-temperature：

其中T 表示温度参数，当 T → 0 时，分布接近于 one-hot 目标向量，当 T →+∞ 时，则得到均匀分布。在训练过程中对教师网络和学生网络使用同样的温度参数，进而为每一个训练样本提供更多信号。在推断时，T 被设置为 1，恢复标准的 Softmax 函数。

PyTorch 动手实践：压缩 BERT

Hugging Face 研究者想利用知识蒸馏压缩大型语言模型。对于蒸馏，研究者使用 KL 散度作为损失函数，因为最优化过程与交叉熵是等价的：

在计算 q(学生网络的分布)的梯度时，得到了同样的梯度。这允许研究者利用 PyTorch 实现执行更快速的计算：

使用教师网络 BERT 的监督信号，研究者训练得到较小的语言模型——DistilBERT。(研究者使用的是 Bert 的英语 bert-base-uncased 版本)。

按照 Hinton 等人的方法，训练损失是蒸馏损失和遮蔽语言建模损失的线性组合。学生模型是 BERT 的较小版本，研究者移除了 token 类型的嵌入和 pooler(用于下一句分类任务)，保留了 BERT 的其余架构，不过网络层数只有原版的 1/2。

备注 1：为什么不减少隐藏层大小呢？将它从 768 减少到 512 即可将参数总量减少约 1/2。但是，在现代框架中，大部分运算是经过高度优化的，张量最后一维(隐藏维度)的变化对 Transformer 架构中使用的大部分运算影响较小。在研究者的实验中，相比隐藏层大小，层数才是推断阶段的决定性因素。

研究者的早期实验表明，在该案例中，交叉熵损失会带来更好的性能。因此，他们假设在语言建模设置中，输出空间(词汇)要比下游任务输出空间的维度大得多。而在 L2 损失中，logit 可能会相互抵消。

训练子网络不仅仅关乎架构，它还需要找出子网络收敛的合适初始化(例如彩票假设论文《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》)。因此，研究者基于教师网络 Bert 对学生网络 DistilBERT 进行初始化，将层数减半，对学生网络使用与教师网络一样的隐藏层大小。

研究者还使用 RoBERTa 论文中的一些训练 trick，这篇论文证明 Bert 的训练方式对最终性能有着重要影响。遵循 RoBERTa 的训练方式，研究者利用梯度累积以非常大的批次(每个批次多达 4000 个样本)训练 DistilBERT，训练使用了动态遮挡(dynamic masking)，并移除了下一句预测目标。

该训练设置主动接受资源方面的限制。研究者在 8 块 16GB V100 GPU 上训练 DistilBERT，训练时长接近三天半，训练数据为 Toronto Book Corpus 和英文维基百科(与原版 BERT 的训练数据相同)。

DistilBert 的部分代码来自于 Facebook XLM 的代码，部分代码来自 Google AI BERT 的 Hugging Face PyTorch 版本。这些代码可在 Hugging Face 的 NLP 库中获取，该库还包含多个 DistilBert 训练版本和微调版本，及其复现代码。

模型性能：DistilBERT 测试

研究者在 GLUE 基准的开发集上对比了 DistilBERT 和两个基线模型的性能，基线模型分别是 BERT base(DistilBERT 的教师模型)和来自纽约大学的强大非 transformer 基线模型：ELMo + BiLSTMs。研究者使用纽约大学发布的 ELMo 基线 jiant 库和 BERT 基线模型的 PyTorch-Transformers 版本。

如下表所示，DistilBERT 在参数量分别是基线模型的 1/2 和 1/3 的情况下，性能可与后者媲美。在 9 项任务中，DistilBERT 的性能通常等同于或优于 ELMo 基线(在 QNLI 任务上的准确率超出后者 14 个百分点)。令人惊讶的是，DistilBERT 的性能堪比 BERT：在参数量比 BERT 少 40% 的情况下，准确率达到了后者的 95%。