博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看
配套 github 链接:https://github.com/nickchen121/Pre-training-language-model
配套博客链接:https://www.cnblogs.com/nickchen121/p/15105048.html
预训练
预先训练
我们有两个相似的任务 A 和 B,任务 A 已经完成了得到了一个模型 A
任务 B(数据量小)
用到了一个特性:CNN 浅层参数通用
任务 B 就可以使用模型 A 的浅层参数,后面的参数通过任务 B 训练–》1. 冻结(浅层参数不变)2. 微调(变)
任务 B(大数据)可以训练出模型 B(我还可以使用模型 A 的浅层参数,节省训练时间,节省成本)