大模型中的Scaling Law(规模法则) 文章目录 一. 核心结论二. 大模型中的Scaling Law三. 参考文献 Scaling Laws简单介绍就是:随着模型参数量大小、数据集大小和用于训练的浮点数计算量的增加,模型的性能会提高。并且为了获得最佳性能,所有三个因素必须同时放大。当不受其他两个因素的制约时,模型性能与每个单独的因素都有幂律关系。 一. 核心结论 OpenAI于2020年1月23放出的论文:Scaling Laws for Neural Language Models。核心结论如下: