LLM预训练recipe — 摘要版

文章核心主题：

本文深入探讨了从零开始进行大型语言模型（LLM）预训练（pretrain）的各个环节，侧重方法论和实践细节，旨在普及预训练过程中的关键步骤、常见问题及避坑技巧，而非技术原理的深入分析。作者强调了数据处理的重要性，并强调了自主预训练的价值。

要点总结：

1. 背景篇：自研 Pretrain 模型的意义

开源模型的局限性： 虽然大型模型（如qwen）开源了模型参数，但训练框架、训练数据等核心内容仍未开源，使得用户无法参与模型的迭代优化。
技术掌握的必要性： 在LLM全面开源前，掌握预训练技术仍然有意义。通用模型的变现能力不如领域模型，而持续预训练（continue-pretrain）是刚需，其技术栈与预训练相似。
数据透明度的重要性： 自主预训练可以掌握模型训练数据的细节（如数据配比、知识掌握程度），从而在后续的对齐（alignment）阶段进行针对性优化，最大化模型潜力。
Tokenizer 的重要性： 使用开源模型时，tokenizer 不可控会导致解码速度不可控，自研模型可以自定义 tokenizer，优化特定任务的性能。
其他动机： 自研模型可以作为公司科研能力的象征，也可以在预训练阶段植入个性化知识或价值观。

2. 数据篇：预训练数据的准备与处理

数据获取：
- 需准备大量训练数据（约10T），可逐步收集，数据来源包括爬虫、购买、开源数据集等。
- 强调专业数据团队的重要性，避免因爬虫行为引发法律风险。
- 高质量数据（如论文、书籍）常以PDF格式存在，需使用专业服务或自研OCR模型进行解析，Python库解析效果有限，大模型解析成本较高。
- 开源数据集（如FineWeb、pile、Skypile、RedPajama）可作为启动资金，但质量参差不齐。
- 开源数据下载复杂，需解决服务器网络、下载速度、文件处理等问题。
数据质量：
- 数据知识密度差异大，高知识密度数据（如唐诗三百首）价值更高。
- 合成高知识密度数据是趋势，可提高训练速度。
- 组建数据团队进行爬虫或购买是认真进行预训练的必要条件。
数据清洗：
- 核心工作： 数据清洗是数据环节最核心的工作。
- 模型打分： 利用模型对预训练数据质量进行打分已成标配，推荐使用BERT结构模型作为打分器，因为BERT结构模型表征能力更强。
- 打分器训练： 打分器不追求100%准确率，能用即可，不宜投入过多时间，可训练小规模打分器。
- 规则清洗： 规则是强大的数据清洗工具，可基于数据长度、token比例、语言占比、关键词等特征过滤数据。
- 规则应用注意： 使用规则清洗时，注意不要将数据清洗成分布有偏的数据。
- 数据脱敏： 必须进行数据脱敏，去除人名、电话号码、邮箱等敏感信息，以及“转载自…”等信息，避免隐私侵犯和法律风险，使用正则匹配。
数据去重：
- 必要性： 数据去重是必须的，避免重复使用同一内容。
- 去重粒度： 可选择句子级去重或文档级去重，根据实际情况量力而为。
- 技术手段： 需要大数据处理集群和map/reduce框架，可利用minhash算法实现。
- 去重策略： 先确定需要多少训练数据，再确定去重的粒度，不需要追求绝对完美。
数据配比：
- 需要训练数据分类器，对数据进行类别划分（如新闻、百科、代码、markdown等），可使用BERT家族模型。
- 不同类别数据清洗和去重的阈值不同，高质量数据保留，低质量数据过滤。
- 数据配比通常为“知识 + 代码 + 逻辑”三大类，中文：英文：代码的比例通常为4:4:2，逻辑数据比例取决于可用数据量。
- 英文数据比例不能太低，目前中文数据质量不如英文数据质量，可能是因为中文更难学，且语料数量和质量不如英文。
数据顺序：
- 数据顺序很重要，预训练的本质是教模型学习知识，知识的顺序决定了学习效果。
- 课程学习很重要，先学难知识/好数据，再学脏知识/坏数据。
- 推荐llama的In context pretrain方法，利用语义相似度拼接文档，构成语义连贯的上下文。
- 关于attention mask：llama 认为同一条训练语料中，无关文档不能相互看见，但实操中，大部分团队不使用mask，且未发现差异。
数据流水线：
- 预训练是动态加载数据的，读1B、训1B，再读1B，再训1B，因为数据量大，无法一次性读取。
- 模型获取的是token_id而非token，需提前完成tokenization和concatenation操作。
- 数据处理和模型训练是独立进程，数据处理进程需保证模型训练进程始终有数据可用。
- 预训练数据可以复用，高质量数据可以训练多遍，并动态降低已使用多次数据的被选中概率。
- 数据块大小应适中，以B为单位，方便回退。
- 建议数据块与模型checkpoint保存对齐，方便模型版本回退。
数据实验：
- 不要盲目开始训练，先在小模型上进行实验，理解scaling_law。
- 实验内容包括：不同数据配比和顺序的训练实验、不同大小模型的loss结果、以及绘制loss到benchmark的scaling_law，以便提前预知模型训多少token量能在某个benchmark达到什么水平。
- scaling_law仍是重要的指导原则，不能完全忽视。

3. 训练篇：模型结构、参数、训练框架和技巧

Tokenizer：
- Tokenizer是预训练的基础，务必提前准备好。
- 扩词表容易出错，可能导致旧token对应的知识丢失。
- 训练tokenizer需用大量的common数据和BPE/BBPE算法。
- 需注意数字切分、控制压缩率（通常1 token对应1.5个汉字）、手动移除脏token，补充业务场景token，确保中英文覆盖率，词表大小与模型embedding_size保持一定buffer。
- 针对strawberry包含几个r这种问题，作者认为tokenizer是天生解决不了的。
模型结构：
- 建议采用llama的结构，减少创新，降低踩坑风险（rope + gqa + rms_norm + swiglu）。
- 小模型embedding和lm_head可共享参数，大模型则无必要。
- 预训练成本高，应稳健为主，不宜盲目创新，除非有鲁棒实验支持。
模型参数：
- 模型size主要考虑训练和推理算力，而非直接根据场景需求确定。
- 模型size应与大厂模型保持一致，避免踩坑，且方便模型效果对比。
- 推理算力应考虑实际部署机器的显存限制，避免出现一张推理卡装不下模型的情况。
- 超参数size要和llama保持一致，横向和纵向成比例递增。
- 超参数值应能被2/4/8/64/128等数整除，以满足训练框架要求。
- layer_num、num_head、hidden_states、vocab_size应满足特定倍数的要求，以便支持并行计算。
- seq_len选取要循序渐进，先用小seq_len，再逐渐增加，采用rope的NTK外推方法。
训练框架：
- 从零开始预训练，必须选megatron；continue-pretrain可考虑deepspeed。
- megatron: 训练速度快，参数清晰，模型加载快，但上手成本高，基建工作多，官方代码存在bug。
- deepspeed: 代码简单，用户群体多，但训练速度慢，加载慢，微操难，官方代码也存在bug。
- 无论使用哪个框架，都要将attention的默认方式改为flash_attention。
训练技巧：
- 训练效率优化： 减少通讯量，避免机间通讯。优先使用data_parallel，避免显存和内存之间切换，避免重算。
- 训练loss分析： 关注tensorboard上的loss曲线，应分开观察不同类型数据的loss，重视loss_spike（loss突然激增或降低），回退到上个checkpoint，并调整adamw优化器的β1β2参数，解决训练初期loss_spkie问题。
- 训练流程： warm up（学习率缓慢上升） -> 中期（cos / cos_decay / constant / constant_decay，学习率较大）-> 后期（改变rope base+seq_len，适应长文本）-> 收尾（anneal，用高精数据/IFT数据强化考试能力）。
- 预训练一旦开始，一般无需人为干预，除非出现烧卡、loss爆炸、loss陡降等情况。

4. 评估篇：模型性能的评估方法

PPL (Perplexity)：
- 通过测试集的loss衡量模型效果，同一模型不同训练阶段进行对比，不能跨模型对比，不同tokenizer压缩率的loss没有可比性。
- 通用知识测试集上的loss应降低到2以下。
Benchmark：
- 预训练阶段的benchmark结果可信度有限，如果checkpoint不是自己训练的，可能存在刷榜行为。
- benchmark形式单一，大多是选择题，没有cot环节，难以全面衡量模型能力。
- 建议改造benchmark，以生成式的方法使用，而非直接看ABCD哪个概率高，例如：
  - 将Question + Answer，变成Question + Answer_A，Question + Answer_B，Question + Answer_C，Question + Answer_D，让模型结合上下文回答问题
  - 将正确答案选项改为 “其他答案全错”，看模型是否能选出该选项。
  - 修改选项形式（一二三四代替ABCD），多选题改为单选题。
  - 先让模型在不知道答案的情况下训练，然后让其说出正确答案。
- 使用ACC（Accuracy）衡量评估结果，而不是BLEU和Rouge。
概率探针：
- 从概率的角度监控模型的知识能力，观察特定token或句子的概率变化。
- 探针测试集需要手动构造，而非批量生成。
- 重点观察指标的变化趋势，而非绝对大小。
- 可以构造多种探针，例如：
  - Prob('北京'｜'中国的首都是')
  - PPL('台湾属于中国') vs PPL('台湾不属于中国')
  - PPL('尊重同性恋') > PPL('反对同性恋')
  - Prob( '{ '| '以 json输出')