本文作者：白牛
我们之前开源了 LLM 群聊助手茴香豆（以下简称豆哥），它的特点是：
- 设计了一套拒答 pipeline，实用于群聊场景。能够有效抵抗各种文本攻击、过滤无关话题，累计面对 openmmlab 数千用户运行半年（ 17 个群、7w 条群消息）。这个过程确认了 text2vec 模型更适合反着用
- 工业级开源。除算法 pipeline 外，还实现对应的 android、web service， License 支持商用
- 成本低。配合 LLM API 只需要 1.5G 显存
此外我们还工程优化了 ReRoPE，llama2 13B 在 A100 单卡上不训练，就可以从 8k 外推到 40k token。
上海AI Lab推出“茴香豆”：群聊场景中的领域知识助手
然而在群聊中，豆哥往往会遇到类似对话：
张三：mmpose 支持移动端部署么？
李四：搭车问一下，怎么把它部署到 TX2 ？
王二：你们说的是哪家的算法框架？显然 “它” 应该替换成 "mmpose"，然而豆哥处理李四的问题时，不能直接输入所有人的对话，否则会影响 pipeline 精度；受成本约束，也不能每一句都消，所以整件事第一步是，判断应不应该消歧。
项目链接：
https://github.com/internlm/huixiangdou
（文末点击阅读原文可直达，欢迎点亮小星星）
为了解决上述问题，我们使用的方法是手工标注 + SFT 优化 LLM，也就是 NLPer 常见地，用 LLM 优化下游 NLP 任务。
最终结果如上图，“0.5B 媲美 14B”。
绿色的是训练前的 precision 曲线，证明反反复复标一周没白干，确实能靠 scaling law 明确问题和训数据；
蓝色的是训练后的 F1 score 曲线。
- 14B 的 recall 是最高的、能达到 92.11
- 32B 的 F1 score 最高，到了85.58
- 额外地，MoE-2.7B 涨了 +29.07，详见见 arXiv 里的表格
| 本文贡献是： 1.如何证明标注本身没有 bias ？ 我们使用 scaling law 定义问题、确认标注可靠。 scaling law 是说数据内容不变，精度随参数量和训练数据量线性增大。 反过来想，取一组相同架构的 LLM（qwen 0.5～32B）不变，prompt 和数据标注变化。如果数据的精度表现，随模型体积而改善，那是不是证明了数据标得好 ？ 当然这个 “标得好” 更多的是和 qwen 更契合，更容易 finetune、更适合 GPU-poor。 2.数据来自微信群聊——卷卷群（ncnn contributors group），我们开源了 2.3k 手工标注数据和对应的 LoRA weights，授权见末尾。 3.所有实验均可复现，trick 已在论文中注明。 |
|---|
1.数据准备
数据来源。选 ncnn 卷卷群是因为：
- 群友背景复杂，当老板的打工的读书的都有、软件硬件女装啥都会。 AKA 数据范化性强。
- ncnn 不是某个 team 维护的，大小事情是靠爱发电，导致平均群活跃高达 87 条/人月。
预处理。原始输入取了 58,000 条，直接标注能标死我。所以做了 concat 和 filter 两步预处理：一来是用户确实发 2 句话才讲 1 个事； 二来大部分内容也不是问题，豆哥并不关心陈述句。预处理后得到 2,302 句问题。
标注过程是个循环，不是手工标一次搞定的。
- STEP1. 按指代消歧的定义构造 prompt，想清了问题再手动标
- STEP2. 标好了用 7 个 vanilla LLM 跑精度
- STEP3. 如果 precision 不随参数量增长，检查 prompt 和问题定义，看哪里没明确。重复 STEP1
如此重复 5 轮，得到 alpaca.json
2. 训练
参照知乎其他人的 finetune 经验， 2k 数据量上不了 further pretrain，fp16 的 SFT 也未必好。
虽然 LoRA 不靠谱，可听人劝吃饱饭。我们用的 axolotl，顺手发了个 typo PR。
第一轮 LoRA epoch=1，lr=2e-4，rank=64，4B F1 score 掉点 -12，其他模型都在涨。
想象中，4B 的 F1 score 应该在 62.9 到 69.22 之间。
那咋整？继续治疗呗..
我们尝试了 lr=2e-5；不同的 rank；换 LoRA+，也就改 lr 能让损失缩小到 -3。
注意缩小 lr 对其他模型（7B、1.8B、2.7B）都没用，并不是个可靠方法。
果然 LoRA 不靠谱，继续遍历参数已经没有意义。我们也尝试过全量微调，2 个 epoch 后模型会退化为下游 NLP 任务中的分类器，尽管 F1 score 高达 71.38，全量微调后的模型已经失去通用能力。
3. 结论
现在看来 base 模型和数据是可靠的，但训练方法不太行。
- 检查 weight ，看训练方法为啥不行，即 4B 上 low-rank 前提被满足了多少？
- 现在有个 recall 92 的模型，只是应用的第一步。我估计后面实用还都是坑 qaq。
附录
论文地址：https://arxiv.org/abs/2405.02817
alpaca 训练数据：https://huggingface.co/datasets/tpoisonooo/HuixiangDou-CR/tree/main
LoRA 14B 权重：https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-14B
LoRA 32B 权重：https://huggingface.co/tpoisonooo/HuixiangDou-CR-LoRA-Qwen-32B
WanDb 实验记录：https://wandb.ai/tpoisonooo/huixiangdou-cr
复现步骤：https://github.com/InternLM/HuixiangDou/tree/main/sft
卷卷群隐私授权，我是群主我说了算（逃
