大家好，今天聊聊我对大模型微调技术几点实践看法，喜欢记得收藏、关注、点赞。
更多技术交流，资料，文末加入我们技术群获取。
为什么要对大模型进行微调（Fine-tuning）
与其说对 LLM 大模型进行微调，不如说“能力增强”更体贴，由于 LLM 大模型的预训练的数据样本知识容量“相对有限”，造成 LLM 大模型有以下3个方面的缺陷：
第一、知识库更新不及时，比如：GPT 4 Turbo 的知识截止时间是 2023年04月，你问它 OpenAI 的宫斗大戏，它是不知道的。
第二、缺少企业级高质量垂直数据知识，比如：企业内部的项目数据、流程数据、业务数据、代码数据等，造成在行业垂直问答会出现一定的幻觉现象。
第三、数据安全和隐私问题是每个企业的生命线，企业需要牢牢掌握在自己手里，稳定性也是企业密切关注的，比如：最近的阿里云大事故、滴滴大事故、ChatGPT 崩溃事故等，让企业对数据安全和稳定性更加敬畏，如履薄冰。
解决 LLM 大模型的上述缺陷，就有了大模型能力增强技术，从广义来讲，LLM 能力增强技术有两条路线：微调（Fine-tuing）和 RAG（Retrieval Augmented Generation）。
这两种技术的比较对比如下：
今天我们先分享下微调（Fine-tuning）能力增强技术。
大模型微调（Fine-tuning）技术落地
大模型微调有2种方式，全参数 Fine-tuning 和 小参数量 Fine-tuning。全参数 Fine-tuning 成本实在太高，比如：GPT-3 全参数微调一次要花费 140万美金，因此在企业实际实践中使用的是小参数量微调，又称为参数高效微调 PEFT（Parameter Efficient Fine Tuning）。
PEFT 在企业中常用的实践方法有以下几种：Prompt-tuning、Prefix tuning、Adapter、LLaMA-adapter、P-Tuning V2、LoRA 等。
这几种常用的微调方式准确性（Acc）和损失（Loss）实践对比如下：
基于 LoRA 的微调实现有以下5个步骤：
第一、数据工程，准备好需要微调的样本数据，按照大模型的微调数据格式整理好，比如：{“context”：“双12马上到了，应该给程序员同学推荐什么类型的学习课程？”，“target”：“AIGC 学习计划”}。
第二、选用参数高效微调框架，推荐 https://github.com/huggingface/peft
第三、选用微调 LLM 大模型，推荐清华智谱 ChatGLM3。
第四、配置 LLM 大模型微调参数，开始微调训练。
第五、按照验证数据集，对微调后的 LLM 大模型进行数据验证。
更详细的实践落地步骤和代码实现可以在我们技术群获取。
总之，掌握好 LLM 大模型微调技术架构和落地实现，对于 IT 人来说是一项非常重要的技能，它可以让您的 LLM 大模型业务研发更高效和创新。
技术交流
技术要学会分享、交流，不建议闭门造车。一个人走的很快、一堆人可以走的更远。
建立了大模型面试&技术交流群， 大模型学习资料、数据代码、技术交流提升， 均可加知识星球交流群获取，群友已超过2000人，添加时切记的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。
方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2060，备注：技术交流
用通俗易懂的方式讲解系列
-
用通俗易懂的方式讲解：不用再找了，这是大模型最全的面试题库
-
用通俗易懂的方式讲解：这是我见过的最适合大模型小白的 PyTorch 中文课程
-
用通俗易懂的方式讲解：一文讲透最热的大模型开发框架 LangChain
-
用通俗易懂的方式讲解：超全总结！大模型算法岗面试指南来了！
-
用通俗易懂的方式讲解：基于 LangChain + ChatGLM搭建知识本地库
-
用通俗易懂的方式讲解：基于大模型的知识问答系统全面总结
-
用通俗易懂的方式讲解：ChatGLM3 基础模型多轮对话微调）
-
用通俗易懂的方式讲解：最火的大模型训练框架 DeepSpeed 详解来了
-
用通俗易懂的方式讲解：这应该是最全的大模型训练与微调关键技术梳理
-
用通俗易懂的方式讲解：Stable Diffusion 微调及推理优化实践指南
-
用通俗易懂的方式讲解：大模型训练过程概述
-
用通俗易懂的方式讲解：专补大模型短板的RAG
-
用通俗易懂的方式讲解：大模型LLM Agent在 Text2SQL 应用上的实践
-
用通俗易懂的方式讲解：大模型 LLM RAG在 Text2SQL 上的应用实践
-
用通俗易懂的方式讲解：大模型微调方法总结
-
用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了
-
用通俗易懂的方式讲解：掌握大模型这些优化技术，优雅地进行大模型的训练和推理！
-
用通俗易懂的方式讲解：这是大模型检索增强生成（RAG）最全综述！
)
