【大模型基础_毛玉仁】4.1 参数高效微调简介

4 参数高效微调

大语言模型虽知识丰富，但在垂直领域适配性不足，仅靠提示工程难以解决，需通过微调参数来提升适配性。然而，大语言模型参数量巨大，微调成本高，限制了其在垂直领域的应用。因此，实现效果可靠、成本可控的参数高效微调技术成为关键。

下面探讨主流的参数高效微调技术：参数附加方法、参数选择方法和低秩适配方法的代表性算法实现与优势。

大语言模型在垂直领域适配时，上下文学习和指令微调虽是有效途径但存在不足。为此，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术出现。

本节先回顾前两者并分析其局限，再介绍PEFT概念及优势，最后分类讲解主流PEFT方法，包括参数附加、选择和低秩适配，阐述其原理和代表性工作。

为提高大语言模型在垂直和细分领域的性能，需进行下游任务适配，主流方法有：

上下文学习通过设计Prompt，将任务转化为生成任务，驱动模型完成任务。

小样本上下文学习（Few-shotin-contextlearning）：

上下文学习虽能有效利用大语言模型的能力，但存在明显缺点：

因此，微调大语言模型在许多场景和垂直领域仍有必要。

指令微调（Instruction Tuning）通过构建指令数据集并在其上进行监督微调，使模型更好地理解和执行自然语言处理任务指令。其过程如下：

指令数据构建：指令数据包含指令、示例（可选）、问题和回答，构造方式有：1）数据集成，即将带标签的自然语言数据集通过模板转换为指令格式的<输入，输出>对，如Flan和P3数据集；2）大语言模型生成，即人工收集少量指令数据后，使用大语言模型进行指令扩展，如InstructWild和Self-Instruct数据集。
监督微调：构建数据集后，采用完全监督的方式对预训练模型进行微调，通过顺序预测输出中的每个token来训练模型，从而显著提升模型的指令遵循能力，增强其推理水平和泛化到新任务、新领域的能力。

指令微调虽能提升大语言模型在下游任务的性能，但监督微调需大量计算资源。如LLaMA2-7B全量微调需近60GB内存，消费级GPU（如RTX4090）无法胜任。因此，在资源受限环境下，研究参数高效微调技术至关重要。

参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）旨在避免微调全部参数，减少在微调过程中需要更新的参数数量和计算开销，从而提高微调大语言模型的效率。

图4.2: 高效参数微调方法分类学。
在这里插入图片描述

以下是三种参数高效微调方法的精简总结：

参数附加方法（Additional Parameters Methods）：在模型结构中附加较小的可训练模块（如适配器层），冻结原始参数，仅微调新模块，典型方法有适配器微调（Adapter-tuning）、提示微调（Prompt-tuning）、前缀微调（Prefix-tuning）和代理微调（Proxy-tuning）等。
参数选择方法（Parameter Selection Methods）：仅选择模型部分参数微调，冻结其余参数，利用部分参数对下游任务的决定性作用，典型方法包括BitFit、Child-tuning和FishMask等。
低秩适配方法（Low-rank Adaptation Methods）：通过低秩矩阵近似原始权重更新矩阵，冻结原始参数，仅微调低秩更新矩阵，大幅节省内存开销，经典方法有LoRA及其变体如AdaLoRA、DyLoRA和DoRA等。

三种参数高效微调（PEFT）方法：

参数附加方法（Additional Parameters Methods）：在模型结构中附加较小的可训练模块（如适配器层），冻结原始参数，仅微调新模块，典型方法有适配器微调（Adapter-tuning）、提示微调（Prompt-tuning）、前缀微调（Prefix-tuning）和代理微调（Proxy-tuning）等。
参数选择方法（Parameter Selection Methods）：仅选择模型部分参数微调，冻结其余参数，利用部分参数对下游任务的决定性作用，典型方法包括BitFit、Child-tuning和FishMask等。
低秩适配方法（Low-rank Adaptation Methods）：通过低秩矩阵近似原始权重更新矩阵，冻结原始参数，仅微调低秩更新矩阵，大幅节省内存开销，经典方法有LoRA及其变体如AdaLoRA、DyLoRA和DoRA等。

参数高效微调（PEFT）有以下优势：

表4.1: 全量参数微调和参数高效微调显存占用对比（OOM代表超出内存限制）