打开b站看直播/网址查询地址查询

打开b站看直播,网址查询地址查询,wordpress 播放器,0基础学习网站建设目录 4 参数高效微调4.1 参数高效微调简介4.1.1 下游任务适配1）上下文学习（In-context learning）2）指令微调（Instruction Tuning） 4.1.2 参数高效微调4.1.3 参数高效微调的优势 4 参数高效微调大语言模型…

4 参数高效微调

大语言模型虽知识丰富，但在垂直领域适配性不足，仅靠提示工程难以解决，需通过微调参数来提升适配性。然而，大语言模型参数量巨大，微调成本高，限制了其在垂直领域的应用。因此，实现效果可靠、成本可控的参数高效微调技术成为关键。

下面探讨主流的参数高效微调技术：参数附加方法、参数选择方法和低秩适配方法的代表性算法实现与优势。

4.1 参数高效微调简介

大语言模型在垂直领域适配时，上下文学习和指令微调虽是有效途径但存在不足。为此，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术出现。

本节先回顾前两者并分析其局限，再介绍PEFT概念及优势，最后分类讲解主流PEFT方法，包括参数附加、选择和低秩适配，阐述其原理和代表性工作。

4.1.1 下游任务适配

为提高大语言模型在垂直和细分领域的性能，需进行下游任务适配，主流方法有：

上下文学习（In-context learning）
指令微调（Instruction Tuning）

1）上下文学习（In-context learning）

上下文学习通过设计Prompt，将任务转化为生成任务，驱动模型完成任务。

小样本上下文学习（Few-shotin-contextlearning）：

将样本-标签对转化为自然语言指令（Instruction）和样例（Demonstrations），
拼接测试样本输入模型，输出作为预测结果。
该方法无需更新模型参数，可快速应用于多种任务。

上下文学习虽能有效利用大语言模型的能力，但存在明显缺点：

性能与微调有差距，Prompt设计耗费人力且不同设计导致性能差异大，
推理代价随Prompt样例增多而快速上升。

因此，微调大语言模型在许多场景和垂直领域仍有必要。

2）指令微调（Instruction Tuning）

指令微调（Instruction Tuning）通过构建指令数据集并在其上进行监督微调，使模型更好地理解和执行自然语言处理任务指令。其过程如下：

指令数据构建：指令数据包含指令、示例（可选）、问题和回答，构造方式有：1）数据集成，即将带标签的自然语言数据集通过模板转换为指令格式的<输入，输出>对，如Flan和P3数据集；2）大语言模型生成，即人工收集少量指令数据后，使用大语言模型进行指令扩展，如InstructWild和Self-Instruct数据集。
监督微调：构建数据集后，采用完全监督的方式对预训练模型进行微调，通过顺序预测输出中的每个token来训练模型，从而显著提升模型的指令遵循能力，增强其推理水平和泛化到新任务、新领域的能力。

指令微调虽能提升大语言模型在下游任务的性能，但监督微调需大量计算资源。如LLaMA2-7B全量微调需近60GB内存，消费级GPU（如RTX4090）无法胜任。因此，在资源受限环境下，研究参数高效微调技术至关重要。

4.1.2 参数高效微调

参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）旨在避免微调全部参数，减少在微调过程中需要更新的参数数量和计算开销，从而提高微调大语言模型的效率。

图4.2: 高效参数微调方法分类学。
在这里插入图片描述

以下是三种参数高效微调方法的精简总结：

参数附加方法（Additional Parameters Methods）：在模型结构中附加较小的可训练模块（如适配器层），冻结原始参数，仅微调新模块，典型方法有适配器微调（Adapter-tuning）、提示微调（Prompt-tuning）、前缀微调（Prefix-tuning）和代理微调（Proxy-tuning）等。
参数选择方法（Parameter Selection Methods）：仅选择模型部分参数微调，冻结其余参数，利用部分参数对下游任务的决定性作用，典型方法包括BitFit、Child-tuning和FishMask等。
低秩适配方法（Low-rank Adaptation Methods）：通过低秩矩阵近似原始权重更新矩阵，冻结原始参数，仅微调低秩更新矩阵，大幅节省内存开销，经典方法有LoRA及其变体如AdaLoRA、DyLoRA和DoRA等。

三种参数高效微调（PEFT）方法：

参数附加方法（Additional Parameters Methods）：在模型结构中附加较小的可训练模块（如适配器层），冻结原始参数，仅微调新模块，典型方法有适配器微调（Adapter-tuning）、提示微调（Prompt-tuning）、前缀微调（Prefix-tuning）和代理微调（Proxy-tuning）等。
参数选择方法（Parameter Selection Methods）：仅选择模型部分参数微调，冻结其余参数，利用部分参数对下游任务的决定性作用，典型方法包括BitFit、Child-tuning和FishMask等。
低秩适配方法（Low-rank Adaptation Methods）：通过低秩矩阵近似原始权重更新矩阵，冻结原始参数，仅微调低秩更新矩阵，大幅节省内存开销，经典方法有LoRA及其变体如AdaLoRA、DyLoRA和DoRA等。

4.1.3 参数高效微调的优势

参数高效微调（PEFT）有以下优势：

计算效率高：减少需更新参数数量，降低训练时计算资源消耗。
存储效率高：减少微调参数数量，显著降低模型存储空间，适用于内存受限设备。
适应性强：可快速适应不同任务，无需重新训练整个模型，提升模型在变化环境中的灵活性。

表4.1: 全量参数微调和参数高效微调显存占用对比（OOM代表超出内存限制）

模型名	全量参数微调	参数高效微调 (LoRA)
bigscience/T0_3B	47.14GB GPU / 2.96GB CPU	14.4GB GPU / 2.96GB CPU
bigscience/mt0-xxl (12B params)	OOM GPU	56GB GPU / 3GB CPU
bigscience/bloomz-7b1 (7B params)	OOM GPU	32GB GPU / 3.8GB CPU