微调的种类

flyfish

1. 全参数微调（Full Fine-Tuning）：

   • 对预训练模型的所有参数进行调整，以优化其在特定任务上的性能。

2. 指令微调（Instruction Fine-Tuning）：

   • 通过提供特定任务的明确指令或示例来微调模型，使其能够执行特定的任务，同时保持大部分预训练的知识。

3. 部分参数微调（Partial Fine-Tuning）：

   • 只调整预训练模型中的一部分参数（如后期层或特定层），而不是所有参数，以减少计算成本和过拟合风险。

4. 适应性微调（Adapter Fine-Tuning）：

   • 在预训练模型的特定层之间插入小型模块（适配器），并仅对这些模块进行微调，主模型参数保持不变，以实现高效的任务适应。

5. 低秩近似微调（Low-Rank Adaptation, LoRA）：

   • 在预训练模型的特定层插入低秩矩阵，并只调整这些矩阵的参数，以此模拟全量微调的效果，同时显著减少需要调整的参数数量。

6. 提示微调（Prompt Tuning）：

   • 通过修改输入文本的提示（Prompt）来引导模型生成符合特定任务或情境的输出，而不直接调整模型的权重，适用于零样本或少样本学习。

7. 前缀微调（Prefix Tuning）：

   • 在输入序列之前添加可学习的虚拟token作为前缀，仅更新这些前缀参数，而保持Transformer架构其他部分固定，用于提高多任务学习效率。

8. 监督微调（Supervised Fine-Tuning, SFT）：

   • 使用带标签的数据（如问答对、指令-响应对）进行有监督训练，以指导模型在特定任务上生成更准确和相关的输出。

9. 无监督微调（Unsupervised Fine-Tuning）：

   • 利用未标注的数据进行自监督学习，通过诸如下一个词预测等任务提升模型的语言理解和生成能力，增强其通用性和泛化能力。

微调方法	调整参数数量	资源需求	适用场景	优点	缺点
全参数微调	所有参数	高	需要最佳性能且资源充足的任务	最高的性能提升	高计算资源和显存需求
指令微调	全部或部分	中	对话系统、聊天机器人等	对齐人类意图，提升互动质量	需要精心设计的指令和任务数据
部分参数微调	部分参数	低	资源有限或需要多任务切换的情况	计算资源需求低，过拟合风险小	对复杂任务的适应能力可能不如全量微调
适应性微调	部分参数（适配器）	低	需要在多个任务上进行微调	高效灵活，减少计算成本和内存占用	性能提升可能不如全量微调显著
低秩近似微调（LoRA）	部分参数（低秩矩阵）	低	资源有限或需要多任务切换的情况	高效、低资源消耗、灵活性强	可能不如全参数微调表现好
提示微调	少量参数（提示嵌入）	低	零样本或少样本学习	计算资源需求低，适用于快速适应新任务	对复杂任务的适应能力可能不如全量微调
前缀微调	少量参数（前缀token）	低	多任务学习	减少需要更新的参数数量，提高训练效率	对复杂任务的适应能力可能不如全量微调
监督微调	全部或部分	中	需要精确任务表现的应用	提升特定任务的准确性和相关性	需要高质量的带标签数据
无监督微调	全部或部分	中	增强模型通用性和语言能力	提升泛化能力，利用大量未标注数据	需要大量计算资源，效果依赖数据质量