LLM2LLM：迭代学习 + 针对性增强 + 错误分析 + 合成数据生成 + 质量控制

• • 提出背景
  • • 针对性和迭代性数据增强（LLM2LLM）
    • 步骤1：在数据集上训练
    • 步骤2：在数据集上评估
    • 步骤3：生成额外数据
  • 算法流程
  • 医学领域数据增强，对比和其他增强方法的独特之处
  • 全流程优化
  • • 问题识别
    • 提出解法
    • 子解法及潜在替代品
    • 替换一个子解法

 

---

提出背景

论文：https://arxiv.org/pdf/2403.15042.pdf

代码：https://github.com/SqueezeAILab/LLM2LLM

当前，预训练的大型语言模型（LLMs）是解决绝大多数自然语言处理任务的最先进技术。

尽管许多实际应用仍需要进行微调才能达到令人满意的性能水平，但其中许多应用处于低数据范畴，使得微调变得具有挑战性。

为了解决这一问题，我们提出了LLM2LLM，一种针对性和迭代的数据增强策略，该策略使用一个教师LLM来增强小型种子数据集，通过增加可以用于特定任务微调的附加数据。

• （1）在初始种子数据上对基线学生LLM进行微调
• （2）评估和提取模型预测错误的数据点
• （3）使用教师LLM根据这些错误数据点生成合成数据，然后将这些数据重新加入到训练数据中。

这种方法通过在训练期间放大LLM预测错误的数据点的信号，并将它们重新整合到数据集中，专注于对LLM来说更具挑战性的例子。

我们的结果显示，LLM2LLM在低数据范畴中显著提高了LLM的性能，超过了传统微调和其他数据增强基准。

LLM2LLM减少了对劳动密集型数据整理的依赖，为更可扩展和高性能的LLM解决方案铺平了道路，使我们能够应对数据受限的领域和任务。

我们在使用LLaMA2-7B学生模型的低数据范畴中，在GSM8K数据集上实现了高达24.2%的改进，在CaseHOLD上为32.6%，在SNIPS上为32.0%，在TREC上为52.6%，在SST-2上为39.8%，超过了常规微调。

针对性和迭代性数据增强（LLM2LLM）

LLM2LLM框架，它使用教师模型（M_teacher）生成新的训练数据点以提高学生模型（M_student）的性能。

步骤1：在数据集上训练

• 子解法1：种子数据集上的微调
  • 之所以使用这个子解法，是因为我们需要建立一个对特定任务有初步理解的基线模型。

例如，在医学领域，这意味着首先在一个包含医疗术语和病例的初始数据集上训练模型。

步骤2：在数据集上评估

• 子解法2：评估学生模型并提取错误
  • 之所以使用这个子解法，是因为需要识别出学生模型在哪些类型的问题上表现不佳，特别是在它未能准确预测或解答的数据点上。

在医学方面，可能要识别出模型在诊断特定疾病或理解复杂病症描述方面的缺陷。

步骤3：生成额外数据

• 子解法3：使用教师模型生成合成数据
  • 之所以使用这个子解法，是因为我们要通过合成数据来扩展训练集，特别关注学生模型答错的那些问题。

在医学应用中，如果学生模型无法正确理解某些症状和治疗方案的关系，教师模型就可以生成包含这些元素的新问题和答案，用于进一步训练学生模型。

图中的示例说明了这个过程：正确答案的例子会被保留，而错误答案的例子则被用来生成新的训练数据。

然后，这些新生成的数据（LLM2LLM数据）会被重新加入训练数据集中，用于进一步训练学生模型。

这个循环过程帮助学生模型在更加困难的问题上进行自我改进，从而提升其在特定任务上的性能。

例如，在医学领域，一个模型可能需要在一组特定的病例报告中识别出不常见的疾病。

如果在初始训练中模型不能正确执行这一任务，LLM2LLM方法就可以通过分析错误答案来生成新的、类似但更具挑战性的病例报告，进而用这些新生成的报告来增强模型对这类病例的理解和识别能力。

拆解 3 步：

• 子解法1：迭代微调学生LLM
  • 之所以使用这个子解法，是因为要提高模型在少数据情况下的性能。

首先，在初始数据集上微调一个学生LLM，然后对训练数据进行评估，找出模型训练后错误的数据点。

这样可以确保模型在后续迭代中专注于那些难以正确预测的例子，从而提高性能。

举例来说，如果初次微调后的模型在识别罕见疾病名称和相关症状上表现不佳，这一步骤就能够识别出这类错误，为下一步生成针对性的训练数据做准备。

• 子解法2：使用教师LLM生成合成数据
  • 之所以使用这个子解法，是因为需要更多的、针对性的训练数据来改进学生LLM。

使用教师LLM基于模型预测错误的数据点生成新的合成数据，这些数据随后被加回训练数据集中。

例如，针对学生模型难以准确识别的罕见疾病和症状，教师LLM可以生成更多包含这些罕见疾病描述的文本数据。

这样不仅增加了训练数据集的多样性，也帮助学生模型更好地学习和理解这些罕见病症的特点。

• 子解法3：Self-Instruct风格的数据增强
  • 之所以使用这个子解法，是因为传统的数据增强方法（如同义词替换、字符替换）不足以扩展训练数据，尤其是在新领域和专业任务中。

通过采用Self-Instruct风格的数据增强，我们能够根据教师LLM的输出生成更加丰富和多样化的训练示例，从而更有效地扩展训练数据集。

在这个步骤中，可以通过模拟真实世界中的医学案例，生成包含复杂病例描述、多样化症状和治疗方法的数据。

例如，创建一个关于急性和慢性疾病治疗反应不同的合成病历报告，这有助于模型更好地理解不同疾病状态和治疗方案之间的关系。

这些子解法的结合，即LLM2LLM方法，通过在训练过程中不断迭代优化和精准目标化数据增强，有效解决了在少数据情况下微调LLMs的挑战，显著提升了模型在特定任务上的性能。

算法流程

问题：预训练的语言模型在面对目标领域数据时（如医疗数据集），零样本或微调后性能不佳。

解法：LLM2LLM框架，它使用教师模型（M_teacher）生成新的训练数据点以提高学生模型（M_student）的性能。

1. 初始化学生模型（M^{0_student）和教师模型（M_teacher），并设置初始数据集（D}0）。
2. 进入迭代过程：从i=0开始，直到达到预定的迭代次数n。
3. 微调学生模型（M^i_student）。
4. 用学生模型评估当前数据集（D^{i），并记录评估结果（E}i）。
5. 筛选出模型预测错误的数据点（W^i）。
6. 使用教师模型基于错误数据点生成新的训练数据（A^i）。
7. 将新生成的数据（A^{i）加入到现有数据集中（D}{i+1} = D^i + A^i），以供下一轮迭代使用。
8. 完成迭代后，评估学生模型的最终性能（M^*_student）。

医学领域数据增强，对比和其他增强方法的独特之处

在医学领域进行数据增强时，LLM2LLM方法的独特之处在于它是针对性和迭代性的，而且特别关注于改善学生模型在特定数据点上的性能不足。

对比于其他数据增强方法，如简单的同义词替换或随机文本扰动，LLM2LLM提供了以下独特优势：

1. 针对性强化：LLM2LLM专注于学生模型在初次评估中回答错误的数据点。这意味着数据增强不是盲目进行的，而是有针对性地解决学生模型的弱点。

在医学领域，这一点尤其重要，因为模型需要对复杂的医疗术语和临床案例有精确的理解。

通过专注于错误答案，可以生成新的案例，例如模拟不同的症状描述或治疗响应，从而直接提升模型在这些关键区域的性能。

2. 迭代学习：通过迭代过程，模型不断地在新生成的、更具挑战性的数据上训练。

每轮迭代后，模型都将获得更丰富的训练数据，这有助于提升其在复杂医学问题上的准确性和鲁棒性。

3. 质量控制：LLM2LLM通过限制使用教师模型生成的数据，来防止错误的传播和数据质量的下降。

这在医学领域至关重要，因为错误的信息可能会导致严重的后果。通过确保数据增强专注于改进错误答案，该方法可以有效控制数据集的质量。

4. 避免数据膨胀：该方法限制了合成数据生成的范围，仅在原始错误答案的基础上进行增强，而不是整个数据集。

这避免了数据膨胀问题，确保了训练集的管理和处理更加可控，同时也降低了过拟合的风险。

在医学领域的具体应用中，例如提高模型在分类罕见病症或解析复杂医疗图像方面的能力，LLM2LLM能够生成更加贴近实际临床场景的数据，比如根据模型识别错误的病症症状生成新的案例，

这些案例在结构和语义上与原始案例不同，但又足够相似，以挑战和训练学生模型。

这样的迭代过程确保了模型不仅学习到了特定任务的表层特征，也能够适应和泛化到更广泛的医学语境和情景。

全流程优化

当我们分析一个完整的流程，从问题识别到提出解法，再到具体的子解法及其潜在替代方案，这个过程涉及到深入了解问题的本质、现有解决方案的局限性，以及潜在替代方案的可行性。

让我们以LLM2LLM方法在医学领域的应用为例，来分析这个流程。

问题识别

• 主问题：预训练的语言模型在特定领域（如医学领域）的任务上表现不佳。
• 问题要素：语言模型可能缺乏对医学术语的理解、对罕见疾病描述的识别能力，以及对复杂医疗数据的处理能力。

提出解法

• 解法：使用LLM2LLM，一种迭代的数据增强框架，通过教师模型生成错误数据点的新训练数据，来改进学生模型。
• 解法要素：迭代学习 + 针对性增强 + 错误分析 + 合成数据生成 + 质量控制。

子解法及潜在替代品

• 子解法1：迭代微调

  • 要素：数据集的质量、增强数据与原始数据的一致性、模型的适应性和泛化能力。
  • 替代品：传统的微调方法，比如使用更大规模的数据集进行一次性微调。
  • 对比分析：传统微调可能在数据丰富的情况下有效，但在数据受限的医学领域中，LLM2LLM的迭代微调可以更精确地解决模型的弱点。

• 子解法2：生成合成数据

  • 要素：合成数据的真实性、多样性、以及与任务相关性。
  • 替代品：使用现有的医学数据库或开源医学数据集进行数据增强。
  • 对比分析：现有数据库可能没有覆盖学生模型性能不足的特定区域，而LLM2LLM可以根据模型的错误直接生成有针对性的训练数据。

• 子解法3：限制合成数据的生成

  • 要素：数据管理、训练效率、避免过拟合。
  • 替代品：在每次迭代中使用全部错误数据点生成合成数据。
  • 对比分析：无限制地增加合成数据可能会导致模型训练效率低下和过拟合。LLM2LLM通过限制生成的数据数量，保证了数据质量和训练效率。

替换一个子解法

• 替换：将“生成合成数据”替换为“使用现有医学数据集增强”。
• 分析：虽然现有医学数据集可能提供了大量真实的医学案例，但这些数据可能不具备LLM2LLM所追求的针对性和个性化。

现有数据集可能缺少学生模型所需的特定错误类型的案例，这将减少微调过程中针对性强化的机会，可能导致模型在特定任务上的性能提升不如LLM2LLM方法明显。