白话EAGLE2：解锁大模型的“打草稿”技术

实时了解业内动态，论文是最好的桥梁，专栏精选论文重点解读热点论文，围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调或者LLM背后的基础模型重新阅读。而最新科技（Mamba,xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于具身智能感兴趣的请移步具身智能专栏。技术宅麻烦死磕AI架构设计。

总览EAGLE-2

EAGLE-2是一种加速大型语言模型（LLM）推理过程的技术。具体来说，它采用了基于推测性采样（speculative sampling）的技术，它通过引入动态草稿树和草稿模型的置信度分数来提高LLM的推理效率。EAGLE-2能确保模型生成的文本概率分布不变，也使得其成为一种无损加速算法。

推测性采样（Speculative Sampling）是一种通过生成和验证多个候选词来加速LLM推理的方法。具体来说，它首先使用一个小模型快速生成一些候选词（Draft），然后用更大的模型来验证这些候选词正确性。
草稿树（Draft Tree）是一种数据组织结构，用来组织和存储草稿模型（Draft Model）生成的候选词。
动态草稿树（Dynamic Draft Trees）是在EAGLE-2过引入的，它改进了传统静态草稿树的局限性。动态草稿树会根据草稿模型的置信度分数和生成上下文，动态调整草稿树的结构。
置信度分数是指草稿模型对某个候选词的信心程度，它近似表示该候选词被最终模型接受的概率。

先来感受一下EAGLE-2技术令人震撼的效果，在各种的模型的推理上遥遥领先，基本面能够达到3-4倍数的加速。

上面的统计结果在temperature=0时候的加速比。

temperature是LLM推理的超参数。大模型在预测下一个字符的时候，会针对词汇表的所有候选者都生产预测的概率，0代表选择永远选择概率最高的。随着temperature设置数据的增加，下一个预测字符的随意性就会增加

上图中，对于推测采样，Vicuna系列使用Vicuna-68M作为草稿模型。LLaMA2-Chat 7B、13B 和 LLaMA3-Instruct 8B缺乏合适的草稿模型，标记为 N/A。LLaMA2-Chat 70B和 LLaMA3-Instruct 70B分别使用LLaMA2-Chat 7B和LLaMA3-Instruct 8B作为草稿模型。在表 1 中展示了与其他方法的比较，但该图仅展示了一个子集，包括这些方法中最快的EAGLE。

Speculative Sampling

推测采样技术

推测采样技术是鼻祖，其核心思想是先起草（Draft）然后验证（Verification）：快速生成一个可能正确的草案，然后检查草案中哪些Token可以被接受。

2023年5月份提出的一种推测技术如上图所示，每行代表算法一次迭代。

此处的近似模型，或者称为草稿模型的是一个6M的类GPT的解码器。这个模型是利用8k个Token训练出来的，目标模型是具有97M个参数的类GPT解码器！

绿色标记是近似（草稿）模型提出的建议，而被目标模型接受，而红色和蓝色标记分别是被拒绝的建议及其更正。例如，在第一行中，目标模型仅运行了一次，生成了5个Token。

2024年2月份的Ouroboros针对打草稿的技术进行加速。它从前瞻解码中得到启发，使用草稿短语直接加速目标模型T。因为每轮草稿短语都需要目标模型T的前向传递来验证，因此限制了前瞻解码的整体加速效果。

它先通过使用现有的较小模型（橙色部分）进行草稿，然后以低成本生成草稿短语（粉色部分），紧接这并行的方式使用目标LLM来验证草稿。在这种草稿-验证框架下，打草稿的效率已成为这种推测采样技术的加速瓶颈。但是它以较低的成本生成更长的草稿可以带来更好的解码加速，而且它无需对草稿和目标模型进行微调。

一句话，作为幕后代笔的草稿模型而言，打草稿的效率十分重要！！

与前瞻解码不同，它使用草稿短语通过草稿模型S间接加速目标模型T，让目标模型的每次Forward（大白话，吐新的Token）可以同时验证多轮短语，从而实现更好的加速。如图2所示，在Ouroboros中，草稿模型的起草过程是逐个草稿短语而不是逐个Token进行，在草稿模型的每次Forward传递过程中，都会并行生成多个新短语。<如何生成另外讲解！>

EAGLE

2024年1月份的EAGLE是对抽样技术的改进。在提交这项工作时，EAGLE在Spec-Bench中排名第一，这是一个很全面的评估基准，旨在评估不同场景中的推测采样的技术。

EAGLE 的流水线。上半部分说明了计算过程，下半部分显示了每个步骤对应的生成结果。在上半部分中，绿色块表示token嵌入，橙色块表示特征f，红色框表示草稿模型的预测，带有雪花图标的蓝色模块表示目标大模型LLM的参数，这些参数是冻结的。

上图为起草阶段。与自回归预测 token序列的标准推测性抽样不同，EAGLE 在更结构化的特征级别运行，即使用LLM原始的LM Head获取草稿token。为了消除不确定性，EAGLE还带上每个阶段的特征（可以大致理解为上下文）f。

验证阶段。在标准推测性抽样中，草稿是链式结构的，如果草稿token被拒绝，则需要丢弃所有后续 token。EAGLE 使用树形结构草稿，允许在草稿 token被拒绝时尝试替代分支。图b说明了两者之间的差异。

EAGLE Vs EAGLE-2

EAGLE和EAGLE-2之间的差异。EAGLE始终使用固定的草稿形状。当查询为“10+2=”时，下一个标记很可能被正确预测为“1”。但是，使用静态草稿树，即便另一个候选“3”正确的概率非常低，EAGLE仍会添加两个候选。而EAGLE-2根据上下文调整草稿树的形状。当查询为“10+2”时，下一个标记很难预测，因此 EAGLE-2 添加了两个候选。对于更简单的查询“10+2=”，EAGLE-2仅添加一个候选“1”。

由此可以看到EAGLE-2根据上下文动态调整草稿树，增强推测性抽样。其方法包括两个主要阶段：扩展和重新排名。该过程从扩展阶段开始，在该阶段，草稿模型从草稿树的最新层输入最有希望的节点以形成下一层。来自草案模型的置信度分数可以用于接受率，从而可以有效地预测和验证Token。在重新排名阶段，会选择接受概率较高的Token作为目标LLM的输入。

这种两阶段方法确保草稿树适应上下文，显著提高Token被目标大模型接受的概率。同时消除了多次Forward的推理，在不影响生成文本质量的情况下加快了推理过程。

下图为EAGLE-2这种技术在多个模型推理上面的提升倍数。