RAG中的代表性上下文压缩方案总结：从RECOMP、CompAct到COCOM

今天是2024年11月5日，星期二，北京，天气晴

昨天有说到RAG中的长文本压缩，现有的上下文压缩方法主要分为基于词汇的压缩（硬提示，如LLMLingua和RECOMP）和基于嵌入的压缩(软提示，如Gist、AutoCompressor和ICAE)。前者通过选择或总结上下文中的重要词或短语来减少上下文大小，后者则通过嵌入模型将上下文转换为较少的嵌入token。

但这个对于不同的场景，会有不同的方案，我们来具体看下RAG这个场景的代表方案，可以收藏后续看。

一、基于硬提示的RAG上下文压缩方案

1、RECOMP

《RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation》, https://arxiv.org/abs/2310.04408

其核心思想为，通过在上下文增强之前将检索到的文档压缩成文本摘要来提高语言模型的性能，同时减少计算成本。

实现上，包括两个压缩器，

一个是提取式压缩器，从检索到的文档集中选择相关句子。该方法训练一个双编码器模型，将句子和输入序列嵌入到固定维度的嵌入空间中，并通过计算它们的内积来评估句子的有用性。最终摘要是从与输入最相关的句子中选择的前N个句子。

一个是生成式压缩器，通过综合多个检索到的文档中的信息来生成摘要。该方法从一个极端规模的LM（如GPT-3）中蒸馏出一个轻量级的生成式压缩器，使用教师模型生成摘要，并通过一个裁判模型评估生成的摘要对目标任务的表现，选择表现最好的摘要进行训练。

2、CompAct

《Compressing Long Context for Enhancing RAG with AMR-based Concept Distillation》, https://arxiv.org/pdf/2405.03085，其思想在于，使用基于AMR（Abstract Meaning Representation）的概念蒸馏算法来压缩长文本，通过从AMR图中提取关键概念节点，将冗余的支持文档转换为简洁的概念集。

在具体实现上，首先是设计基于概念的RAG框架，该框架通过从原始支持文档中提取的关键概念来增强LLMs的推理能力。框架包括三个主要组件：信息检索、概念蒸馏和基于概念的推理。

其次在这个基础上，采用一种AMR概念蒸馏算法，将支持文档从连续序列转换为离散概念，核心思路为：使用mBart-based解析器将支持文档解析为AMR图；设计SplitSnt函数将AMR图分割成基于句子的子图；通过深度优先搜索（DFS）遍历AMR图中的节点，提取关键概念并格式化为概念集合；处理特殊角色（如:name, :wiki, :date-entity）以确保概念的完整性和一致性；使用ConceptFormat和ConceptBacktrace函数过滤和回溯概念，确保概念与原始支持文档的语义一致。

3、FAVICOMP

《Familiarity-aware Evidence Compression for Retrieval Augmented Generation》,https://arxiv.org/abs/2409.12468，一般RAG面临的主要挑战是LM难以过滤掉多个证据片段中的不一致和不相关信息。FAVICOMP通过引入一种新的集成解码技术，主动降低压缩证据的困惑度，使其对目标模型更熟悉。

具体包括两个步骤：

一个是证据压缩，首先，使用一个压缩模型将检索到的证据文档压缩成一个与输入相关的简洁上下文。压缩模型的目标是将证据文档生成一个查询相关的摘要。

另一个是集成解码，为了使压缩后的证据对目标模型更加熟悉，FAVICOMP引入了集成解码技术。具体来说，在解码过程中，结合压缩模型和目标模型的token概率，选择概率最高的token。

二、基于软提示的RAG上下文压缩方案

1、xRAG

《xRAG: Extreme Context Compression for Retrieval-augmented Generation with One Token》（https://arxiv.org/abs/2405.13792, https://github.com/Hannibal046/xRAG），这个工作通过模态融合的方式将文档嵌入直接投影到LLM的表示空间中，从而实现极端的压缩率。

实现上，xRAG通过重新解释密集检索中的文档嵌入，将其视为检索模态的特征，从而实现上下文压缩。具体地，xRAG引入了一个模式投影器W，该投影器被训练以直接将检索特征E投影到语言模型（LLM）的表示空间中。这样，输入到LLM的表示就从传统的嵌入层Emb(D⊕q)变为W(E)⊕Emb(q)，大大减少了输入的长度。

2、COCOM

《Context Embeddings for Efficient Answer Generation in RAG》, https://arxiv.org/pdf/2407.09252，这个工作通过一个压缩器模型将长上下文压缩成少量上下文嵌入。压缩器模型与生成器模型相同，使用相同的预训练语言模型，并通过自编码任务，训练压缩器模型和生成器模型联合学习如何有效地压缩和解压缩上下文。