原文地址:Time-Aware Adaptive RAG (TA-ARE)
2024 年 3 月 1 日
介绍
随着大型语言模型(LLM)的出现,出现了新兴能力的概念。前提或假设是LLMs具有隐藏的和未知的能力,等待被发现。企业家们渴望在LLMs中发现一些无人知晓的竞争优势。
事实证明,新兴能力只是海市蜃楼。但LLMs的特殊能力被发现是情境学习(ICL)。当在推理时提供上下文数据时,LLMs有能力在生成响应时引用上下文数据。因此,根据提示的指示,LLMs将丢弃模型训练数据,并利用推理数据。
时间感知自适应检索 (TA-ARE) 是一种简单而有效的方法,可帮助LLMs评估检索的必要性,而无需校准或额外培训。
检索增强生成 (RAG)
在推理时向LLMs提供上下文数据被称为 RAG。LLM 响应生成通过推理时检索到的补充数据进行补充或增强的概念。
无论输入问题如何,标准 RAG 始终进行检索,而自适应检索仅在必要时进行检索。
时间感知自适应 RAG (TA-ARE)
研究结果
研究提到,RAG 总体上提高了问答的性能。这已经被一再证实,现在被视为理所当然。
- 时间意识,该研究发现许多查询与时间相关,用户提出问题时会指定时间范围作为定义问题的函数。
- 普通提示的有效性各不相同,并且不随模型大小而变化。考虑下图,为了使提示能够很好地扩展,需要引入复杂性;从步骤 1 到步骤 8。
- 尽管LLMs可以被描述为知识密集型,但LLMs确实很难应对知识密集型用户任务;有两个原因。
- LLMs通常缺乏也不掌握什么可以称为新世界知识。
- 长尾知识更难解决;这个问题类似于意图分布的长尾问题。
TA-ARE
标准 RAG 方法不加区别地进行检索,并且不对输入查询执行分类。这种一揽子方法可能会导致任务绩效不佳。这也会加剧推理成本。
自适应 RAG的概念动态地确定检索的必要性,并且在认为不必要时仅依赖于LLMs的参数知识。
ARAG方法可以分为基于校准的判断和基于模型的判断。问题在于需要调整不同数据集和模型的阈值,以平衡任务性能和推理开销。
TA-ARE 研究LLMs可以在多大程度上通过提示执行免校准自适应检索。
为了回答这个问题,需要评估LLMs是否只在必要时检索。
这就需要一个基准来区分可以使用LLMs参数知识回答的问题和需要通过检索获得外部信息的问题。
研究贡献
创建一个新的数据集RetrievalQA来评估用于短格式开放域 QA 的自适应 RAG (ARAG)。
对现有方法进行基准测试发现,普通提示不足以指导LLMs做出可靠的检索决策。
TA-ARE 是一种概念化的简单而有效的方法,可以帮助LLMs评估检索的必要性,而无需校准或额外培训。
结论
显而易见的是,为了框架的扩展,需要引入复杂性。
在分配进程之前对用户输入进行分类的自适应 RAG 需要对各种阈值进行校准。
时间感知自适应检索 (TA-ARE) 的承诺是,它是一种简单而有效的方法,可以帮助LLMs评估检索的必要性,而无需校准或额外培训。
RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering