Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Lewis P, Perez E, Piktus A, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks[J]. Advances in Neural Information Processing Systems, 2020, 33: 9459-9474.

RAG结合了信息检索和文本生成两种方法，旨在突破传统问答系统的局限。通过将外部数据检索的相关信息输入大语言模型，大语言模型能够基于这些信息生成回答，进而增强答案生成的能力。RAG能够处理更广泛、更复杂的问题。使用RAG后可以有效解决大语言模型细分领域的幻觉和知识过期问题。

1、RAG的和核心组件

（1）信息检索
（2）文本生成

2、RAG工作流程

（1）最基础的RAG

（2）增加预处理查询的RAG

（3）带有聊天历史的RAG

（4）增加自动排序的RAG

3、RAG在Chatbot中的应用

（1）提高回应的相关性和准确性
（2）处理复杂查询
（3）增强个性化和上下文理解能力

4、RAG面临的挑战

（1）检索与生成的协同工作：检索到的内容与生成的内容能否紧密结合是一个关键问题。
（2）计算效率：执行检索和生成着两个步骤可能导致系统响应延迟，使整个系统的运行速度变慢，因此对时间敏感的应用而言，RAG可能不太适用。
（3）数据噪声：外部检索的数据可能带有噪声，这会影响生成内容的准确性。

5、RAG与Fine-tuning

RAG和Fine-tuning都是强大的工具，可以增强大语言模型应用的性能，但它们针对的是优化过程的不同方面。两者是截然不同的两种技术，不是替代关系，而是关联关系，在不同场景下应该选择不同的方案。

对比项	RAG	Fine-tuning
需要获取外部数据吗	yes	no
需要改变模型行为模式吗	no	yes
幻觉有最小化吗	yes	no
训练数据充足吗	no	yes
数据动态性高吗	yes	no
数据可解释度如何	yes	no

参考

• Chatbot从0到1（第2版）：对话式交互实践指南
• 浅谈RAG的十大挑战