前言

在人工智能领域，处理和理解大量文本数据始终是一个挑战。随着大型语言模型（LLMs）的出现，自动化地进行复杂的语义理解和文本摘要变得可能。检索增强生成（RAG）方法因其能有效结合检索与生成技术，显著提升AI系统的回答准确性，备受关注。微软最新开源的GraphRAG正是此类技术的典型代表，通过图谱构建与检索增强生成的有机结合，提供了强大的信息处理与问题解答能力

什么是GraphRAG

使用检索增强生成（RAG）技术从外部知识源检索相关信息，使大型语言模型（LLMs）能够在私有和/或之前未见过的文档集合上回答问题。然而，RAG在针对整个文本语料库的全局问题上失败了，例如“数据集中的主要主题是什么？”，因为这本质上是一个面向查询的摘要（QFS）任务，而不是一个明确的检索任务。与此同时，先前的QFS方法未能扩展到典型RAG系统所索引的文本量。为了结合这些对比方法的优势，微软公司的研究人员提出了一种图RAG方法，用于在私有文本语料库上进行问题回答，该方法随着用户问题的普遍性和要索引的源文本量而扩展。

GraphRAG利用大型语言模型（LLMs）构建知识图谱并回答用户问题，基于图的、实现检索增强生成。与传统的RAG方法相比，GraphRAG通过创建基于图的文本索引，增强了对数据的全局理解能力，特别是在处理需要跨文档或跨领域综合信息的查询时。不仅能够处理大量信息，还能通过连接这些信息提供更深入的见解。

GraphRAG能做什么

GraphRAG具备以下功能：

信息连接与解答：能够跨越大量文档，连接信息，回答复杂问题。

主题摘要：能够对数据集中的主要主题进行总结和提取，适用于抽象或主题性的查询, 并且不收集用户数据。

噪音处理与辨别：在处理混杂信息和虚假信息时，能提供可靠的分析支持。

比较GraphRAG和传统基于向量数据库的RAG的区别

传统的基于向量数据库的RAG方法主要依赖于关键词和向量搜索，存在以下局限：

信息连接能力：传统方法难以有效连接跨文档的信息，GraphRAG则通过知识图谱的构建，实现信息的高效关联。

答案准确性：GraphRAG通过多重验证机制，减少了回答中的错误和“幻觉”现象，提高了回答的准确性和可信度。

处理复杂问题：GraphRAG擅长处理需要跨越多个文档的信息整合，适用于解决更为复杂的查询问题。

相比之下，GraphRAG通过构建知识图谱，利用社区检测算法将图分割成模块化社区，每个社区包含紧密相关的节点。这种方法不仅能够提供对数据集全局结构的深入理解，还能够生成更为全面和多样化的答案。

亲自尝试GraphRAG

微软已经将GraphRAG开源，并在GitHub上提供了相关代码库。开源的GraphRAG项目包括了一个解决方案加速器，提供了简单易用的API体验，并且这些API已经被托管到Azure上，使得开发者可以无需编写任何代码，通过几次点击即可部署GraphRAG：

GitHub - microsoft/graphrag: A modular graph-based Retrieval-Augmented Generation (RAG) system。

部署指南：

graphrag-accelerator/docs/DEPLOYMENT-GUIDE.md at main · Azure-Samples/graphrag-accelerator · GitHub

开发指南：

graphrag-accelerator/docs/DEVELOPMENT-GUIDE.md at main · Azure-Samples/graphrag-accelerator · GitHub

总结

GraphRAG作为一种先进的检索增强生成方法，凭借其在信息连接、准确性及处理复杂问题方面的显著优势，未来将在多个领域展现广阔的应用前景。随着技术的不断完善和推广，GraphRAG有望在智能搜索、数据分析及智能问答等方面发挥重要作用，助力实现更为智能和高效的信息处理。

参考文献

https://www.landiannews.com/archives/104784.html https://github.com/microsoft/graphrag/blob/main/RAI_TRANSPARENCY.md https://arxiv.org/pdf/2404.16130