GraphRAG深入解析

GraphRAG深入解析

  • GraphRAG 深入解析
    • 概述
      • 索引
      • 查询
    • 索引过程深入解析
      • 步骤 1:处理文本块
      • 步骤 2:图提取
      • 步骤 3:图增强
      • 步骤 4:社区总结
      • 步骤 5:文件处理
      • 步骤 6:网络可视化
    • 查询过程深入解析
      • 本地搜索
      • 问题生成
      • 全局搜索

GraphRAG 深入解析

 GraphRAG 是一种结构化的、分层的检索增强生成 (RAG) 方法,不同于使用纯文本片段的简单语义搜索方法。GraphRAG 流程包括从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要,然后在执行基于 RAG 的任务时利用这些结构。

 检索增强生成 (RAG) 是一种使用真实世界的信息改进 LLM 输出的技术。这种技术是大多数基于 LLM 的工具的重要组成部分,大多数 RAG 方法使用向量相似性作为搜索技术,我们称之为 Baseline RAG。GraphRAG 使用知识图谱在推理复杂信息时大幅提高问答性能。RAG 技术在帮助 LLM 推理私有数据集方面显示出良好的前景- 私有数据集是 LLM 未经过训练且从未见过的数据,例如企业的专业研究、商业文档或通信。Baseline RAG 的创建是为了帮助解决这个问题,但我们观察到 Baseline RAG 表现非常差的情况。例如:

  • 基线 RAG 难以将各个点连接起来。当回答问题需要通过共享属性遍历不同的信息片段以提供新的综合见解时,就会发生这种情况。
  • 当被要求全面理解大型数据集合甚至单个大型文档中的总结语义概念时,基线 RAG 的表现不佳。

 为了解决这一问题,技术社区正在努力开发扩展和增强 RAG 的方法。微软研究院的新方法 GraphRAG 使用 LLM 根据输入语料库创建知识图谱。该图谱与社区摘要和图形机器学习输出一起用于增强查询时的提示。GraphRAG 在回答上述两类问题方面表现出了显著的进步,表现出的智能或掌握程度优于之前应用于私有数据集的其他方法。

概述

 GraphRAG 建立在微软之前使用图机器学习的研究和工具的基础上。GraphRAG 流程的基本步骤包含索引和查询两部分。

索引

  1. 将输入语料库切分为一系列 TextUnit,这些 TextUnit 作为其余过程的可分析单元,并在我们的输出中提供细粒度的参考。
  2. 使用 LLM 从 TextUnits 中提取所有实体、关系和关键声明。
  3. 使用莱顿算法对图表进行层次聚类。
  4. 自下而上地生成每个社区及其组成部分的摘要。这有助于整体理解数据集。

查询

 在查询时,这些结构用于在回答问题时为 LLM 上下文窗口提供材料。主要查询模式包括:

  • 利用社区摘要对语料库的整体问题进行全局搜索推理。
  • 本地搜索通过向邻居和相关概念展开来推理特定实体。

索引过程深入解析

 本节主要介绍工作流如何将文本文档转换为 GraphRAG 知识模型,主要分为六个阶段。索引工作流的完整配置,请查看配置文档。


六阶段数据处理工作流预览

步骤 1:处理文本块

 将输入文档转换为 TextUnits。使用文本分段技术将文档进行分块,文本块还作为实体和关系的来源被提取的图引用,便于追溯到原始文本。对于文本块大小的设置需要考虑具体使用情况,一般较大的块会导致输出保真度较低,参考文本意义较小;但是,使用较大的块可以大大缩短处理时间。文档和文本单元之间一般存在严格的一对多关系,在极少数情况下,这可以变成多对多关系(当文档很短并且我们需要其中几个来组成一个有意义的分析单元)。
文本转换为文本块

步骤 2:图提取

 在此阶段,分析每个文本单元并提取图元素:实体、关系和协变量。

图元素提取

  • 实体和关系提取

 在图提取的第一步中,我们处理每个文本单元,以便使用 LLM 从原始文本中提取实体和关系。此步骤的输出是每个文本单元的子图,其中包含具有名称、类型和描述的实体列表,以及具有源、目标和描述的关系列表。这些子图合并在一起,任何具有相同名称和类型的实体都通过创建其描述数组进行合并。同样,任何具有相同源和目标的关系都通过创建其描述数组进行合并。

  • 实体和关系摘要

 现在我们有了实体和关系图,每个图都有一串描述,我们可以将这些列表汇总为每个实体和关系的单个描述。这可以通过要求 LLM 提供简短的摘要来完成,该摘要捕获每个描述中的所有不同信息。这使得我们所有的实体和关系都有一个简洁的描述。

  • 实体消歧(微软 GraphRAG 配置默认是不启用的)

 图提取的最后一步是解析任何代表相同现实世界实体但名称不同的实体。由于这是通过 LLM 完成的,并且我们不想丢失信息,因此我们希望采取保守、非破坏性的方法。
 然而,我们目前对实体解析的实现是破坏性的。它将为 LLM 提供一系列实体,并要求其确定哪些实体应该合并。然后,这些实体将合并为一个实体,并更新它们的关系。
 我们目前正在探索其他实体解析技术。在不久的将来,实体解析将通过在实体变体之间创建一条边来执行,表明实体已被索引引擎解析。这将允许最终用户撤消索引端解析,并使用类似的过程添加自己的非破坏性解析。

  • 协变量提取

 最后,作为一个独立的工作流程,我们从源 TextUnits 中提取声明。这些声明代表具有评估状态和时间限制的积极事实陈述。它们作为称为协变量的主要工件发出(协变量在本地搜索模式中被引用)。

步骤 3:图增强

 现在我们有了可用的实体和关系图,我们希望了解它们的社区结构,并用其他信息扩充该图。这分为两个步骤:社区检测和图嵌入。这为我们提供了显式(社区)和隐式(嵌入)方法来理解图的拓扑结构。

图增强

  • 社区检测

 在此步骤中,我们使用分层莱顿算法生成实体社区的层次结构。此方法将对我们的图应用递归社区聚类,直到达到社区规模阈值。这将使我们能够了解图的社区结构,并提供一种在不同粒度级别上导航和总结图的方法。

  • 图嵌入

 在此步骤中,我们使用 Node2Vec 算法生成图中节点的向量表示。这将使我们能够理解图的隐式结构,并提供额外的向量空间,以便在查询阶段搜索相关概念。

步骤 4:社区总结

社区总结

 此时,我们有一个实体和关系的图、实体的社区层次结构以及 node2vec 嵌入。
 现在,我们希望基于社区数据并为每个社区生成报告。这让我们可以从多个粒度点对图表有一个高层次的了解。例如,如果社区 A 是顶级社区,我们将获得有关整个图表的报告。如果社区是较低级别的,我们将获得有关本地集群的报告。

  • 生成社区报告

 在此步骤中,我们使用 LLM 生成每个社区的摘要。这将使我们能够了解每个社区中包含的独特信息,并从高级或低级角度提供对图表的范围理解。这些报告包含执行概述,并引用社区子结构中的关键实体、关系和声明。

  • 总结社区报告

 在此步骤中,每个社区报告都会通过 LLM 进行总结,以供摘要使用。

  • 社区嵌入

 在此步骤中,我们通过生成社区报告、社区报告摘要和社区报告标题的文本嵌入来生成我们社区的向量表示。

步骤 5:文件处理

 在工作流程的这个阶段,开始处理文档图谱核心步骤包括文本块图谱的创建和文档的向量化表示。

文件处理

  • 链接到 TextUnits

 在此步骤中,我们将每个文档链接到第一阶段创建的文本单元,创建文本块之间的上下文关系。这使我们能够了解哪些文档与哪些文本单元相关。

  • 文档嵌入

 在此步骤中,我们使用文档切片的平均嵌入来生成文档的向量表示。我们对不重叠的块重新分块文档,然后为每个块生成嵌入。我们创建这些块的平均值,并按标记计数加权,并将其用作文档嵌入。这将使我们能够理解文档之间的隐式关系,并帮助我们生成文档的网络表示。

步骤 6:网络可视化

 在工作流程的这个阶段,我们执行了一些步骤来支持现有图中高维向量空间的网络可视化。此时有两个逻辑图表在起作用:实体关系图和文档图。

网络可视化

 对于每个逻辑图,我们执行 UMAP 降维以生成图的 2D 表示。这将使我们能够在 2D 空间中可视化图并了解图中节点之间的关系。然后将 UMAP 嵌入作为 Nodes 表发出。该表的行包括一个鉴别器,指示节点是文档还是实体,以及 UMAP 坐标。

查询过程深入解析

 查询引擎是 Graph RAG 库的检索模块。它是 Graph RAG 的核心组件之一。它负责以下任务:

  • 本地搜索
  • 全局搜索
  • 问题生成

本地搜索

  • 基于实体的推理
     本地搜索方法通过将 LLM 提取的知识图谱中的相关数据与原始文档的文本块相结合来生成答案。此方法适用于需要了解文档中提到的特定实体的问题(例如,洋甘菊的治疗功效是什么?)。

  • 方法论

本地搜索数据流

 给定用户查询和(可选)对话历史记录,本地搜索方法会从知识图谱中识别出一组与用户输入在语义上相关的实体。这些实体可作为知识图谱的访问点,从而提取更多相关详细信息,例如连接实体、关系、实体协变量和社区报告。此外,它还会从与已识别实体相关的原始输入文档中提取相关文本块。然后对这些候选数据源进行优先排序和筛选,以适应预定义大小的单个上下文窗口,该窗口用于生成对用户查询的响应。

问题生成

  • 基于实体的问题生成
     问题生成方法将知识图谱中的结构化数据与输入文档中的非结构化数据相结合,生成与特定实体相关的候选问题。此功能获取用户查询列表并生成下一个候选问题。这对于在对话中生成后续问题或为调查员生成问题列表以深入研究数据集非常有用。

  • 方法论
     给定先前用户问题的列表,问题生成方法使用与本地搜索相同的上下文构建方法来提取和优先处理相关的结构化和非结构化数据,包括实体、关系、协变量、社区报告和原始文本块。然后,这些数据记录被放入单个 LLM 提示中,以生成代表数据中最重要或最紧急的信息内容或主题的候选后续问题。

全局搜索

  • 基于整个数据集推理
     全局搜索方法通过以 map-reduce 方式搜索所有 AI 生成的社区报告来生成答案。这是一种资源密集型方法,但通常可以很好地回答需要了解整个数据集的问题(例如,本笔记本中提到的药材最重要的价值是什么?)。

在这里插入图片描述

 上图是一个经典的 MapReduce 原理图结构,包含以下主要步骤(包含全局 GraphRAG 流程的简单注解)。

  1. 将 input 的文件拆分成 splits,由于测试用的文件较小,所以每个文件作为一个 split,并将文件按行分割。这一步由 mapreduce 框架自动完成。(通过向量检索语义相关的社区)
  2. 将分割好的文件交给用户定义的 map 方法进行处理,生成<key,value>对。(生成社区和用户问题相关程度的分值,和社区节点本身组成 MAP)
  3. 得到 map 方法输出的<key,value>对后,shuffle 过程,会把相同 key 值相同的放到一起。(社区结果基于与问题的相关度做 Shuffle,可以理解成分组)
  4. Reduce 过程,把 key 值相同 value 值累加,得到新的<key,value>对,并作为 word count 的输出结果。(组内综合打分后排序过滤 0 分的结果,然后由 LLM 生成回复)

 Baseline RAG 很难处理需要汇总整个数据集的信息才能得出答案的查询。诸如“数据中的前 5 个主题是什么?”之类的查询表现不佳,因为 Baseline RAG 依赖于对数据集内语义相似的文本内容进行向量搜索。查询中没有任何内容可以将其引导至正确的信息。

 但是,使用 GraphRAG,我们可以回答这些问题,因为 LLM 生成的知识图谱的结构告诉我们整个数据集的结构(以及主题)。这允许将私有数据集组织成预先汇总的有意义的语义集群。使用我们的全局搜索方法,LLM 在响应用户查询时使用这些集群来总结这些主题。

  • 方法论

全局搜索数据流

 给定用户查询和(可选)对话历史记录,全局搜索方法使用来自图的社区层次结构指定级别的 LLM 生成的社区报告集合作为上下文数据,以 map-reduce 方式生成响应。在此 map 步骤中,社区报告被分割成预定义大小的文本块。然后使用每个文本块生成一个中间响应,其中包含一个要点列表,每个要点都附有数字评级,表明该要点的重要性。在此步骤中,reduce 从中间响应中筛选出的一组最重要的要点被汇总并用作上下文来生成最终响应。

 全局搜索响应的质量可能在很大程度上受到选择用于获取社区报告的社区层级的影响。较低层级的报告较为详细,因此往往会产生更全面的响应,但由于报告数量较多,生成最终响应所需的时间和 LLM 资源也可能会增多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/50213.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

苹果安卓分发的秘密:如何选择正确的渠道(苹果安卓分发)

苹果安卓分发的重要性 随着移动互联网的普及&#xff0c;移动应用程序的开发和分发变得越来越重要。苹果安卓分发是移动应用程序开发者的首要任务之一&#xff0c;因为它直接关系到应用程序的推广和收益。 苹果安卓分发并不是一件简单的事情。开发者需要选择正确的渠道&#…

Pytorch使用教学5-视图view与reshape的区别

有同学后台留言问为什么view有时可对张量进行形变操作&#xff0c;有时就会报错&#xff1f;另外它和reshape功能好像一致&#xff0c;有什么区别呢&#xff1f;本文就带你了解PyTorch中视图的概念。 在PyTorch中对张量进行形变操作时&#xff0c;很多同学也会使用view方法&am…

监测Nginx访问日志状态码,并做相应动作

文章目录 引言I 监测 Nginx 访问日志情况,并做相应动作1.1 前提准备1.2 访问日志 502 情况,重启 bttomcat9服务1.3 其他案例:访问日志 502 情况,重启 php-fpm 服务II 将Shell 脚本check499.sh包装成systemd服务2.1 创建systemd服务2.2 配置service2.3 开机启动2.4 其他常用…

华为ICT大赛之ensp软件BGP原理与配置

BGP基础 1.用于不同自治系统AS(autonomous system)之间动态交换路由信息&#xff1b; BGP取代EGP(exterior gateway protocol)外部网关协议&#xff0c;BGP在其发布路由信息基础上可以进行路由优选&#xff0c;高效处理路由信息&#xff1b; AS:同一组织管理下&#xff0c;使…

RK3568平台(显示篇)显示系统基本概念

一.显示系统概述 linux内核中包含两类图形显示设备驱动框架&#xff1a; FB设备&#xff1a;Framebuffer图形显示框架;DRM&#xff1a;直接渲染管理器&#xff08;Direct Rendering Manager&#xff09;&#xff0c;是linux目前主流的图形显示框架&#xff1b; 在实际场景中…

打通“链上数据脉络” 欧科云链数字生态建设成果凸显

7月25日&#xff0c;据Coindesk报道&#xff0c;全球领先的区块链技术和服务提供商欧科云链宣布旗下OKLink浏览器与Polygon Labs正式达成合作&#xff0c;成为AggLayer首个区块链搜索引擎及Web3数据分析平台&#xff0c;将为开发者提供精简易用的链上数据访问和开发工具&#x…

MATLAB学习教程(一)

目录 1.常见函数基本运算 2.二维绘制: plot(​..) 3.三维绘制: plot3(​..) / mesh(​..) 4.绘图美化 标题及标签 绘图命令&#xff1a;color 绘图命令&#xff1a;Line 5.代码 1.常见函数基本运算 方根函数sqrt() 自然指数函数exp() 以10为底的对数函…

巴斯勒相机(Basler) ACE2 dart 系列说明和软件

巴斯勒相机(Basler) ACE2 dart 系列说明和软件

了解高防 IP

一、高防 IP 的基本概念 高防 IP 是指拥有强大防御能力的 IP 地址。它主要通过将攻击流量引流到高防机房进行清洗和过滤&#xff0c;再将正常的流量回注到源站&#xff0c;从而保障源站服务器的稳定运行。 二、高防 IP 的工作原理 当用户的服务器遭受 DDoS 攻击时&#xff0…

Ubuntu22.04手动安装fabric release-2.5版本

这个过程稍微有点复杂&#xff0c;但完整操作完成以后会对Fabric网络有更加深入的理解&#xff0c;方便后续自己手动搭建Fabric网络。这个过程需要手动逐个下载Fabric源代码、使用命令下载Fabric镜像和用Git下载例子程序。 Fabric源代码主要用途是用来编译cryptogen、configtx…

redis的使用场景

目录 1. 热点数据缓存 1.1 什么是缓存&#xff1f; 1.2 缓存的原理 1.3 什么样的数据适合放入缓存中 1.4 哪个组件可以作为缓存 1.5 java使用redis如何实现缓存功能 1.5.1 需要的依赖 1.5.2 配置文件 1.5.3 代码 1.5.4 发现 1.6 使用缓存注解完成缓存功能 2. 分布式锁…

【Python Web】Flask扩展开发指南

Flask是一个轻量级的Python Web框架&#xff0c;它提供了丰富的扩展库和工具&#xff0c;可以帮助开发者快速构建Web应用。本篇博客将介绍如何进行Flask扩展开发&#xff0c;包括扩展的创建、配置、使用等方面的内容。 目录 Flask扩展开发指南 一、Flask扩展简介 二、创建Fl…

原子操作类(持续更新,未完结)

目录 基本类型原子类数组类型原子类引用类型原子类对象的属性修改原子类原子操作增强类LongAdder 高性能原理说明LongAdder源码深度解析LongAdder小总结 相关文献 分组来给大家讲解相关原子类的常用api使用&#xff0c;不会全部都讲完&#xff0c;只是抽取几个比较经典的讲一下…

c++树(三)重心

目录 重心的基础概念 定义&#xff1a;使最大子树大小最小的点叫做树的重心 树的重心求解方式 例题&#xff1a; 重心的性质 性质1&#xff1a;重心点的最大子树大小不大于整棵树大小的一半。 性质1证明&#xff1a; 性质1的常用推导 推导1&#xff1a; 推导2&#x…

AI绘画SD中 ControlNet 组件 IP-Adapter 实现风格迁移,AI绘画垫图神器!

大家好&#xff0c;我是画画的小强 今天给大家介绍一下AI绘画SD中ControlNet 的 IP-Adapter 组件&#xff0c;该组件可以方便快捷的帮我们对图片的风格进行迁移&#xff0c;简而言之就是可以参考你放置的图片风格来生成其他图片。 它的效果和reference only有点类似&#xff…

了解网络是如何运作

“Web 的工作原理”提供了一个简化的视图,用于了解在计算机或手机上的 Web 浏览器中查看网页时发生的情况。 这个理论对于短期内编写 Web 代码来说并不是必需的,但不久之后,你就会真正开始从理解后台发生的事情中受益。 客户端和服务器 连接到 Internet 的计算机称为客户端和…

四、面向对象2(30小时精通C++和外挂实战)

四、面向对象2&#xff08;30小时精通C和外挂实战&#xff09; B-01-对象的内存B-02-构造函数B-04-成员变量的初始化B-05-析构函数B-06-内存管理B-07-类的声明和实现分离B-08-命名空间B-09-继承B-10-成员访问权限 B-01-对象的内存 在C中对象可以自由的放在3中地方&#xff0c;而…

【算法】插入排序 与 希尔排序 概念+图解+代码【Python C C++】

1.插入排序 1.1概念 插入排序(InsertionSort)&#xff0c;一般也被称为直接插入排序。 对于少量元素的排序&#xff0c;它是一个有效的算法。插入排序是一种最简单的排序方法&#xff0c;它的基本思想是将一个元素插入到已经排好序的有序表中&#xff0c;从而构造出一个新的…

mathtype7.4永久激活码(mathtype7永久注册码网盘下载)

大家好&#xff0c;我是你们的数学小能手&#xff01;今天我要安利一款超实用的工具——MathType&#xff0c;让你在数学的世界里游刃有余&#xff0c;轻松搞定各种公式和计算。准备好被种草了吗&#xff1f;跟我一起来瞧瞧吧&#xff01; MathType是理科生专用的必备工具&…

EXCEL 排名(RANK,COUNTIFS)

1.单列排序 需求描述&#xff1a;如有下面表格&#xff0c;需要按笔试成绩整体排名。 解决步骤&#xff1a; 我们使用RANK函数即可实现单列整体排名。 Number 选择第一列。 Ref 选择这一整列&#xff08;CtrlShift向下箭头、再按F4&#xff09;。 "确定"即可计算…