【RAG】RAG再进化?基于长期记忆的检索增强生成新范式-MemoRAG

前言

RAG现在工作很多,进化的也很快,再来看看一个新的RAG工作-MemoRAG

文章提出,RAG在减少大模型对于垂类知识的问答幻觉上取得了不错的效果,也成为私域知识问答的一种范式。然而,传统RAG系统主要适用于明确信息需求的问答任务,但在处理涉及模糊信息需求或非结构化知识的复杂任务时表现不佳。因为,现实世界中的许多问题信息需求是模糊的,外部知识是非结构化的,例如理解书籍中主要角色之间的相互关系。

因此,研究难点在于:

  • 如何有效处理模糊的信息需求
  • 如何从非结构化知识中提取有用信息
  • 如何在长文本上下文中进行有效的信息检索和生成

本文介绍的MemoRAG,一种基于长期记忆的检索增强生成新范式。

方法

MemoRAG

  • 传统RAG

    Y = Θ ( q , C ∣ θ ) , C = Γ ( q , D ∣ γ ) Y = \Theta(q, C | \theta), \quad C = \Gamma(q, D | \gamma) Y=Θ(q,Cθ),C=Γ(q,Dγ)

    这里, Y Y Y 表示最终答案, q q q 表示输入查询, C C C表示从相关数据库 D D D 中检索到的上下文, Θ ( ⋅ ) \Theta(·) Θ() Γ ( ⋅ ) \Gamma(·) Γ() 分别表示生成模型和检索模型, θ \theta θ 和 $\gamma $ 表示模型参数。

  • MemoRAG
    MemoRAG提出了一个双系统架构,采用了一个轻量级但长上下文的LLM来形成数据库的全局记忆,并在任务呈现时生成草稿答案,提示检索工具在数据库中定位有用信息。另一方面,它利用一个能力较强的LLM,根据检索到的信息生成最终答案。

    MemoRAG的核心是引入了一个记忆模块

    • y y y 表示由记忆模型 Θ mem ( ⋅ ) \Theta_{\text{mem}}(·) Θmem() 生成的中间答案,用作检索线索。
    • 这个中间答案 y y y 帮助检索模型 Γ ( ⋅ ) \Gamma(·) Γ() 从数据库 D D D 中检索最相关的上下文 C C C

    记忆模型的作用:记忆模型 Θ mem ( ⋅ ) \Theta_{\text{mem}}(·) Θmem() 的设计目的是建立数据库 D D D 的全局记忆,并生成有助于检索的线索 y y y

    记忆模型选型:任何能够有效处理超长上下文的语言模型都可以作为记忆模型。文章也实现了两个记忆模型(memorag-qwen2-7b-inst和memoragmistral-7b-inst)。

记忆模块设计

  1. 输入

    输入序列 X 包含 n 个标记,表示为 $ X = {x_1, \ldots, x_n} $

  2. 标注注意力机制

  3. 短期记忆到长期记忆的转换
    为了将短期记忆转换为长期记忆,引入了记忆标记 $ x_m $ 作为LLMs中长期记忆的信息载体。假设底层LLM $\Theta(\cdot) $ 的工作上下文窗口长度为 $ l $,在每个上下文窗口后,附加 $ k $ 个记忆标记:

    新的注意力变成:

    通过多个注意力过程,原始标记被编码成隐藏状态 $ X[0:l] = {x_1, \ldots, x_l, x_1^{m}, \ldots, x_k^{m}} $,其中 $ {x_1, \ldots, x_l} $ 表示原始标记的隐藏状态,$ {x_1^{m}, \ldots, x_k^{m}} $ 表示记忆标记的隐藏状态。

  4. 记忆模块训练

  • 训练过程

    记忆模块的训练分为两个阶段

    • 预训练:使用来自RedPajama数据集的随机抽样长上下文对模型进行预训练,使记忆模块能够从原始上下文中学习如何形成记忆。
    • 指令微调(SFT):使用特定任务的SFT数据,使MemoRAG能够基于形成的记忆生成特定任务的线索。
  • 训练目标

    这个公式表示训练过程中的目标是最大化给定先前记忆标记 x m 1 , 1 , … , x m i − 1 , k i − 1 x_{m_1,1}, \ldots, x_{m_{i-1},k_{i-1}} xm1,1,,xmi1,ki1 和最近原始标记 x i , 1 , … , x i , j − 1 x_{i,1}, \ldots, x_{i,j-1} xi,1,,xi,j1 的情况下,下一个标记 x i , j x_{i,j} xi,j的生成概率。

通过这种设计,记忆模块能够有效地将大量原始上下文压缩成少量的记忆标记,同时保留关键的语义信息,从而在处理长上下文和高层次查询时提供显著的优势。

基本使用

from memorag import MemoRAG# Initialize MemoRAG pipeline
pipe = MemoRAG(mem_model_name_or_path="TommyChien/memorag-mistral-7b-inst",ret_model_name_or_path="BAAI/bge-m3", gen_model_name_or_path="mistralai/Mistral-7B-Instruct-v0.2", # Optional: if not specify, use memery model as the generatorcache_dir="path_to_model_cache",  # Optional: specify local model cache directoryaccess_token="hugging_face_access_token",  # Optional: Hugging Face access tokenbeacon_ratio=4
)context = open("examples/harry_potter.txt").read()
query = "How many times is the Chamber of Secrets opened in the book?"# Memorize the context and save to cache
pipe.memorize(context, save_dir="cache/harry_potter/", print_stats=True)# Generate response using the memorized context
res = pipe(context=context, query=query, task_type="memorag", max_new_tokens=256)
print(f"MemoRAG generated answer: \n{res}")

运行上述代码时,编码后的键值 (KV) 缓存、Faiss 索引和分块段落都存储在指定的 中save_dir。之后,如果再次使用相同的上下文,则可以快速从磁盘加载数据:

pipe.load("cache/harry_potter/", print_stats=True)

摘要任务

res = pipe(context=context, task_type="summarize", max_new_tokens=512)
print(f"MemoRAG summary of the full book:\n {res}")

实验

在这里插入图片描述

参考文献

  • paper:MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERY,https://arxiv.org/pdf/2409.05591v2
  • code:https://github.com/qhjqhj00/MemoRAG

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/52933.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HTML5超酷炫的水果蔬菜在线商城网站源码系列模板1

文章目录 1.设计来源1.1 主界面1.2 商品列表界面1.3 商品详情界面1.4 其他界面 2.效果和源码2.1 动态效果2.2 源代码 源码下载 作者:xcLeigh 文章地址:https://blog.csdn.net/weixin_43151418/article/details/142059238 HTML5超酷炫的水果蔬菜在线商城网…

软件工程毕业设计开题汇总

文章目录 🚩 1 前言1.1 选题注意事项1.1.1 难度怎么把控?1.1.2 题目名称怎么取? 1.2 开题选题推荐1.2.1 起因1.2.2 核心- 如何避坑(重中之重)1.2.3 怎么办呢? 🚩2 选题概览🚩 3 项目概览题目1 : 大数据电商…

Linux 开发工具(vim、gcc/g++、make/Makefile)+【小程序:进度条】-- 详解

目录 一、Linux软件包管理器 - yum(ubuntu用apt代替yum)1、Linux下安装软件的方式2、认识 yum3、查找软件包4、安装软件5、如何实现本地机器和云服务器之间的文件互传 二、Linux编辑器 - vim1、vim 的基本概念2、vim 下各模式的切换3、vim 命令模式各命令…

WebGL系列教程八(GLSL着色器基础语法)

目录 1 前言2 基本原则3 基本数据类型4 顶点着色器和片元着色器4.1 声明4.2 初始化项目4.3 赋值 5 结构体5.1 声明5.2 赋值 6 函数6.1 基本结构6.2 自定义函数6.3 常用内置函数 7 精度8 其他9 总结 1 前言 通过前七讲,我们已经见过了WebGL中的部分基础语法&#xff…

Java语言程序设计——篇十一(3)

🌿🌿🌿跟随博主脚步,从这里开始→博主主页🌿🌿🌿 欢迎大家:这里是我的学习笔记、总结知识的地方,喜欢的话请三连,有问题可以私信🌳🌳&…

Google大数据架构技术栈

数据存储层 Colossus Colossus作为Google下一代GFS(Google File System)。 GFS本身存在一些不足 单主瓶颈 GFS 依赖单个主节点进行元数据管理,随着数据量和访问请求的增长,出现了可扩展性瓶颈。想象一下,只有一位…

人工智能——猴子摘香蕉问题

一、实验目的 求解猴子摘香蕉问题,根据猴子不同的位置,求解猴子的移动范围,求解对应的过程,针对不同的目标状态进行求解。 二、实验内容 根据场景有猴子、箱子、香蕉,香蕉挂天花板上。定义多种谓词描述位置、状态等…

Git使用详解:从安装到精通

前言 什么是Git Git是一个分布式版本控制工具,主要用于管理开发过程中的源代码文件(Java类、xml文件、html页面等),在软件开发过程中被广泛使用。 可以理解: git是一个管理源代码的工具,主要用于企业团队开…

Python编码系列—Python原型模式:深克隆与高效复制的艺术

🌟🌟 欢迎来到我的技术小筑,一个专为技术探索者打造的交流空间。在这里,我们不仅分享代码的智慧,还探讨技术的深度与广度。无论您是资深开发者还是技术新手,这里都有一片属于您的天空。让我们在知识的海洋中…

通信工程学习:什么是FDMA频分多址

FDMA:频分多址 FDMA(Frequency Division Multiple Access,频分多址)是一种在无线通信领域广泛应用的多址技术。该技术通过将可用的频谱资源按频率划分,把传输频带划分为若干较窄且互不重叠的子频带(或称信道…

【C语言】malloc()函数详解(动态内存开辟函数)

🦄个人主页:修修修也 🎏所属专栏:C语言 ⚙️操作环境:Visual Studio 2022 目录 一.malloc()函数简介 1.函数功能 2.函数参数 📌size_t size 3.函数返回值 4.函数头文件 5.函数生成空间(与calloc区别) 二.malloc()函数的具体使用 1.使…

STL值list

list容器 头文件&#xff1a;#include<list> - list是一个双向链表容器&#xff0c;可高效地进行插入删除元素 - list不可以随机存取元素&#xff0c;所以不支持at.(pos)函数与[]操作符 注&#xff1a;list使用迭代器访问数据时可以一步一步走自增自减&#xff08;即…

分享一个基于微信小程序的居家养老服务小程序 养老服务预约安卓app uniapp(源码、调试、LW、开题、PPT)

&#x1f495;&#x1f495;作者&#xff1a;计算机源码社 &#x1f495;&#x1f495;个人简介&#xff1a;本人 八年开发经验&#xff0c;擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等&#xff0c;大家有这一块的问题可以一起交流&…

【苍穹外卖】总结

1 pom 依赖 1.1 MyBatis Spring 用于简化 MyBatis 与 Spring Boot 的集成&#xff0c;提供了对 MyBatis 框架的自动配置支持&#xff0c;简化了数据访问层的开发 1.2 Lombok Lombok 是一个 Java 库&#xff0c;能够通过注解自动生成常见的代码&#xff08;如 getter、setter、…

看Threejs好玩示例,学习创新与技术(三)

本文接上篇内容&#xff0c;继续挖掘应用ThreeJS的一些创新算法。 1、获得鼠标移动对应的地理位置 这个算法如果放在几年前&#xff0c;那肯定会难倒一帮人的。因为是三维投影涉及矩阵变换及求逆&#xff0c;而且还是投影模式下的。在Project Texture这个示例中&#xff0c;作…

Apache-wed服务器环境的安装

一。安装httpd并且开启httpd yum install httpd systemctl start httpd 二。关闭防火墙 systemctl stop firewall 三。常规配置wed服务 mkdir /www vim index.html&#xff08;里面写入自己的内容&#xff09; chmod 755 index.htm chmod 755 /www vim /etc/httpd/co…

从冯唐的成事心法 看SAP协助企业战略落地到信息化

冯唐的《成事心法》是一部结合古代智慧和现代管理理念的著作&#xff0c;通过分析和解读古代名臣张居正的管理方法&#xff0c;提出了一套实用的成事之道。这本书的结构循序渐进&#xff0c;讲解了如何在工作和生活中实现目标、解决问题。以下是《成事心法》的主要结构和内容概…

【Node.js】初识微服务

概述 Node.js 的微服务架构是一种通过将应用程序分解为独立的、松耦合的小服务的方式进行系统设计。 每个微服务负责处理一个特定的业务功能&#xff0c;并且这些服务可以独立开发、部署、扩展和管理&#xff0c;并且可以通讯。 它的核心思想就是解耦。 微服务和微前端是类…

FastText 和 Faiss 的初探了解

概览 大模型目前已经是如火如荼的程度&#xff0c;各个大厂都有推出面向大众的基础大模型&#xff0c;同时诸多行业也有在训练专有大模型&#xff0c;而大模型的发展由来却是经过多年从文本检索生成、深度学习、自然语言处理&#xff0c;在Transformer架构出来后&#xff0c;才…

前端基础知识+算法(一)

文章目录 算法二分查找条件注意方式基本原理左闭右闭正向写法 左闭右开正向写法 前端基础知识定时器及清除盒子垂直水平居中的方式垂直水平1.flex布局2.grid布局3.定位对于块级元素 解决高度塌陷的方式1.给父元素一个固定的高度2.给父元素添加属性 overflow: hidden;3.在子元素…