LangChain4j-RAG高级-核心概念

RetrievalAugmentor整体概念

简单总结一下

LangChain4j中对于RetrievalAugmentor这里官方描述的比较模糊, 只在 DefaultRetrievalAugmentor章节给出来了一个灵感来源的文章(LangChain框架中的设计思路)和一个研究报告, 有兴趣可以看一下:

  • Deconstructing RAG
  • https://arxiv.org/pdf/2312.10997

通常,RAG 系统涉及:确定要检索哪些信息的问题(通常来自用户)、从数据源(或多个数据源)检索信息的过程以及将检索到的信息直接传递到LLM作为提示的一部分。

这里的设计理念就是将用户的提问进行转换为具体的子问题,再根据子问题的描述路由到不同的数据源进行检索,将检索的内从进行重新合并达到检索增强的结果,最后再根据检索内容来回答用户的问题。

下面是具体的一些设计理念。

Query Transformations 查询转换

考虑 RAG 时要问的第一个问题:我们如何才能使RAG系统对用户输入的不同问题的回答具有健壮性?例如,对于具有挑战性的检索任务,用户问题的措辞可能很糟糕。查询转换是一组专注于修改用户输入以改进检索的方法。

Query expansion 查询扩展

查询扩展将输入分解为子问题,每个子问题都是一个更狭窄的检索挑战。多查询检索器执行子问题生成、检索,并返回检索到的文档的唯一并集。 RAG 融合通过对每个子问题返回的文档进行排名来构建后退提示提供了第三种方法,即生成后退问题,以更高层次的概念或原则为答案综合奠定基础。

一种称为“后退”提示的提示技术可以通过首先提出“后退”问题来提高复杂问题的表现。这可以与常规问答应用程序结合起来,然后对原始问题和后退问题进行检索

例如, 用户提出的一个物理问题, 可以退回到一个物理原理的问题(LLM生成的回答),再进一步根据原理的问题和用户的原始问题来进行回答。

“后退”问题示例:

考虑一下这个问题:“红袜队和爱国者队谁最近赢得了冠军?”提出两个具体的子问题可以帮助回答这个问题:

  • “红袜队上次赢得冠军是什么时候?”
  • “爱国者队上次夺冠是什么时候?”

最后根据两个问题分别检索后得到对应的结果,最后再进行排名和合并回答用户的问题。

可以按照官方的流程图进行理解:

Query re-writing 查询重写

为了解决框架或措辞不当的用户输入,重写-检索-读取 是一种重写用户问题以改进检索的方法。

Query compression 查询压缩

在某些 RAG 应用程序中。为了正确回答问题,可能需要完整的对话上下文。为了解决这个问题,将聊天记录压缩为最终问题以供检索。

Routing 路由

考虑 RAG 时要问的第二个问题:数据存放在哪里?在许多 RAG 演示中,数据位于单个向量存储中,但在生产环境中通常并非如此。当跨一组不同的数据存储进行操作时,需要路由传入的查询。LLMs可用于有效支持动态查询路由。

Query Construction 查询构造

考虑 RAG 时要问的第三个问题:查询数据需要什么语法?虽然路由问题采用自然语言,但数据存储在需要特定语法才能检索关系数据库图形数据库等源中。甚至矢量存储也利用结构化元数据进行过滤。在所有情况下,查询中的自然语言都需要转换为查询语法以供检索。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/49807.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

FRP配置内网穿透52版本以上适用

简述 适用frp配置内网穿透来说我们需要进行简单的区分,具有公网IP的服务器我们简称为服务端,内网的服务器我们可以简称为客户端,frp需要针对不同的服务器配置不同的文件 下载安装包 Linux下载地址 https://github.com/fatedier/frp/relea…

[Python][认识标准库][标准库][第三方库]详细讲解

目录 1.标准库1.认识标准库2.使用import导入模块 2.代码示例1.日期计算2.字符串操作1.翻转单词顺序2.旋转字符串3.统计是给定字符串前缀的字符串数目 3.文件查找工具 3.第三方库1.使用 pip2.示例:生成二维码3.示例:操作Excel4.示例:程序员鼓励…

Flink SQL 的工作机制

前言 Flink SQL 引擎的工作流总结如图所示。 从图中可以看出,一段查询 SQL / 使用TableAPI 编写的程序(以下简称 TableAPI 代码)从输入到编译为可执行的 JobGraph 主要经历如下几个阶段: 将 SQL文本 / TableAPI 代码转化为逻辑执…

svelte - 5. 动画

动画函数 函数作用使用场景示例引入的模块使用示例tweened运动动画,做到渐变的效果控制进度条速度svelte/motion函数:tweened(0, { duration: 400 })spring运动动画,用于频繁变化的值控制鼠标红点顺滑度svelte/motion函数:spring({ x: 50, y: 50 }, { stiffness: 0.1, damp…

华为ensp中ISIS原理与配置(超详细)

isis原理与配置 8-20字节; 地址组成:area id,system id,set三部分组成; system id占6个字节;sel占一个,剩下的为area id区域号; system id 唯一, 一般将router id 配…

操作系统面试知识点总结3

#来自ウルトラマンメビウス(梦比优斯) 1 内存管理概念 1.1 内存管理的基本原理和要求 内存:内存可存放数据,程序执行前需要先放到内存中才能被 CPU 处理 -- 缓和 CPU 与硬盘之间的速度矛盾。 功能: 内存空间的分配与…

深入学习H264和H265

目录 前言 一 什么是H264/H265? H.264 (MPEG-4 AVC) H.265 (HEVC) 二 为什么要学习H264和H265? 1. 深入理解视频压缩原理 2. 硬件优化与集成 3. 调试与故障排除 4. 持续的技术更新 三 NAL(Network Abstraction Layer)详解…

【Git】日常使用

参考 Git分支管理 如何使用 Git 进行多人协作开发 01 拉取最新分支 git pull origin main 02 创建分支 git checkout -b dev 03 在dev分支上进行更改 git commit git push dev 04 GitHub网页上提pull request,merge到main 05 删除分支 删除本地的dev分支和对…

【前端 11】初探DOM

JavaScript 对象 - DOM 初探 在Web开发中,DOM(Document Object Model,文档对象模型)是一个至关重要的概念。它不仅仅是一个API,更是Web页面与JavaScript代码之间的桥梁,允许开发者通过编程的方式动态地访问…

Redis:快速键值存储的入门指南

一、什么是Redis? Redis,全称为Remote Dictionary Server,是一种开源的、高性能的键值(Key-Value)存储系统。与传统的关系型数据库不同,Redis将数据主要存储在内存中,因此能够提供极低延迟的数…

【Unity2D 2022:UI】TextMeshPro组件无法显示中文

在Unity中创建了一个预制体Card,上面挂载了一些Text Mesh Pro组件用来显示卡牌信息。但是在输入文字后,发现无法显示中文: 解决方法如下: 一、导入字体文件(ttf格式)和常用字字集(txt格式&…

Linux--Socket编程UDP

前文:Socket套接字编程 UDP协议特点 无连接:UDP在发送数据之前不需要建立连接,减少了开销和发送数据之前的时延。尽最大努力交付:UDP不保证可靠交付,主机不需要维持复杂的连接状态表。面向报文:UDP对应用层…

算法:[递归/搜索/回溯]二叉树的深搜

目录 题目一:计算布尔二叉树的值 题目二:求根节点到叶节点数字之和 题目三:二叉树剪枝 题目四:验证二叉搜索树 题目五:二叉搜索树中第k小的元素 题目六:二叉树的所有路径 题目一:计算布尔…

前端调接口拿到数据之后,复制文本

一、使用navigator.clipboard对获取的内容进行复制。 需要注意navigator.clipboard使用的条件是: 1.通过 HTTPS 协议访问的页面 2.本地开发服务器上的页面,即 URL 为 http://localhost。经测试http://127.0.0.1,这个是不能使用的。 3.直接…

【C语言】宏定义常量加 ; 的错误

我在使用宏定义常量定义二维数组的时候,编译器报错:应输入“]”,如下: 原因是宏定义不是C语言规定的语句,它的结尾不加 ; 。在上图的 int mine[EASY_ROWS][EASY_COLS]; 中,把 EASY_ROWS 替换为了 9;2; &…

【VUE3】vue3 面试知识点

1. Vue 3 相比 Vue 2 的主要改进 Composition API:引入了一套基于函数的 API,允许以更灵活和可复用的方式组织组件逻辑。性能提升:通过改进虚拟 DOM 的算法和底层架构,实现了更快的渲染速度和更低的内存使用率。TypeScript 支持&…

【秋招笔试题】小明的美食

解析&#xff1a;思维题。由于需要互不相同&#xff0c;每次操作取重复的值与最大值相加即可&#xff0c;这样即可保证相加后不会新增重复的值。因此统计重复值即可。 #include <iostream> #include <algorithm>using namespace std; const int maxn 1e5 5; int…

大模型算法面试题(十一)

本系列收纳各种大模型面试题及答案。 1、说一下目前主流或前沿的预训练模型&#xff0c;包括nlp&#xff08;百度ERNIE3.0&#xff0c;华为NEZHA&#xff0c;openAI gpt-3&#xff0c;nvidia MegatronLM&#xff0c;macrosoft T5&#xff09;和cv&#xff08;我只知道CLIP&…

wordpress主题Typecho仿百度响应式主题Xaink

wordpress主题Typecho仿百度响应式主题Xaink 新闻类型博客主题&#xff0c;简洁好看&#xff0c;适合资讯类、快讯类、新闻类博客建站&#xff0c;响应式设计&#xff0c;支持明亮和黑暗模式 直接下载 zip 源码->解压后移动到 Typecho 主题目录->改名为xaink->启用

内衣洗衣机和手洗哪个干净?推荐五款品质优良精品

在日常生活中&#xff0c;内衣洗衣机已成为现代家庭必备的重要家电之一。选择一款耐用、质量优秀的内衣洗衣机&#xff0c;不仅可以减少洗衣负担&#xff0c;还能提供高效的洗涤效果。然而&#xff0c;市场上众多内衣洗衣机品牌琳琅满目&#xff0c;让我们往往难以选择。那么&a…