大语言模型RAG-技术概览 (一)

大语言模型RAG-技术概览 (一)

一 RAG概览

检索增强生成(Retrieval-AugmentedGeneration, RAG)。即大模型在回答问题或生成问题时会先从大量的文档中检索相关的信息,然后基于这些信息进行回答。RAG很好的弥补了传统搜索方法和大模型两类技术的短板。个人认为RAG的核心在于将LLM的底座模型与上层应用进行解耦。 举个例子:GPT的知识停留在模型训练完成的那一刻(GPT4,2023年),但上层应用不得不使用新鲜的数据。RAG就很好的解决了这个问题。
请添加图片描述

借用Langchain-Chatchat项目的图了解朴素RAG流程的全貌:

请添加图片描述

总结如下:

  • RAG接受本地文档和来自用户(或系统)的query作为input,将两类input向量化,通过向量相似度(Vector Similarity)实现召回。

  • 基于input的向量库进行提示词工程。一般使用langchain框架。

  • 提示词工程输出的prompt作为LLM的输入,最终给出回答。

以上是朴素RAG(Naive RAG)的流程,以此为基础,衍生了Advanced RAGModular RAG

  • Advanced RAGNaive RAG的基础上增加了检索前优化(对query进行路由、重写、扩展等,在上图箭头10的位置)和检索后优化(对检索到的本地知识排序、总结、融合等,在上图箭头7或11、12的位置)。

  • Modular RAG之所以称为Modular,是因为增加了更多功能的模块。这些模块包括了预测、感知、优化、记忆等等功能。可以把Modular RAG看作是一种更灵活的集成学习,它以LLM为核心提取用户的意图,然后基于意图自动组织各种模型(模块)实现检索问答。

到这里,可以引入Chain的概念了:它是LLM应用的一种方法,允许模型按照一定顺序逐步处理信息或任务,将前一步的输出作为下一步的输入。这种方法有时也被称为“链式推理”或“步骤式推理”。比如用户输入了一张写满了数据的图片,并询问含义。Modular RAG就会分析用户意图,确定了以下流程:OCR算法提取图片数据 -> 代码解释器处理上一步数据 -> 通过知识库解释数据结论 -> 最终给出回答。

Chain强大且灵活,但缺点也不能忽视:首先长链可能需要更多的计算资源,其次是容错率很低,中间步骤的错误可能会影响后续计算。

今年是LLM开源元年,私有化部署的开源RAG模型是人工智能赋能产业发展最有希望的方向之一。它不但极大的提高了企业的生产力,私有化部署还解决了数据安全的问题。在企业中,新来的工程师再也不需要对着厚厚业务手册抓耳挠腮,技术领导也再也不用为了一个数据半夜给员工打电话了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/748608.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

低压线性恒流LED恒流驱动芯片SM15633EH:用于洗墙灯和线条灯

洗墙灯和线条灯是两种常见的LED照明产品,它们都需要使用LED恒流驱动芯片来确保稳定、可靠的电流供应,从而保证LED的使用寿命和亮度。 对于洗墙灯而言,由于其发出的光线需要覆盖较大的区域,因此需要使用较大功率的LED芯片&#xf…

18-结构体(初识)

18-1 概念 我们现在已经知道的数据类型: char short int long float double 但是当我们需要描述一个复杂对象时,这些数据类型单独拿出来不能满足,如: 人:名字年龄性别地址电话 书:书名作者出版社定价书…

HTML静态网页成品作业(HTML+CSS)——电影加勒比海盗介绍设计制作(1个页面)

🎉不定期分享源码,关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 🏷️本套采用HTMLCSS,未使用Javacsript代码,共有1个页面。 二、作品演示 三、代…

2024年短视频矩阵系统源头技术开发商 --- 就315会议主题结束后分析

前言:(禁止抄袭复用本编技术分享) 短视频矩阵315提出的ip开发你的技术团队是不是还在进行? 2024年短视频矩阵系统源头技术开发商 --- 就315会议主题结束后分析,昨天的315主题会议不知道大家都看了吗,接…

STC89C52单片机 启动!!!(三)

矩阵键盘介绍 当键盘中按键数量较多时,为了减少I/O口的占用,通常将按键排列成矩阵形式。在矩阵式键盘中,每条水平线和垂直线在交叉处不直接连通,而是通过一个按键加以连接。采用逐行或逐列的“扫描”,就可以读出任何位…

厉害了,2024最新听全网音乐神器

今天分享个神器app简助手,听全网音乐和看片,下载地址 夸克网盘分享 玩转互联网达人 苏生不惑备用号,分享各种黑科技软件资源和技巧,带你玩转互联网。 17篇原创内容 公众号 最新版本更新日志。 进入音乐搜索: 听周杰…

day09-Mybatis

一、Mybatis 基础操作 1 需求 功能列表: 查询 根据主键ID查询 条件查询新增更新删除 根据主键ID删除 根据主键ID批量删除 2 准备 实施前的准备工作: 准备数据库表创建一个新的 springboot 工程,选择引入对应的起步依赖(mybatis、…

Vue3-03_组件基础_上

单页面应用程序 什么是单页面应用程序 单页面应用程序(英文名:Single Page Application)简称 SPA,顾 名思义,指的是一个 Web 网站中只有唯一的一个 HTML 页面,所有的 功能与交互都在这唯一的一个页面内完…

Java八股文(Element Plus)

Java八股文のElement Plus Element Plus Element Plus 什么是Element UI 和 Element Plus? Element UI 和 Element Plus 是基于 Vue.js 的一套非常受欢迎的开源 UI 组件库,用于快速构建具有现代化设计和丰富交互效果的前端界面。 Element UI 和 Element…

固态存储是未来|浅析SSD架构的演进与创新技术-2

除了性能和容量这两个最大的诉求外,其他的需求已经成为SSD现场架构的核心竞争力。 一是安全性:随着数据安全威胁日益严重,SSD的安全设计成为关键,包括提供单芯片硬件信任根、遵循FIPS140-3安全标准以及支持一次性可编程位字段来锁…

uni app 钓鱼小游戏

最近姑娘喜欢玩那个餐厅游戏里的钓鱼 &#xff0c;经常让看广告&#xff0c;然后就点点点... 自己写个吧。小鱼的图片自己搞。 有问题自己改&#xff0c;不要私信我 <template><view class"page_main"><view class"top_linear"><v…

react-native使用FireBase实现google登陆

一、前置操作 首先下载这个包 yarn add react-native-google-signin/google-signin 二、Google cloud配置 Google Cloud 去google控制台新建一个android项目&#xff0c;这时候需要用到你自己创建的keystore的sha1值&#xff0c;然后会让你下载一个JSON文件&#xff0c;先保…

C#操作MySQL从入门到精通(4)——连接MySQL数据库

前言 我们创建好数据库、建立好数据库的表以后&#xff0c;我们就需要访问数据库了&#xff0c;比如将数据插入数据库的某张表中等一系列操作&#xff0c;在进行这些操作之前我们需要连接上数据库&#xff0c;本文就是详细讲解如何连接MySQL数据库的。 1、使用Navicat Premiu…

基于ssm+layui的图书管理系统

基于ssmlayui的图书管理系统 账户类型分为&#xff1a;管理员&#xff0c;用户管理员私有功能用户私有功能公共功能技术栈功能实现图 视频演示 账户类型分为&#xff1a;管理员&#xff0c;用户 图书管理系统主要登录账户类型为管理员账户与用户账户 管理员私有功能 账户管理…

PHP 生成图片

1.先确认是否有GD库 echo phpinfo(); // 创建一个真彩色图像 $image imagecreatetruecolor(120, 50);// 分配颜色 $bgColor imagecolorallocate($image, 255, 255, 255); // 白色背景 $textColor imagecolorallocate($image, 230, 230, 230); // 黑色文字// 填充背景 image…

Java学习笔记(12)

包 导包 Final 不能被改变的&#xff0c;修饰方法 类 变量 方法不能被重写 类不能被继承 变量&#xff0c;赋值一次&#xff0c;变成常量&#xff0c;不能再被赋值 final修饰引用数据类型&#xff0c;地址值不能变&#xff0c;里面的内容可以变 字符串是不可变的 源码中使…

ThreeJs 可视化大屏地图

效果图&#xff1a; 今天给各位提供一个可视化地图的案例和源码&#xff0c;关注下吧各位&#xff01;回复"大屏地图" 获取工程 1、案例分析&#xff1a;主要使用了UI 美工图片&#xff0c;然后获取地图的json 数据绘制图形&#xff0c;贴图使用该区域的地图纹理进行…

基于SpringBoot和Vue的宠物商城网站

目录 一、 绪论1.1 研究背景1.2 研究目的1.3 研究意义 二、相关技术2.1 Spring Boot简介2.2 Vue简介2.3 前后端分离架构概述2.4 其他技术和工具 三、需求分析3.1 功能需求3.1.1 用户模块功能需求3.1.2 商品模块功能需求3.1.3 论坛模块功能需求3.1.4 留言板模块功能需求 3.2 用户…

异常机制总结

异常的本质_调试错误 异常是什么&#xff1f; 软件程序在运行过程中&#xff0c;非常可能遇到刚刚提到的这些问题&#xff0c;我们称之为异常&#xff0c;英文是&#xff1a;Exception&#xff0c;意思是例外。遇到这些例外情况&#xff0c;或者叫异常。 伪代码说明异常机制…

会员项目定价卡css3特效

会员项目定价卡css3特效&#xff0c;源码由HTMLCSSJS组成&#xff0c;记事本打开源码文件可以进行内容文字之类的修改&#xff0c;双击html文件可以本地运行效果&#xff0c;也可以上传到服务器里面 下载地址 会员项目定价卡css3特效代码