RAG应用全流程

在这里插入图片描述

RAG全流程

  • 前提
    • 训练一个语义模型(高精度,低精度)
    • 训练一个大模型
    • 一个知识库
    • 一个精度高知识向量库(知识分割后输入高精度语义模型得到)
    • 一个精度低知识向量库(知识分割后输入低精度语义模型得到)
  • 应用流程细化
    • 用户输入问题处理
    • 大模型增强理解
    • 语义模型向量转换
    • 低精度向量数据库检索
    • 高精度向量数据库检索
    • 高精度相似度计算
    • 知识库知识提取
    • 大模型生成回答

前提

训练一个语义模型(高精度,低精度)

为了实现高效的问题理解和信息检索,我们训练了一个语义模型,它能够将输入的问题转换为高精度和低精度的向量表示。高精度向量用于精确匹配和理解问题的语义细节,而低精度向量则用于快速检索和筛选相关信息。

训练一个大模型

为了能够处理复杂的问题并生成详尽的回答,我们训练了一个大模型。这个模型能够理解问题的深层含义,结合知识库中的信息,生成准确、连贯的回答。

一个知识库

我们构建了一个包含丰富知识的知识库,它为大模型提供了必要的背景信息和支持。知识库中的知识被精心组织和索引,以便快速检索和利用。

一个精度高知识向量库(知识分割后输入高精度语义模型得到)

为了提高知识检索的精度,我们创建了一个高精度的知识向量库。这个库中的知识被分割成小块,并输入到高精度语义模型中,转换成向量表示。这些向量能够准确地捕捉到知识的语义特征,为问题理解和回答生成提供了有力的支持。

一个精度低知识向量库(知识分割后输入低精度语义模型得到)

为了实现快速的知识检索,我们构建了一个低精度的知识向量库。与高精度知识向量库类似,知识被分割成小块,并输入到低精度语义模型中,转换成向量表示。这些向量虽然精度较低,但仍然能够保留知识的主要语义信息,为快速筛选和初选相关知识点提供了便利。

应用流程细化

用户输入问题处理

当用户输入一个问题,系统首先对问题进行预处理,包括去除无关字符、分词等操作,以确保输入的问题能够被系统正确理解和处理。

大模型增强理解

预处理后的问题将被输入到大模型中,大模型会对问题进行深入理解,提取问题的关键信息,并生成一个初步的理解表示。

语义模型向量转换

大模型生成的初步理解表示将作为输入,被送入到语义模型中。语义模型会将其转换为高精度和低精度的向量表示。高精度向量能够更准确地表达问题的语义信息,而低精度向量则在保持主要语义信息的同时,降低了计算复杂度。

低精度向量数据库检索

使用转换得到的低精度向量,系统将在低精度知识向量数据库中进行检索,找到与问题最相关的Top n个向量索引。

高精度向量数据库检索

利用从低精度向量数据库中得到的Top n个向量索引,系统在高精度知识向量数据库中取出对应的n个高精度向量。

高精度相似度计算

系统将计算用户问题的高精度向量与从高精度知识向量数据库中取出向量之间的相似度,并取Top m个最相似的向量索引。

知识库知识提取

根据Top m个向量索引,系统在知识库中找到对应的知识条目,这些知识条目可能与用户的问题高度相关。

大模型生成回答

最后,系统将结合用户原始输入或经过大模型增强的输入,以及从知识库中提取的相关知识,一起作为输入送入到大模型中,生成一个针对用户问题的详细回答。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/6097.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于寄存器的STM32操作流程

寄存器点灯 寄存器操作STM32的好处是不需要依靠外部文件,自由度更高,更为底层,但也更加繁杂。 通过寄存器点灯,需要按照电路结构与手册配置寄存器: 电路结构如下:可知需配置的GPIO为GPIOB5与GPIOE5。 在…

TLV61070A具有0.5V超低输入电压的2.5A同步整流升压转换器适合超级电容供电

前言 最大特点是输入电压可低至0.5V(启动时的最小输入电压为 1.3V),适合作为超级电容的升压转换 特性 输入电压范围:0.5V 至 5.5V 启动时的最小输入电压为 1.3V 输出电压设置范围:2.2V 至 5.5V 两个 69mΩ (LS)/89m…

gitlab设置保护分支

gitlab设置保护分支方法 进入代码仓库首页,找到settings下的repository并点击进入 找到Protected Branches 下的Exoand按钮,并点击展开 可以看到已经存在默认的保护分支,通常是master/main分支,也可以添加新的保护分支 新建保护分…

Debian操作系统的常用指令介绍

Debian是一个流行的Linux操作系统,以其稳定性和安全性而闻名。对于Debian用户来说,掌握一些基本的命令行指令是非常重要的,因为它们可以帮助你更高效地管理系统。在这篇博客中,我们将介绍一些在Debian系统中常用的指令及其功能。 …

13.1 QQ邮箱

1. 邮箱发送 2. 准备工作 3. 整合SpringBoot 3.1 配置 依赖引入 <!-- 邮件服务--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</artifactId></dependency>application.…

不讲武德,能怼哭你的Chatgpt

这几天逛网站的时候突然发现个新玩意儿&#xff0c;叫做Chatgpt Onima&#xff0c;乍一看&#xff0c;哦原来是Chatgpt 但是&#xff0c;Onima是什么东东&#xff1f;它是我见过最狂的AI Onima 我礼貌的问了一句&#xff1a;你在干嘛&#xff1f; 结果它回复 不知这个攻击性…

通义灵码:智能编码的革命性助手

通义灵码是由阿里云推出的一款基于通义大模型的智能编码辅助工具&#xff0c;它通过先进的人工智能技术&#xff0c;为开发者提供了一系列的智能编码功能&#xff0c;极大地提升了编码效率和质量。以下是通义灵码的一些核心功能和应用案例。 核心功能 代码智能生成 通义灵码…

你知道JSON.stringify()实现拷贝有什么问题吗?

在说 JSON.stringify() 深拷贝之前&#xff0c;我们先说一说深拷贝和浅拷贝的事情吧。 目录 1 为什么要做深拷贝&#xff1f; 2 哪些做法算浅拷贝&#xff1f; 2.1 直接变量赋值 2.2 Object.assign 浅拷贝 3 哪些做法算深拷贝 &#xff1f; 3.1 JSON.stringify() 3.2 …

SpringBoot实现图片上传(个人头像的修改)

SpringBootlayui实现个人信息头像的更改 该文章适合对SpringBoot&#xff0c;Thymeleaf&#xff0c;layui入门的小伙伴 废话不多说&#xff0c;直接上干货 Springbootlayui实现头像更换 前端公共部分代码 HTML页面代码 <div class"layui-card-header" style&quo…

20240502解决ARM32编译器编译quectel-CM时for循环出错的解决

20240502解决ARM32编译器编译quectel-CM时for循环出错的解决 2024/5/2 17:17 缘起&#xff1a;QMIThread.c:2100:9: error: ‘for’ loop initial declarations are only allowed in C99 or C11 mode 1、修改Makefile为ARM32架构&#xff1a; Z:\quectel-CM\Makefile ifneq ($…

基于SpringBoot+Vue的旅游网站系统

初衷 在后台收到很多私信是咨询毕业设计怎么做的&#xff1f;有没有好的毕业设计参考?能感觉到现在的毕业生和当时的我有着同样的问题&#xff0c;但是当时的我没有被骗&#xff0c;因为现在很多人是被骗的&#xff0c;还没有出学校还是社会经验少&#xff0c;容易相信别人。…

【算法设计与分析】实验报告c++python实现(TSP问题、哈夫曼编码问题、顾客安排问题、最小生成树问题、图着色问题)

一、实验目的 1&#xff0e;加深学生对贪心算法设计方法的基本思想、基本步骤、基本方法的理解与掌握&#xff1b; 2&#xff0e;提高学生利用课堂所学知识解决实际问题的能力&#xff1b; 3&#xff0e;提高学生综合应用所学知识解决实际问题的能力。 二、实验任务 用贪心算…

Spring基于AspectJ实现验签切点

文章目录 引言I AspectJ 依赖II 验签切点2.1 匹配方法执行的连接点2.2 设置带有CustomAnnotation注解的方法为切点III 案例:验签2.1 用法2.2 定义注解2.3 定义切面和切点引言 需求:验签 实现:基于AspectJ实现验签切点 I AspectJ 依赖 AspectJ 是一个基于 Java 语言的 AOP …

go稀疏数组

稀疏数组 稀疏数组 稀疏数组 package testimport ("encoding/json""fmt""io/ioutil""log""reflect""testing" )type ValNode struct {Row int json:"row"Col int json:"col"Val int json:&qu…

Spring Cloud Kubernetes 实践 服务注册发现、服务动态配置

一、Spring Cloud Kubernetes 随着云计算和微服务架构的不断发展&#xff0c;k8s 和Spring Cloud成为了当今技术领域的两大热门话题。k8s作为一个开源的容器编排平台&#xff0c;已经在自动化部署、扩展和管理方面取得了巨大的成功&#xff0c;而Spring Cloud则以其丰富的生态…

MFC 列表控件修改实例(源码下载)

1、本程序基于前期我的博客文章《MFC下拉菜单打钩图标存取实例&#xff08;源码下载&#xff09;》 2、程序功能选中列表控件某一项&#xff0c;修改这一项的按钮由禁止变为可用&#xff0c;双击这个按钮弹出对话框可对这一项的记录数据进行修改&#xff0c;点击确定保存修改数…

基于Spring Boot的体质测试数据分析及可视化系统设计与实现

基于Spring Boot的体质测试数据分析及可视化系统的设计与实现 开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/idea 系统部分展示 前台首页界面图&#xff0c;体质测试…

Github查找代码项目高级语法(含科研项目查找案例)

基础搜索语法 1.搜索名字 in:name XXX 2.搜索描述 in:description XXX 3.搜索readme in:readme XXX 4.根据stars stars:>2000 5.根据fork fork:>3000 6.仓库大小搜索 size:>5000 [注意: 该处单位大小为 k] 7.根据更新时间 …

免费开源语音克隆-GPT-SoVITS-WebUI只需 5 秒的声音样本

语音克隆-GPT-SoVITS-WebUI 强大的少样本语音转换与语音合成Web用户界面。 功能&#xff1a; 零样本文本到语音&#xff08;TTS&#xff09;&#xff1a; 输入 5 秒的声音样本&#xff0c;即刻体验文本到语音转换。 少样本 TTS&#xff1a; 仅需 1 分钟的训练数据即可微调模型…

OpenCV如何在图像中寻找轮廓(60)

返回:OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 上一篇&#xff1a;OpenCV如何模板匹配(59) 下一篇 :OpenCV检测凸包(61) 目标 在本教程中&#xff0c;您将学习如何&#xff1a; 使用 OpenCV 函数 cv::findContours使用 OpenCV 函数 cv::d rawContours …