什么是 RAG,大模型微调,向量数据库的应用场景

原来向量数据库的应用场景是这样的!按照我的理解,大模型其实是没有学习能力的,它就相当于一个真值表或者矩阵,给它输入,它就输出,在使用它的过程中它不会自己训练自己,改变既有的参数,它也不会去网上查数据,自己训练自己,改变自己的参数。

通常大家会搞到一个已经训练好的大模型,但是这个大模型是用通用的大数据训练的,里面包含通用领域的信息,但是特定领域的信息是没有的,或者很浅,目前许多公司用大模型,是想利用大模型在特定领域实现专家系统或某种智能应用。

但大模型不会自己学习,让它学习其实就相当于重新训练大模型,成本高昂,而且大多数公司也不没有训练大模型的能力。

怎么办呢?办法就是在输入的问题或命令中,包含特定领域的背景知识,例如 “小明的妈妈有三个孩子,老大叫小军,老二叫小米,老三叫小明。小明是独生子吗?”。其中“小明是独生子吗?” 是我们想问大模型的问题,“小明的妈妈有三个孩子,老大叫小军,老二叫小米,老三叫小明。”是背景知识。

这一招被实践证明还挺好用,解决了不少问题,这就是所谓的提示词工程(prompt engineering),这个过程有个需求,就是要根据问题文本,查找出和这个问题相关的背景知识文本,很自然的想到,这个查询可以去搜索引擎上查,但是有的公司的数据是私有的,搜索引擎是差不到的,那么其实就要求公司内部建立这么个搜索引擎,这是一个思路,实际上使用和搜索引擎差不多的一个东西,就是向量数据库,把背景知识(小明的妈妈。。。)文本转成向量,把问题(小明是独生子吗)也转成向量,在查询大模型前,先查询向量数据库,得到相关性最强的背景知识,然后把背景知识文本和问题文本一起塞给大模型。

Retrieval Augmented Generation (RAG) | Prompt Engineering Guide (promptingguide.ai)

PostgreSQL as a Vector Database: Create, Store, and Query OpenAI Embeddings With pgvector (timescale.com)

这样实现让大模型“学习”的技术,除了提示词工程还有模型微调,这篇文章很大的介绍了这个概念:

通俗解读大模型微调(Fine Tuning) - 知乎 (zhihu.com) 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/836827.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IPC通信中间件综述

IPC通信中间件综述 DBus(Desktop Bus)FDBusDDS(Data Distribution Service)Fast DDS(Fast Data Distribution Service)OpenDDS(Open Data Distribution Service)IceoryxCyberRTZeroM…

亲测-原生android 跳转到flutter页面

当前状态: 原生android 和flutter都能跑通 android studio 版本2023.3.1 解决方式 1.新建flutter项目 点击new flutter 点next 点project type 选module 2(如果快速的话,此处将 flutter的lib和assets考过来)也可以后面在搞 且将pubspec.yaml …

3W 3KVAC隔离 宽电压输入 AC/DC 电源模块——TP03AL系列

TP03AL系列产品具有交直流两用、输入电压范围宽、高可靠性、低功耗、安全隔离等优点。广泛适用于工控和电力仪器仪表、智能家居等对体积要求苛刻、并对EMC 要求不高的场合,如果需要应用于电磁兼容恶劣的环境下必须添加EMC 外围电路。

栈结构(详解)

1.栈的概念 栈:一种特殊的线性表,其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶,另一端称为栈底。栈中的数据元素遵守后进先出LIFO(Last In First Out)的原则。 压栈&am…

java super关键字

在Java中,super是一个关键字,用于引用父类的成员(字段、方法、构造方法)。主要有两种用法: 1. 调用父类的构造方法:在子类的构造方法中,使用super()调用父类的构造方法。如果子类没有显式地调用…

立聪堂助听器29周年暨第九届助听使者活动圆满落幕

5月10日对于立聪堂来说是个特别的日子,这家专注于听力健康领域的公司迎来了29周年。同时,立聪堂第九届助听使者代表及其家人也受邀参观立聪堂南京总部,共庆29周年。 易被忽视的老人听力健康 大数据显示,我国65岁以上老人&#x…

SQLZOO:The JOIN operation

数据表:game-gaol-eteam game idmdatestadiumteam1team210018 June 2012National Stadium, WarsawPOLGRE10028 June 2012Stadion Miejski (Wroclaw)RUSCZE100312 June 2012Stadion Miejski (Wroclaw)GRECZE100412 June 2012National Stadium, WarsawPOLRUS... goal …

【重装系统】U盘制作软件——Rufus

Rufus 是一款格式化和创建 USB 启动盘的辅助工具。 本软件适用于以下场景: 需要将可引导 ISO (Windows、Linux、UEFI 等) 刻录到 USB 安装媒介的情况 需要处理未安装操作系统的设备的情况 需要在 DOS 环境下刷写 BIOS 或其他固件的情况 需要运行低级工具的情况 官…

WebSocket建立网络连接——小案例

WebSocket是一种实现全双工通信的网络技术标准,它允许在用户的浏览器和服务器之间进行持久的、双向的通信。以下是对WebSocket的具体介绍: 实时性:与传统HTTP请求相比,WebSocket提供了更高效的实时数据交换方式。一旦建立连接&am…

数据可视化(九):Pandas北京租房数据分析——房源特征绘图、箱线图、动态可视化等高级操作

Tips:"分享是快乐的源泉💧,在我的博客里,不仅有知识的海洋🌊,还有满满的正能量加持💪,快来和我一起分享这份快乐吧😊! 喜欢我的博客的话,记得…

【Golang】基于 excelize 的 Excel 工具包

目录 1. 安装excelize库2. Excel工具代码2.1 初始化Excel对象2.2. 常用操作2.2.1 设置窗格冻结2.2.2 设置工作表名称2.2.3 创建工作表2.2.4 设置单元格值2.2.5 设置单元格样式2.2.6 合并单元格2.2.7 设置行高和列宽 3.使用示例4.完整代码5.总结 在日常的开发中,我们…

操作抖音小店亏钱?是哪方面导致的?赶紧自查!

大家好,我是电商小V 我也经常去浏览网上的一些帖子,一些帖子就是说开抖音小店运营一年多了不出单,不转化,还亏钱,做不起来,很多人来问我,做抖音小店是不是不能赚钱? 关于这个问题&am…

04、 .java程序用 editplus 工具打开的过程及在 editplus 工具中配置 java/javac 命令的过程

EditPlus 工具的使用: 1、安装 editplus 工具的过程:其一、安装包地址:其二、安装步骤: 2、使用 editplus 工具打开 .java 程序的过程:其一、修改默认打开 .java 的工具:其二、效果展示: 3、在 …

安全测试工具BurpSuite安装和使用

1.安装 下载地址:https://pan.baidu.com/s/1YJbZGAfVKLsQmNeZYZXEeQ 提取码: yyds 打开cmd,运行以下指令,打开keygen界面: java -jar "C:\soft\BurpSuite v2.1\burp-loader-keygen-2.jar" 点击Run按钮,弹…

flash attention的CUDA实现探讨-V3

之前关于flash attention的实现参考添加链接描述,添加链接描述,添加链接描述 lash attention的数学变换:给定三个矩阵Q,K,V,形状都是[N,d],计算S=QK.T,然后针对dim=1做softmax,然后和V继续做矩阵乘法得到形状为[N,d]的输出矩阵O,即O=softmax(QK.T,dim=1)V。 下面本人的…

【网络】tcp如何保证可靠 总结

1.确认应答机制 在一方收到另一方的数据报后需要返回ack数据报,以此让对方知道自己收到了该数据报,防止通信双方认知不一致。 2.序号和确认序号 TCP通过序列号和确认号来保证数据的有序传输。每个TCP数据包都有一个唯一的序列号,接收方通过…

01-02-1

1、day10作业 使用的代码 #include<stdio.h> void change(int* i) {*i(*i) / 2; } int main() {int i 0;scanf("%d", &i);change(&i);printf("%d", i);return 0; } ​ ​ 2、day11作业 使用的代码 #include<stdio.h> #include<…

【HIVE】(04)学会理解Hive支持的存储数据格式

系列文章回顾 【HIVE】(01)学会使用JOIN语句 【HIVE】(02)学会理解explain 【HIVE】(03)学会hive中的压缩和解压进行资源优化 【HIVE】(04)学会如何优化hive任务的mapper和reducer个数 文章目录 一.2大类存储方式二.TextFile格式三.Orc格式四.Parquet格式五.存储和压缩结合 Hiv…

Kubernetes学习-集群搭建篇(二) 部署Node服务,启动JNI网络插件

&#x1f3f7;️个人主页&#xff1a;牵着猫散步的鼠鼠 &#x1f3f7;️系列专栏&#xff1a;Kubernetes渐进式学习-专栏 &#x1f3f7;️个人学习笔记&#xff0c;若有缺误&#xff0c;欢迎评论区指正 目录 1. 前言 2. 部署Node服务 2.1. 前置环境安装 2.2. 将Node服务加…

CMake中,指定源文件不使用预编译头文件,MSVC编译器

在CMake中&#xff0c;如果你想要指定某个特定的.cpp文件不使用预编译头文件&#xff08;PCH&#xff09;&#xff0c;你可以通过设置该文件的编译属性来实现。以下是一个基础的示例&#xff1a; cmake # 假设你的预编译头文件设置如下 target_precompile_headers(your_target…