【文章转载】Lance Martin的关于RAG的笔记

转载自微博@黄建同学

从头开始学习 RAG,看Lance Martin的这篇笔记就行了,包含了十几篇论文和开源实现!

——
这是一组简短的(5-10 分钟视频)和笔记,解释了我最喜欢的十几篇 RAG 论文。我自己尝试实现每个想法(所有代码都是开源的),并根据图表分组。

代码:github.com/langchain-ai/rag-from-scratch
视频播放列表:youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x

一些亮点: #程序员##ai探索计划#

★RAG 真的死了吗?
RAG 将如何随着长期 LLM 而改变。
视频: youtu.be/SsHUNfhF32s

★自适应RAG 根据复杂程度动态地将查询路由到不同的 RAG 方法。使用Cohere cmd-R 在 LangGraph 中实现。
视频: youtu.be/04ighIjMcAI
代码: github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_adaptive_rag_cohere.ipynb
论文:arxiv.org/abs/2403.14403

★矫正-RAG 在循环单元测试中自我纠正检索错误,以确定文档相关性并返回到网络搜索。在 LangGraph 中实现了Mistral AI -7b + Ollama,以便在本地运行。
视频: youtu.be/E2shqsYwxck
代码: github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb
论文:arxiv.org/pdf/2401.15884.pdf

★自身RAG
使用循环单元测试自行纠正 RAG 错误,以检查文档相关性、答案幻觉和答案质量。在 LangGraph 中实现,使用Mistral AI -7b + Ollama进行本地运行。
代码:github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb
代码(本地):github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag_local.ipynb
论文:arxiv.org/abs/2310.11511.pdf

★查询路由
将问题引导至正确数据源的各种方法(例如逻辑、语义等)。
视频: youtu.be/pfpIndq7Fi8
代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb

★查询结构
使用 LLM 将自然语言转换为其中 DSL 是一种与给定数据库(SQL、Cypher 等)交互所需的领域特定语言。
视频: youtu.be/kl6NwWYxvbM
代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
博客:
1/ blog.langchain.dev/query-construction/
2/ 深入研究 graphDB:blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/
3/ 查询结构文档: python.langchain.com/docs/use_cases/query_analysis/techniques/structuring/
4/ 自查询检索器文档: python.langchain.com/docs/modules/data_connection/retrievers/self_query/

★多表示索引
使用 LLM 生成针对检索进行优化的文档摘要(“命题”)。嵌入这些摘要以进行相似性搜索,但将完整文档返回给 LLM 进行生成。
视频: youtu.be/gTCU9I6QqCE
代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
论文: arxiv.org/pdf/2312.06648.pdf

★PAPROT
将语料库中的文档聚类,并递归地总结相似的文档。将它们全部编入索引,生成较低级别的文档和摘要,可以检索这些文档和摘要来回答从详细到更高级别的问题。
视频: youtu.be/z_6EeA2LDSw
代码: github.com/langchain-ai/langchain/blob/master/cookbook/RAPTOR.ipynb
论文: arxiv.org/pdf/2401.18059.pdf

★ColBERT
使用受上下文影响的嵌入来提高文档和查询中每个标记的嵌入粒度。
视频: youtu.be/cN6S0Ehm7_8
代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
论文:arxiv.org/abs/2004.12832

★ 多次查询
从多个角度重写用户问题,为每个重写的问题检索文档,返回所有查询的唯一文档。
视频: youtube.com/watch?v=JChPi0CRnDY
代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
论文: arxiv.org/pdf/2305.14283.pdf

★RAG融合
从多个角度重写用户问题,检索每个重写问题的文档,并组合多个搜索结果列表的排名,以使用倒数排名融合 (RRF) 生成单一、统一的排名。
视频: youtube.com/watch?v=77qELPbNgxA
代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
项目:github.com/Raudaschl/rag-fusion

★ 分解
将问题分解为一组子问题/问题,可以按顺序解决(使用第一个问题的答案 + 检索来回答第二个问题),也可以并行解决(将每个答案合并为最终答案)。各种工作,如从最少到最多提示和 IR-CoT 提出了可以利用的想法。
视频: youtube.com/watch?v=h0OPWlEOank
代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
论文: arxiv.org/pdf/2205.10625.pdf,arxiv.org/pdf/2212.10509.pdf

★ 后退提示
首先提示 LLM 提出一个关于高级概念或原则的通用后退问题,并检索有关它们的相关事实。使用此基础来帮助回答用户问题。
视频: youtube.com/watch?v=xn1jEjRyJ2U
代码:github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
论文:arxiv.org/pdf/2310.06117.pdf

★ HyDE
LLM 将问题转换为回答问题的假设文档。使用嵌入的假设文档检索真实文档,前提是 doc-doc 相似性搜索可以产生更多相关匹配。
视频:youtube.com/watch?v=SaDzIVkYqyY
代码:github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
论文:arxiv.org/abs/2212.10496
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/828665.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C# GetField 方法应用实例

目录 关于 C# Type 类 GetField 方法应用 应用举例 心理CT设计题 类设计 DPCT类实现代码 小结 关于 C# Type 类 Type表示类型声明:类类型、接口类型、数组类型、值类型、枚举类型、类型参数、泛型类型定义,以及开放或封闭构造的泛型类型。调用 t…

WPS-EXCEL:快速删除多个线条对象

问题图 我需要将线条快速删除 方法一:使用定位对象功能 使用定位功能:按Ctrl G打开定位对话框。在对话框中,点击“定位条件”。 定位对象:在定位条件对话框中,勾选“对象”选项,然后点击“确定”。这样,…

CTF之变量1

拿到题目发现是一个php代码,意思是用get方式获取args参数。 至于下面那个正则表达式怎么绕过暂且不知,但是题目最上面告诉我们lag In the variable ! (意思是flag就在变量中)。 那我们就传入全局变量globals(&#xf…

户外指南——时代产物

分类 一级分类: 衣:除了上述提到的,还包括衣物的材质、款式多样性、与身份地位的关联等。 食:还包括饮食的文化内涵、地域特色、对特殊饮食需求的满足等。 住:还包括居住空间的合理布局、智能家居的应用、与自然环境…

B2B企业如何做好谷歌Google广告推广营销布局?

当今全球化的商业环境中,B2B企业要想在激烈的市场竞争中脱颖而出,拓展海外市场成为了必经之路。而谷歌Google广告,作为全球最大的在线广告平台,无疑是企业触达全球潜在客户的黄金钥匙。云衔科技通过专业服务助力企业轻松开户与高效…

Java苍穹外卖01-开发环境搭建(Git、nginx)-Swagger-员工管理

一、开发环境搭建 1.项目架构 2.Git版本管理 在IDEA中可以一键搭建并commit,当Git远程仓库搭建后就可以push 3.前后端联调 Builder注解: 加了注解后就可以通过这样的方式创建对象 接收传入的是dto对象,传出去的对象为vo对象 4.nginx反向…

4.18.2 EfficientViT:具有级联组注意力的内存高效Vision Transformer

现有Transformer模型的速度通常受到内存低效操作的限制,尤其是MHSA(多头自注意力)中的张量整形和逐元素函数。 设计了一种具有三明治布局的新构建块,即在高效FFN(前馈)层之间使用单个内存绑定的MHSA&#x…

【STM32HAL库】外部中断

目录 一、中断简介 二、NVIC 1.寄存器 2.工作原理 3.优先级 4.使用NVIC 三、EXTI 1.简介 2.AFIO:复用功能IO,主要用于重映射和外部中断映射配置​编辑 3. 中断使用 4.HAL库配置使用 一、中断简介 中断的意义:高效处理紧急程序,不会…

SPRD Android 14 通过属性控制系统设置显示双栏或者单栏

SPRD Android 14 通过属性控制系统设置显示双栏或者单栏 第一步 确认有添加静态库第二步 验证第三步 修改源码在合适的地方配置 ro.product.is_support_SettingsSplitEnabled 即可。第一步 确认有添加静态库 --- a/packages/apps/Settings/Android.bp +++ b/packages/apps/Set…

php反序列化逃逸

php反序列化逃逸 逃逸是php中反序列化时的恶意利用,以ctf为例演示 第一段演示 逃逸为ctf反序列化的内容,主要是对序列化对象进行过滤,其中替换串长度不一致,造成字符逃逸。攻击者可以构造恶意的payload,改变对象中的…

MATLAB循环语句

MATLAB 循环语句 在某些情况下,您需要多次执行一个代码块。通常,语句是按顺序执行的。首先执行函数中的第一条语句,然后执行第二条,依此类推。 编程语言提供了各种控制结构,允许更复杂的执行路径。 循环语句允许我们…

猫头虎分享已解决Bug || **Error: ‘Promise‘ is undefined**

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘籍》 — 提升你的IDEA技能!《100天精通鸿蒙》 …

3.8设计模式——State 状态模式(行为型)

意图 允许一个对象在其内部状态改变时改变它的行为。对象看起来似乎修改了它的类。 结构 Context(上下文)定义客户感兴趣的接口;维护一个ConcreteState子类的实例,这个实例定义当前状态。State(状态)定义…

4 -25

1 100个英语单词两篇六级阅读 2 cf补题; 3 仿b站项目看源码 debug分析业务。 上了一天课,晚上去健身。 物理备课,周六去上课腻。 五一回来毛泽东思想期末考试,概率论期中考试。

冯诺依曼体系结构再谈操作系统

前言 前面对基本的指令、权限以及环境开发的基本工具进行了介绍,本期开始我们将进入系统的的学习,例如我们常听的进程等,在进入进程的学习前我们先要铺垫一下,所以本期我们先来介绍一下冯诺依曼体系结构和再谈操作系统&#xff0…

30 番外5 AHK语法应用实战

番外5 AHK语法应用实战 ahk是一种极其轻量,极其易上手,极其方便好用的脚本语言,对于没有编程基础的人来说,可以轻松掌握. 作为一个强大轻量的工具,ahk主要提供了热键宏操作. 什么是热键宏?简单的理解,就是自定义快捷键. AHK使用场景举例 ahk到底有什么用处呢? 1.把一个按键映…

做亚马逊店铺怎么解决网络问题?

在全球电商市场迅速崛起的背景下,亚马逊已成为众多商家拓展海外市场的首选平台。然而,网络问题始终困扰着亚马逊商家,若不能有效解决,不仅影响工作效率,更可能面临店铺被封禁的风险。本文将详细介绍亚马逊店铺运营遇到…

xgp加速器免费 微软商店xgp用什么加速器

2001年11月14日深夜,比尔盖茨亲自来到时代广场,在午夜时分将第一台Xbox交给了来自新泽西的20岁年轻人爱德华格拉克曼,后者在回忆中说:“比尔盖茨就是上帝。”性能超越顶级PC的Xbox让他们趋之若鹜。2000年3月10日,微软宣…

Vision Pro“裸眼上车”,商汤绝影全新舱内3D交互亮相

2023年,Apple Vision Pro的横空出世让人们领略到了3D交互的魅力,商汤绝影通过深厚的技术研发实力和高效的创新迭代效率,带来两大全新座舱3D交互:3D Gaze高精视线交互和3D动态手势交互。 作为全球首创的能够通过视线定位与屏幕图标…

C语言中整型与浮点型在内存中的存储

今天让我们来看看整型的数据和浮点型的数据在内存中是怎么存储的呢 整型数据在内存中的存储 整型数据在内存中存储的是二进制的补码 正数的话也没什么可说的,原码反码补码都相同 我们来看看负数: 以-5为例 原码:10000000 00000000 00000000 0…