【RAG入门教程01】Langchian框架 v0.2介绍

LangChain 是一个开源框架,旨在简化使用大型语言模型 (LLM) 创建应用程序的过程。可以将其想象成一套使用高级语言工具进行搭建的乐高积木。

它对于想要构建复杂的基于语言的应用程序而又不必管理直接与语言模型交互的复杂性的开发人员特别有用。它简化了将这些模型集成到应用程序中的过程,使开发人员能够更加专注于应用程序逻辑和用户体验。

LLMs

“LLM” 代表“大型语言模型”,这是一种旨在大规模理解、生成和与人类语言交互的人工智能模型。这些模型在大量文本数据上进行训练,可以执行各种与语言相关的任务。

这些模型最初通过识别和解释单词与更广泛概念之间的关系来建立基础理解。这一初始阶段为进一步的微调奠定了基础。微调过程涉及监督学习,其中使用有针对性的数据和特定反馈对模型进行微调。此步骤可提高模型在各种情况下的准确性和相关性。

Transformer

训练数据通过一种称为 Transformer 的专门神经网络架构进行处理。这是大型语言模型 (LLM) 开发的关键阶段。

从非常高层次的概述来看,编码器处理输入数据(例如一种语言的句子)并将信息压缩为上下文向量。然后解码器获取此上下文向量并生成输出(例如将句子翻译成另一种语言)。
编码器-解码器

编码器和解码器具有“自注意力”机制,这使得模型可以对输入数据的不同部分的重要性赋予不同的权重。
自注意力机制

自注意力机制让模型在处理特定单词或短语时能够关注输入文本的不同部分。对于每个单词,模型会评估句子中所有其他单词与其的相关性,并为这些关系分配权重。这些权重有助于模型更全面地理解句子结构和含义,从而生成更准确、更符合语境的回复或翻译。

大模型(LLM)

  1. 专有模型:这些是由公司开发和控制的 AI 模型。它们通常提供高性能,并得到大量资源和研究的支持。然而,它们的使用成本可能很高,可能具有限制性许可证,并且其内部工作原理通常不透明(闭源)。
  2. 开源模型:相比之下,开源 AI 模型可供任何人免费使用、修改和分发。它们促进社区内的协作和创新,并提供更大的灵活性。然而,它们的性能可能并不总是与专有模型相匹配,而且它们可能缺乏大公司提供的广泛支持和资源。

这些模型之间的选择涉及性能、成本、易用性和灵活性方面的权衡。开发人员必须决定是选择可能更强大但限制更多的专有模型,还是更灵活但可能不够完善的开源替代方案。这一选择反映了软件开发中早期的决策点,例如 Linux 所呈现的决策点,标志着 AI 技术及其可访问性发展的重要阶段。

Langchain

Langchain 有助于访问和合并来自各种来源(例如数据库、网站或其他外部存储库)的数据到使用 LLM 的应用程序中。

VectorStore向量存储

它将文档转换为向量存储。文档中的文本被转换为称为向量的数学表示,向量的表示称为嵌入。

当 Langchain 处理文档时,它会为文本内容生成嵌入。

从文档创建的嵌入填充了 Vector Store。文档中的每段文本都表示为该存储中的一个向量(嵌入)。因此,Vector Store 成为这些嵌入的存储库,以数学和语义丰富的格式表示原始文档的内容。

当您有“Transformer 是什么?”这样的问题时,大型语言模型 (LLM) 首先会将此问题转换为嵌入。这意味着 LLM 将问题转换为与存储在向量存储中的数据相同的向量格式。此转换可确保问题和存储的信息具有可比的格式。

现在问题已变成向量格式,LLM 可以有效地搜索向量存储。此查询过程的核心是相似性搜索。LLM 评估问题的向量与向量存储中的每个向量的相似程度。

进行相似性搜索后,LLM 会识别向量库中与问题向量最相似的向量。然后,这些向量会被重新翻译成文本形式,从而检索出与问题最相关、最相似的信息。

组件

Langchain 提供各种组件,使得在不同应用环境中集成和管理模型变得更加容易。
组件

  • 文档加载器是旨在简化从各种来源导入和处理文本数据的实用程序。
  • 文档转换器对文本数据进行各种转换,使其格式更有利于大型语言模型 (LLM) 进行分析和处理。
  • 文本嵌入模型专注于将文本数据转换为嵌入。
  • 向量存储作为用于存储和管理嵌入的专用数据库。
  • 检索器旨在根据给定的查询从向量存储中有效地检索相关信息。
  • 工具执行特定任务和操作。例如,Bing 搜索工具是一个 API,用于将 Bing 搜索与 LLM 结合使用。
  • 代理代表一种高级抽象,用于协调不同 Langchain 组件与最终用户之间的交互。它充当 LLM 和工具之间的中介,处理用户查询,使用 Langchain 中的适当模型和工具进行处理,然后将结果返回给用户。
  • 记忆组件提供了一种记住和参考过去的交互或信息的机制。
  • 通过将 LLM 可以执行的各种任务链接在一起,有助于构建多步骤工作流或流程。此组件允许按顺序执行不同的语言任务,例如信息检索,然后是文本摘要或问答。通过创建这些任务链,Langchain 可以与 LLM 进行更复杂、更细致的交互和操作。
  • Langchain 的LLM和聊天模型组件提供了一个框架,用于在应用程序内集成和管理各种大型语言模型(LLM),包括专门的聊天模型。
  • 提示解析器简化了模型的输入和输出。

LangChain 的核心组件

  1. 模型 I/O 封装
    • LLMs:大语言模型
    • Chat Models:一般基于 LLMs,但按对话结构重新封装
    • PromptTemple:提示词模板
    • OutputParser:解析输出
  2. 数据连接封装
    • Document Loaders:各种格式文件的加载器
    • Document Transformers:对文档的常用操作,如:split, filter, translate, extract metadata, etc
    • Text Embedding Models:文本向量化表示,用于检索等操作
    • Verctorstores: (面向检索的)向量的存储,保存了向量索引以及文档信息
    • Retrievers: 向量的检索
  3. 记忆封装
    • Memory:这里不是物理内存,从文本的角度,可以理解为“上文”、“历史记录”或者说“记忆力”的管理
  4. 架构封装
    • Chain:实现一个功能或者一系列顺序功能组合
    • Agent:根据用户输入,自动规划执行步骤,自动选择每步需要的工具,最终完成用户指定的功能
    • Tools:调用外部功能的函数,例如:调 google 搜索、文件 I/O、Linux Shell 等等
    • Toolkits:操作某软件的一组工具集,例如:操作 DB、操作 Gmail 等等
  5. Callbacks
  • 功能模块:https://python.langchain.com/docs/get_started/introduction
  • API 文档:https://api.python.langchain.com/en/latest/langchain_api_reference.html
  • 三方组件集成:https://python.langchain.com/docs/integrations/platforms/
  • 官方应用案例:https://python.langchain.com/docs/use_cases
  • 调试部署等指导:https://python.langchain.com/docs/guides/debuggin

langchain v0.2升级

langchain v0.2导入方式发生了变化,具体模块可以参考以下API文档

https://api.python.langchain.com/en/latest/langchain_api_reference.html

使用前用下面命令进行安装:

pip install langchain
pip install langchain-core
pip install langchain-text-splitters
pip install langchain-huggingface
pip install langchain_openai==0.1.8


迁移文档:https://python.langchain.com/v0.2/docs/versions/v0_2/

参考资料

  • LangChain框架介绍
  • LangChain in Chains #1: A Closer Look

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/25432.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我已经入驻@面包多平台

大学常见的Javaswing 图书管理系统已经真实发布,使用MySQL作为数据支撑,欢迎点击下面的链接随时购买。 面包多-JavaSwing MySQL图书管理系统

数据库之PostgreSQL详解

一、PostgreSQL介绍 PostgreSQL是一个功能强大的 开源 的关系型数据库。底层基于C实现。 PostgreSQL的开源协议和Linux内核版本的开源协议是一样的。。BDS协议,这个协议基本和MIT开源协议一样,说人话,就是你可以对PostgreSQL进行一些封装&a…

如何在本地和远程删除 Git 分支

欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 欢迎来到我的主页,我是博主英杰,211科班出身,就职于医疗科技公司,热衷分享知识,目前是武汉城市开发者社区主理人 擅长.net、C、python开发, 如果遇…

【人工智能】ChatGPT基本工作原理

ChatGPT 是由 OpenAI 开发的一种基于深度学习技术的自然语言处理模型,它使用了名为 GPT(Generative Pre-trained Transformer)的架构。GPT 模型是一种基于 Transformer 架构的预训练语言模型,它通过大量的文本数据进行预训练&…

SpringBoot之Mybatis-plus实战

文章目录 MybatisPlus 介绍一、MyBatisPlus 集成步骤第一步、引入依赖第二步、定义mapper 二、注解TableNameTableldTableField 加解密实现步骤 在SpringBoot项目中使用Mybatis-plus,记录下来,方便备查。 MybatisPlus 介绍 为简化开发而生,官…

CSAPP Lab01——Data Lab完成思路

陪你把想念的酸拥抱成温暖 陪你把彷徨写出情节来 未来多漫长再漫长还有期待 陪伴你 一直到 故事给说完 ——陪你度过漫长岁月 完整代码见:CSAPP/datalab-handout at main SnowLegend-star/CSAPP (github.com) 01 bitXor 这道题是用~和&计算x^y。 异或是两个…

红黑树的介绍与实现

前言 前面我们介绍了AVL树,AVL树是一棵非常自律的树,有着严格的高度可控制!但是正它的自律给他带来了另一个问题,即虽然他的查找效率很高,但是插入和删除由于旋转而导致效率没有那么高。我们上一期的结尾说过经常修改…

C语言:双链表

一、什么是双链表? 双链表,顾名思义,是一种每个节点都包含两个链接的链表:一个指向下一个节点,另一个指向前一个节点。这种结构使得双链表在遍历、插入和删除操作上都表现出色。与单链表相比,双链表不仅可以…

【机器学习】【遗传算法】【项目实战】药品分拣的优化策略【附Python源码】

仅供学习、参考使用 一、遗传算法简介 遗传算法(Genetic Algorithm, GA)是机器学习领域中常见的一类算法,其基本思想可以用下述流程图简要表示: (图参考论文:Optimization of Worker Scheduling at Logi…

DVB-S系统发射端Matlab仿真及FPGA实现

DVB标准 Digital Video Broadcasting(数字视频广播)是一个完整的数字电视解决方案,其中包括DVB-C(数字电视有线传输标准), DVB-T(数字电视地面传输标准),DVB-S&#xff…

正确理解iOS中的同步锁

在 iOS 开发中,同步锁(synchronized lock)是一种用于管理多线程访问共享资源的机制,而不是某一种特定类型的锁。它涵盖了多种具体实现和技术,用于确保同一时间只有一个线程能够访问某个共享资源,从而避免数…

在 Linux 使用 cron 定时执行任务的注意事项

在 Linux 下想通过 cron 设置自动镜像备份文件,遇到很多挫折,最后成功,记录下几点注意事项。 尝试过程: 系统默认自带 cron,执行 crontab -e 添加开机启动任务。类似如下语句。 reboot rsync -a --delete /home/use…

使用`LD_PRELOAD`和`jemalloc`实现C/C++信号的内存堆栈信息收集

文章目录 0. 概要1. 编译jemalloc2. 编译钩子共享库liballoc_hook.so3. 使用LD_PRELOAD加载钩子库liballoc_hook.so测试3.1 设置环境变量3.2 使用LD_PRELOAD加载钩子库并运行程序3.3 发送SIGUSR1信号以触发堆栈信息打印3.4 使用jeprof解析heap堆栈信息文件 4. 示例程序example.…

详细说说机器学习在医疗领域的应用

机器学习在医疗领域的应用广泛而深入,为医疗行业带来了显著的变革。以下是机器学习在医疗领域的主要应用方面: 个性化治疗: 机器学习能够根据病人的个体差异和基因组信息,帮助医生制定个性化的治疗方案。通过分析大规模的基因组数…

探地雷达正演模拟,基于时域有限差分方法,一

声明:本博客中的公式均是在Word中使用AxMath写好后截图使用的,欢迎引用,但请标注来源。 本系列会有四篇博客: 第一篇内容: 1、基础知识掌握 2、Maxwell方法差分求解原理 第二篇内容: 1、基于C的TE波波…

docker——基础知识

简介 一、什么是虚拟化和容器化 ​ 实体计算机叫做物理机,又时也称为寄主机; ​ 虚拟化:将一台计算机虚拟化为多态逻辑计算机; ​ 容器化:一种虚拟化技术,操作系统的虚拟化;将用户空间软件实…

mongodb总概

一、mongodb概述 mongodb是最流行的nosql数据库,由C语言编写。其功能非常丰富,包括: 面向集合文档的存储:适合存储Bson(json的扩展)形式的数据;格式自由,数据格式不固定,生产环境下修改结构都可以不影响程序运行;强大的查询语句…

2 程序的灵魂—算法-2.2 简单算法举例-【例 2.3】

【例 2.3】判定 2000 — 2500 年中的每一年是否闰年,将结果输出。 润年的条件: 1. 能被 4 整除,但不能被 100 整除的年份; 2. 能被 100 整除,又能被 400 整除的年份; 设 y 为被检测的年份,则算法可表示如下…

Element-UI全面入门与实战技巧

本文详细介绍了Element-UI的安装、配置、组件使用、布局技巧、交互设计、表单处理、主题定制等内容,旨在帮助开发者快速掌握Element-UI,并能在实际项目中灵活应用。 文章目录 一、Element-UI概述与安装1.1 Element-UI简介1.2 环境搭建1.3 安装Element-UI…

C语言:定义和使用结构体变量

定义和使用结构体变量 介绍基础用法1.定义结构体2. 声明结构体变量3. 初始化和访问结构体成员4. 使用指针访问结构体成员5. 使用结构体数组 高级用法6. 嵌套结构体7. 匿名结构体8. 结构体和动态内存分配9. 结构体作为函数参数按值传递按引用传递 介绍 在C语言中,结…