Langchain-chatchat： Langchain基本概念

一、Langchain的chain是指的是什么？

langchain字面意思是长长的链子，那么chains 链子具体指的是什么呢？

智普AI助手的回答如下：

LangChain 中的 “chain” 是指链式操作或者序列化操作，它是一种将多个任务或操作按照一定的顺序组合起来，以实现特定目标的方法。在 LangChain 框架中，这个概念主要用于描述一系列基于大型语言模型（LLM）的应用程序。

链式操作通常包括以下几个步骤：

  1. 用户向语言模型提出问题。
  2. 将问题转换为向量表示，并在向量数据库中进行相似性搜索。
  3. 从向量数据库中获取相关信息。
  4. 将相关信息馈送到语言模型以生成答案或采取行动。

通过将这些操作组合成链式结构，LangChain 允许开发人员灵活地构建各种由 LLM 驱动的应用程序。这种链式结构使得开发者可以轻松地定制和扩展应用程序的功能，同时保持代码的可读性和可维护性。

简单来说，Langchain就是将LLM串联起来进行的一系列链式操作， 对于简单的应用来说，孤立地使用LLM是没有问题的，但更复杂的应用需要将LLM串联起来–要么相互串联，要么与其他组件串联。

LangChain为这种 "链式 "应用提供了Chain接口。我们非常笼统地将链定义为对组件的调用序列，其中可以包括其他链。基本接口很简单：

class Chain(BaseModel, ABC):"""Base interface that all chains should implement."""
​memory: BaseMemorycallbacks: Callbacks
​def __call__(self,inputs: Any,return_only_outputs: bool = False,callbacks: Callbacks = None,) -> Dict[str, Any]:...

为什么我们需要链：

链允许我们将多个组件结合在一起，创建一个单一的、连贯的应用程序。例如，我们可以创建一个链，接受用户输入，用PromptTemplate格式化，然后将格式化的响应传递给LLM。我们可以通过将多个链组合在一起，或将链与其他组件组合在一起，建立更复杂的链。

看一个简单使用的例子：

LLMChain是最基本的构建块链。它接受一个提示模板，用用户输入的格式化它，并从LLM返回响应。

要使用LLMChain，首先要创建一个提示模板。

from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate
​
llm = OpenAI(temperature=0.9)
prompt = PromptTemplate(input_variables=["product"],template="What is a good name for a company that makes {product}?",
)

我们现在可以创建一个非常简单的链，它将接受用户的输入，用它来格式化提示，然后将其发送到LLM。

from langchain.chains import LLMChain
chain = LLMChain(llm=llm, prompt=prompt)
​
# Run the chain only specifying the input variable.
print(chain.run("colorful socks"))
​Colorful Toes Co.

如果有多个变量，你可以用一个字典一次输入它们。

prompt = PromptTemplate(input_variables=["company", "product"],template="What is a good name for {company} that makes {product}?",
)
chain = LLMChain(llm=llm, prompt=prompt)
print(chain.run({'company': "ABC Startup",'product': "colorful socks"}))
​Socktopia Colourful Creations.

你也可以在LLMChain中使用一个聊天模型：

from langchain.chat_models import ChatOpenAI
from langchain.prompts.chat import (ChatPromptTemplate,HumanMessagePromptTemplate,
)
human_message_prompt = HumanMessagePromptTemplate(prompt=PromptTemplate(template="What is a good name for a company that makes {product}?",input_variables=["product"],))
chat_prompt_template = ChatPromptTemplate.from_messages([human_message_prompt])
chat = ChatOpenAI(temperature=0.9)
chain = LLMChain(llm=chat, prompt=chat_prompt_template)
print(chain.run("colorful socks"))
​Rainbow Socks Co.

chain的分类：

主要分为LLMChain，Sequential Chains，Router Chain，其中LLMChain是最基本的chain它简单的组合了LLM和promt, Sequential Chains主要包含SimpleSequentialChain和SequentialChain，对于SimpleSequentialChain来说它只是简单的将多个LLMChain串联在一起，前一个chain的输出是后一个chain的输入，所以总体上来说SimpleSequentialChain只有一个输入和一个输出，而SequentialChain则具体多个输入或输出。而Router Chain则是具有路由功能的chain ,它可以将用户的问题进行分类，从而将问题传递给特定的chain。

个人理解总结：

理解了chains的作用和意义，才能真正理解Langchain的作用和意义，个人理解，Langchain就像高达玩具一样，可以融合市场上主流的大模型，并且提供了组合调用链路以供使用者快速上手使用，也支持使用者自己定义组装自己的调用链路，以此来满足各种各种的场景需求，因此与其说Langchain是个框架和工具，倒不如说Langchain是一个设计模式或者理念，使用者不应该拘泥于某一种的使用方式，而是探索在不同的场景中如何让chains更加高效的工作，甚至是自定义自己的chains。

最后，来看看Langchain中文社区怎么介绍chains的。

链是由链接组成的，它可以是原语或其他链。原语可以是提示、模型、任意函数或其他链。这里的示例分为三个部分：

通用功能

涵盖了通用链（在各种应用程序中都有用的链)以及与这些链相关的通用功能。

二、Langchain框架的工作原理

工作流程：加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

  1. 加载文件：将需要处理的文本文件加载到系统中。这些文本可以是百科全书、知识图谱或其他类型的知识源。
  2. 读取文本：从文件中读取文本内容，并将其转换为字符串格式。
  3. 文本分割：将输入的文本分割成单独的句子或段落。这可以通过正则表达式、分词器或其他文本处理方法实现。
  4. 文本向量化：将分割后的文本转换为数值向量。这可以通过词嵌入方法（如 Word2Vec、GloVe 等）或将文本转换为独热编码（one-hot encoding）来实现。
  5. 问句向量化：将用户输入的问句转换为数值向量。与文本向量化类似，可以使用词嵌入方法或独热编码来实现。
  6. 匹配查询：使用相似度计算方法（如余弦相似度、Jaccard 相似度等）在文本向量中找到与问句向量最相似的 top k 个文本片段。这些相似的文本片段可以作为上下文和问题的一部分，添加到 prompt 中。
  7. 构建 prompt：将匹配到的文本片段和原始问题组合成一个完整的 prompt。例如，“您的问题关于 […]，以下是与您问题相关的上下文： […]，请回答 […]”。
  8. 提交给 LLM 生成回答：将构建好的 prompt 提交给大型语言模型（如 GPT-3、ChatGPT 等）进行回答生成。模型根据 prompt 中的上下文和问题生成相应的回答。
  9. 输出回答：将模型生成的回答输出给用户，完成问答过程。

从文档处理角度来看，实现流程如下：

Langchain 应用领域：

1，文本总结(Summarization): 对文本/聊天内容的重点内容总结。

2，文档问答(Question and Answering Over Documents): 使用文档作为上下文信息，基于文档内容进行问答。

3，信息抽取(Extraction): 从文本内容中抽取结构化的内容。

4，结果评估(Evaluation): 分析并评估LLM输出的结果的好坏。

5，数据库问答(Querying Tabular Data): 从数据库/类数据库内容中抽取数据信息。

6，代码理解(Code Understanding): 分析代码，并从代码中获取逻辑，同时也支持QA。

7，API交互(Interacting with APIs): 通过对API文档的阅读，理解API文档并向真实世界调用API获取真实数据。

8，聊天机器人(Chatbots): 具备记忆能力的聊天机器人框架（有UI交互能力)。

9，智能体(Agents): 使用LLMs进行任务分析和决策，并调用工具执行决策。

三、代码结构

  • configs/ 配置文件路径
  • server/ api服务、大模型服务等服务程序等核心代码
  • webui_pages/ webui服务
  • startup.py 启动脚本

img

│ .gitignore
│ CONTRIBUTING.md
│ init_database.py 用于初始化知识库
│ LICENSE
│ README.md
│ release.py
│ requirements.txt
│ requirements_api.txt
│ requirements_webui.txt
│ shutdown_all.sh 一键停止脚本，kill掉启动的服务
│ startup.py 一键启动
│ webui.py ui界面启动
├─chains
│ llmchain_with_history.py
│
├─common
│ init.py
│
├─configs
│ model_config.py.example 模型配置文件，配置使用的LLM和Emebdding模型；
│ server_config.py.example
│ init.py
├─embeddings
│ init.py
├─knowledge_base
│ └─samples 知识库
│ ├─content
│ │ test.txt 知识库上传的文档
│ └─vector_store 向量化后的知识
│ index.faiss
│ index.pkl
│
├─nltk_data
├─server
│ │ api.py 用于启动API服务
│ │ api_allinone_stale.py
│ │ llm_api.py 用于启动LLM
│ │ llm_api_shutdown.py
│ │ llm_api_stale.py
│ │ utils.py
│ │ webui_allinone_stale.py
│ │
│ ├─chat
│ │ chat.py 用于与LLM模型对话
│ │ knowledge_base_chat.py 用于与知识库对话
│ │ openai_chat.py
│ │ search_engine_chat.py 用于搜索引擎对话
│ │ utils.py
│ │ init.py
│ │
│ ├─db 知识库的数据库
│ │ │ base.py
│ │ │ session.py
│ │ │ init.py
│ │ │
│ │ ├─models
│ │ │ base.py 数据库表的基础属性
│ │ │ knowledge_base_model.py 知识库模型的表字段
│ │ │ knowledge_file_model.py 知识库文件的表字段
│ │ │ init.py
│ │ │
│ │ └─repository
│ │ knowledge_base_repository.py
│ │ knowledge_file_repository.py
│ │ init.py
│ │
│ ├─knowledge_base
│ │ │ kb_api.py 知识库API，创建、删除知识库；
│ │ │ kb_doc_api.py 知识库文件API，搜索、删除、更新、上传文档，重建向量库；
│ │ │ migrate.py 初始化 or 迁移重建知识库；
│ │ │ utils.py 提供了加载Embedding、获取文件加载器、文件转text的函数，可设置文本分割器；
│ │ │ init.py
│ │ │
│ │ └─kb_service
│ │ base.py 向量库的抽象类
│ │ default_kb_service.py
│ │ faiss_kb_service.py faiss向量库子类
│ │ milvus_kb_service.py
│ │ pg_kb_service.py
│ │ init.py
│ │
│ └─static
│
├─tests
│ └─api
│ test_kb_api.py 测试知识库API
│ test_stream_chat_api.py 测试对话API
│
├─text_splitter 各种文本分割器
│ ali_text_splitter.py 达摩院的文档分割
│ chinese_text_splitter.py 中文文本分割
│ zh_title_enhance.py 中文标题增强：判断是否是标题，然后在下一段文字的开头加入提示语与标题建立关联。
│ init.py
│
└─webui_pages UI界面构建
│ utils.py 简化api调用
│ init.py
│
├─dialogue
│ dialogue.py 问答功能，LLM问答和知识库问答，还有搜索引擎问答；
│ init.py
│
├─knowledge_base
│ knowledge_base.py 知识库管理界面构建
│ init.py
│
└─model_config
model_config.py 模型配置页面，TODO。应该是可以在界面上手动选择采用哪个LLM和Embedding模型。
init.py

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.2.1 什么是Prompt
    • L2.2.2 Prompt框架应用现状
    • L2.2.3 基于GPTAS的Prompt框架
    • L2.2.4 Prompt框架与Thought
    • L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
    • L2.3.1 流水线工程的概念
    • L2.3.2 流水线工程的优点
    • L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
    • L3.1.1 Agent模型框架的设计理念
    • L3.1.2 Agent模型框架的核心组件
    • L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
    • L3.2.1 MetaGPT的基本概念
    • L3.2.2 MetaGPT的工作原理
    • L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
    • L3.3.1 ChatGLM的特点
    • L3.3.2 ChatGLM的开发环境
    • L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
    • L3.4.1 LLAMA的特点
    • L3.4.2 LLAMA的开发环境
    • L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/29238.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【有用】docker在windows下使用详情

【有用】docker在windows下使用详情

在Windows下安装和使用Docker可以按照以下步骤进行： 安装 Docker Desktop 系统要求 • Windows 10 64-bit: Pro, Enterprise, or Education (1607 Anniversary Update, Build 14393 or later) • Windows 11 64-bit: Pro, Enterprise, or Education • Windows 10 …
阅读更多...
DPDK环境配置

DPDK环境配置

DPDK环境配置 DPDK（Data Plane Development Kit）是一个开源的软件框架，最初由Intel开发，旨在提升数据包处理性能，尤其是在Intel架构的处理器上。它允许开发者在用户空间（user space）而不是传统…
阅读更多...
Excel批量删除括号里内容，帮你轻松应对！

Excel批量删除括号里内容，帮你轻松应对！

某次，刘小生从系统导出的人员信息中，“姓名”字段信息中包含了工号信息，需要将“原姓名”中的“工号、括号”信息删除，如果一个一个删除工作量很大，刘小生想到可以用“通配符*”批量替换，解放双手&#xff…
阅读更多...
飞天茅台酒的惊魂五日

飞天茅台酒的惊魂五日

“电商百亿补贴修改发货规则”导致黄牛资金压力剧增，资金压力之下部分黄牛择低价甩卖，其他求货的酒行、大酒商则选择观望，价格下行压力最终扩散，造成整个回收市场踩踏，价格急速下跌。 不到半年时间，飞天茅台…
阅读更多...
初学者必看的web前端开发学习路线,干货满满！

初学者必看的web前端开发学习路线,干货满满！

初学者必看的web前端开发学习路线,干货满满！ 随着互联网的深入发展,前端工程师这个岗位在市场上的需求，薪资也是很可观的。前端很火，想自学前端的人也很多。包括一些学生、上班族、以前的UI，java，或完全零基础&#xf…
阅读更多...
免费无版权可商用资源|自媒体创业者、设计师、电商商家必备

免费无版权可商用资源|自媒体创业者、设计师、电商商家必备

1.前言 小伙伴们大家好，欢迎来到天夏Ai，这里专注于分享人工智能精品资源：Ai副业项目、Ai效率神器！和你一起共享Ai信息，分享Ai副业项目资源，开启智能副业赚钱新时代！ 今天为大家分享免费无版权可…
阅读更多...
Web 前端开发趋势

Web 前端开发趋势

前端开发领域，新技术、开发趋势、库和框架不断涌现，变化并不陌生。最近发生的一些事件正在改变开发人员构建网站和 Web 应用的方式 虽然跟上前端生态系统的变化可能具有挑战性，但作为专业人士，保持技能的更新有助于我们开展工作。…
阅读更多...
PBC密码库安装及使用教程

PBC密码库安装及使用教程

文章目录 1.PBC库介绍2.PBC库安装3.PBC库使用4.相关API4.1 配对的初始化和释放4.2 元素的初始化和释放4.3 元素的赋值4.4 哈希4.5 元素的常用运算4.6 元素的幂运算4.7 元素的比较4.8 从群中随机选取一个元素（常用）4.9 配对的运算4.10 小结 5.Some exampl…
阅读更多...
RocketMQ源码学习笔记：NameServer启动流程

RocketMQ源码学习笔记：NameServer启动流程

这是本人学习的总结，主要学习资料如下 马士兵教育rocketMq官方文档 目录 1、Overview2、NameServer启动流程2.1、总结2.2、NamesrvController2.2.1、主要职责2.2.2、关键的成员变量2.2.3、核心代码2.2.4、值得注意的点 1、Overview NameServer主要就做三件事 Nam…
阅读更多...
vue3的基本使用方法

vue3的基本使用方法

【 vue3实例 】 【 0 】对象、方法和属性 对象（Object）： 对象是编程中的一个数据结构，它可以包含多种数据类型，包括数字、字符串、布尔值、数组、其他对象等。对象通常由一系列属性和方法组成。在面向对象编程&…
阅读更多...
超高清图像生成新SOTA！清华唐杰教授团队提出Inf-DiT：生成4096图像比UNet节省5倍内存。

超高清图像生成新SOTA！清华唐杰教授团队提出Inf-DiT：生成4096图像比UNet节省5倍内存。

清华大学唐杰教授团队最近在生成超高清图像方面的新工作：Inf-DiT，通过提出一种单向块注意力机制，能够在推理过程中自适应调整内存开销并处理全局依赖关系。基于此模块，该模型采用了 DiT 结构进行上采样，并开发了一种能…
阅读更多...
【Linux】进程_8

【Linux】进程_8

文章目录 五、进程10. 进程等待阻塞等待和非阻塞等待 11. 进程程序替换 未完待续 五、进程 10. 进程等待 上一篇我们知道了 wait 和 waitpid 函数都有一个 status 参数，这个参数是什么呢？这个参数其实就是进程的返回结果，当子进程结束的时候…
阅读更多...
MySQL-----JOIN语句之内连接

MySQL-----JOIN语句之内连接

在我们使用MySQL进行项目的开发过程中，仅仅对一张表进行操作是远远不够的，真正的应用中经常需要从多个数据表中读取数据。我们在使用的过程中，尝尝通过 SELECT, UPDATE 和 DELETE 语句配合使用 JOIN 来联合多表查询。 JOIN 分类 INNER JOIN…
阅读更多...
【5.x】ELK日志分析、集群部署

【5.x】ELK日志分析、集群部署

ELK日志分析 一、ELK概述 1、ELK简介 ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。 一个完整的集中式日志系统，需要包含以下几个主…
阅读更多...
中国星网时空信息集团春招Offer面经

中国星网时空信息集团春招Offer面经

本文介绍2024届春招中，中国卫星网络集团有限公司下属中国时空信息集团有限公司中，业务助理岗位1场面试的基本情况、提问问题等。 2024年04月投递了中国卫星网络集团有限公司下属中国时空信息集团有限公司中的业务助理岗位，所属部门为运营中心…
阅读更多...
基于jeecgboot-vue3的Flowable流程-所有任务

基于jeecgboot-vue3的Flowable流程-所有任务

因为这个项目license问题无法开源&#xff0c;更多技术支持与服务请加入我的知识星球。 这个部分主要讲所有任务的功能 1、主要列表界面如下&#xff1a; <template><div class"p-2"><!--查询区域--><div class"jeecg-basic-table-form-…
阅读更多...
艾伦脑图谱（Allen Brain Atlas）

艾伦脑图谱（Allen Brain Atlas）

文章目录 一、艾伦研究所&#xff08;Allen Institute&#xff09;1.1、艾伦脑图谱&#xff08;Allen Brain Map&#xff09;1.1.1、艾伦&#xff08;小鼠大脑&#xff09;通用坐标框架&#xff08;Allen Mouse Brain Common Coordinate Framework&#xff0c;CCFv3&#xff09…
阅读更多...
Elasticsearch-使用Logstash同步Mysql

Elasticsearch-使用Logstash同步Mysql

1.安装logstash es服务器版本必须和logstash版本一致 7.9.2 在/usr/local/src/下新建logstash文件夹&#xff0c;解压 下载logstash后查看是否安装成功&#xff0c;在logstash的bin目录下输入指令&#xff1a; ./logstash -e input { stdin { } } output { stdout {} }2.my…
阅读更多...
NAND闪存市场彻底复苏

NAND闪存市场彻底复苏

在全球内存市场逐渐走出阴霾、迎来复苏曙光之际&#xff0c;日本存储巨头铠侠&#xff08;Kioxia&#xff09;凭借敏锐的市场洞察力和及时的战略调整&#xff0c;成功实现了从生产紧缩到全面复苏的华丽转身。这一转变不仅彰显了企业在逆境中的生存智慧&#xff0c;也为全球半导…
阅读更多...
OSPF 动态路由协议（思科、华为）

OSPF 动态路由协议（思科、华为）

#交换设备 OSPF 动态路由协议 一、基本概念 1.中文翻译&#xff1a;开放式最短路径优先路由协议&#xff08;open shortest path first&#xff09;&#xff0c;是一个内部网关路由协议&#xff08;一个自治系统内&#xff09;2.也称为&#xff1a;链路状态路由协议&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023