1. 简介

我们之前的博客文章广泛探讨了大型语言模型 (LLM)，涵盖了其发展和广泛的应用。现在，让我们仔细看看这一旅程的核心：在本地构建 LLM 应用程序。

在这篇博文中，我们将使用 LangChain 创建一个基本的 LLM 应用程序。

之后，我们将继续在本地开发另外三个开源 LLM 应用程序。

让我们首先研究一下 LLM App Stack 中的工具。

我们将看到更多 LLM 应用得到实施，我们将开始看到更多此类应用具有生产氛围。这些包括但不限于 — 基本组件上的可观察性、数据版本控制和企业功能。

截至 2024 年 3 月更新，本文包含 8 个类别的 67 家公司：

• 法学硕士
• 法学硕士提供者
• 矢量数据库
• 嵌入模型
• 编排
• 品质调整
• 基础设施
• 数据工具

1.1. LLM

大型语言模型在人工智能领域风靡一时。它们使我们能够通过自然语言与人工智能合作，这是世界各地的研究人员和从业者几十年来一直在努力实现的目标。2014 年生成对抗网络的兴起，加上 2018 年 Transformer 的出现，以及多年来计算能力的提高，都促成了这一技术的出现。

说法学硕士将改变世界既不准确也不公平。法学硕士已经改变了世界。

• OpenAI（GPT）
• 驼羊
• 谷歌（双子座）
• 米斯特拉尔
• 决策人工智能

DeciLM-7B 是 Deci AI 的 LLM 系列中的最新产品。凭借其 70.4 亿个参数和针对高吞吐量进行优化的架构，它在 Open LLM 排行榜上取得了最高性能。它通过结合开源和专有数据集以及分组查询注意等创新技术来确保训练的多样性和效率。Deci 7B 支持 8192 个 token，并遵循 Apache 2.0 许可证。— Harpreet Sahota

• 符号人工智能

我们（创始人）来自电信行业，他们看到了对延迟敏感、低内存语言模型的需求。Symbl AI 具有独特的 AI 模型，专注于从端到端理解语音。它包括将语音转换为文本以及分析和理解所说的内容的能力。—— Surbhi Rathore

• 克劳德（Claude）
• 人工智能块

我们构建了 AI Bloks 来解决在私有云中实现企业 LLM 工作流自动化的问题。我们的产品生态系统拥有针对企业 LLM 工作流的最全面的开源开发框架和模型之一。我们有一个集成的 RAG 框架，其中包含 40 多个经过微调且对 CPU 友好的小型语言模型，旨在堆叠在一起以提供全面的解决方案。— Namee Oberst

• 阿尔西·艾
• 算盘人工智能
• 我们研究
• Upstage 的太阳能

法学硕士学费昂贵。发展中国家的情况更是如此。我们需要找到解决方案。这就是我们开发 Solar 的原因。Solar 足够小，可以装在芯片上，而且任何人都可以使用。— Sung Kim

1.2. 法学硕士提供者

• 亚马逊 (基岩)
• OctoAI

“当我们创办 OctoAI 时，我们知道模型只会越来越大，从而使 GPU 资源变得稀缺。这促使我们将系统专业知识集中在大规模高效地处理 AI 工作负载上。如今，OctoAI 通过与 OpenAI 兼容的 API 提供最新的文本生成和媒体生成基础模型，因此开发人员可以以经济高效的方案充分利用开源创新。” — Thierry Moreau

• 烟花人工智能
• 火星人

1.3. 矢量数据库

向量数据库是 LLM 堆栈的关键部分。它们提供了处理非结构化数据的能力。非结构化数据原本无法处理，但可以通过机器学习模型运行以生成向量嵌入。向量数据库使用这些向量嵌入来查找相似的向量。

• Milvus（这是我的项目！给它一个 GitHub 星星！）

Milvus 是一个开源向量数据库，旨在实现处理数十亿个向量。Milvus 面向企业级，还包含许多企业功能，如多租户、基于角色的访问控制和数据复制。—— Yujian Tang

• 威维特
• 色度
• 卡德兰特
• 阿斯特拉DB
• 孔径数据

“我们创建 Aperture Data 的目的是简化 DS/ML 团队与多模态数据类型的交互。我们最大的价值主张是，我们可以合并矢量数据、智能图表和多模态数据，通过一个 API 进行查询。” — Vishakha Gupta

• 松果
• 数据库

LanceDB 在您的应用中运行，无需管理任何服务器。零供应商锁定。LanceDB 是一款面向开发人员的 AI 开源数据库。它基于 DuckDB 和 Lance 数据格式。— Jasmine Wang

• ElasticSearch
• 齐利兹

Zilliz Cloud旨在解决非结构化数据问题。Zilliz Cloud 建立在高度可扩展、可靠且流行的开源矢量数据库 Milvus 之上，它使开发人员能够自定义矢量搜索，无缝扩展到数十亿个矢量，并且无需管理复杂的基础设施即可完成所有操作。— Charles Xie

1.4. 嵌入模型

嵌入模型是创建向量嵌入的模型。这些是 LLM 堆栈的关键部分，经常与 LLM 混淆。我认为这是 OpenAI 的命名约定 + 人们对学习这项新技术的强烈热情。LLM 可以用作嵌入模型，但嵌入模型早在 LLM 兴起之前就已经存在了。

• 拥抱脸
• 航行人工智能

“Voyage AI 提供通用、特定领域和微调的嵌入模型，具有最佳的检索质量和效率。”——马腾宇

• 混合面包

MixedBread 希望改变人工智能和人类与数据交互的方式。它拥有一支强大的研究和软件工程团队。—— Aamir Shakir

• 艾吉娜

1.5. 编排工具

围绕 LLM 出现了一整套全新的编排工具。主要原因是什么？LLM 应用程序的编排包括提示，这是一个全新的类别。这些工具是由“提示工程”和机器学习领域的前沿人士开发的。

• 骆驼指数

“我们在 ChatGPT 热潮的巅峰时期构建了 LlamaIndex 的第一个版本，以解决 LLM 工具最紧迫的问题之一——如何利用这种推理能力并将其应用于用户数据。如今，我们是一个成熟的 Python 和 TypeScript 数据框架，提供全面的工具/集成（150 多个数据加载器、50 多个模板、50 多个向量存储），可用于在您的数据上构建任何 LLM 应用程序，从 RAG 到代理。”—— Jerry Liu

• 朗链
• 草垛
• 语义核心
• 自动生成
• 飞特

“Flyte 正在利用容器化和 Kubernetes 来协调复杂、可扩展且可靠的工作流程，从而重新定义机器学习和数据工程工作流程的格局。Flyte 专注于可重复性和效率，为运行计算任务提供了一个统一的平台，使 ML 工程师和数据科学家能够轻松地跨团队和跨资源简化工作。您可以通过 Union.ai 在云端完全管理 Flyte，从而充分利用 Flyte 的强大功能”——Ketan Umare

• Flowise人工智能

Flowise 是一款基于 Langchain 和 LlamaIndex 构建的流程管理工具。开发 LLM 应用程序需要一整套全新的开发工具，这就是我们创建 Flowise 的原因：让开发人员能够在一个平台上构建、评估和观察他们的 LLM 应用程序。我们是第一个开辟低代码 LLM 应用程序构建器新领域的公司，也是第一个集成不同 LLM 框架的开源平台，允许开发人员根据自己的用例进行自定义。— Henry Heng

• 边界机器学习

我们创建了一种新的配置语言 BAML，它针对表达 AI 功能进行了优化。BAML 提供内置类型安全、原生 VSCode 游乐场、任意模型支持、可观察性以及对 Python 和 Typescript 的支持。最重要的是，它是开源的！— Vaibhav Gupta

1.6. 质量调整工具

先构建应用程序，然后再考虑质量。但质量真的很重要。这些工具存在的原因在于：a) 许多基于 LLM 的结果都是主观的，但需要一种衡量方法；b) 如果您在生产中使用某些东西，您需要确保它是好的；c) 了解不同参数如何影响您的应用程序意味着您可以了解如何改进它。

• 阿里兹人工智能

“我的联合创始人 Aparna Dhinakaran 来自 Uber 的 ML 团队，我来自 TubeMogul，我们都意识到我们面临的最困难的问题是解决现实世界的 AI 问题并理解 AI 性能。Arize 拥有一群独特的人才，他们数十年来一直致力于 AI 系统性能评估、高度可用的可观察性工具和大数据系统。我们以开源为基础，并支持我们软件的社区版本Phoenix。”—— Arize AI首席执行官兼联合创始人Jason Lopatecki。

• WhyLabs

“WhyLabs 帮助 AI 从业者构建可靠且值得信赖的 AI 系统。随着我们的客户从预测用例扩展到 GenAI 用例，安全性和控制成为他们投入生产的最大障碍。为了解决这个问题，我们开源了 LangKit，这是一种使团队能够防止 LLM 应用程序中的滥用、错误信息和数据泄露的工具。对于企业团队，WhyLabs 平台位于 LangKit 之上，提供协作控制和根本原因分析中心 — Alessya Vijnic

• 深度检查

“我们创办 Deepchecks 是为了应对构建、调整和观察人工智能的巨大成本。我们的特色是为用户提供自动评分机制。这使我们能够结合质量和合规性等多种考虑因素来对 LLM 响应进行评分。” — Philip Tannor

• 困境
• 创世纪

TruEra 的 AI 质量解决方案可评估、调试和监控机器学习模型和大型语言模型应用程序，以实现更高的质量、可信度和更快的部署。对于大型语言模型应用程序，TruEra 使用反馈功能来评估没有标签的 LLM 应用程序的性能。结合深度可追溯性，这为任何 AI 应用程序带来了无与伦比的可观察性。TruEra 可在整个模型生命周期内工作，独立于模型开发平台，并可轻松嵌入到您现有的 AI 堆栈中。— Josh Reini

• 蜂蜜蜂巢
• 护栏 AI
• 梯度爆炸（RAGAS）
• BrainTrust 数据

BrainTrust Data 是一款强大的解决方案，用于评估以软件工程为中心的 LLM 应用程序。它允许快速迭代。与其他 MLOps 工具不同的是，它的评估集侧重于使用情况，并允许用户定义功能。— Albert Zhang

• 守护神人工智能
• 吉斯卡德
• 商

Quotient 提供了一个端到端平台，可以定量测试 LLM 应用程序中的变化。在 GitHub 上进行了多次讨论后，我们认为定量测试 LLM 应用程序是一个大问题。我们的特色是，我们为业务用例提供特定领域的评估。— Julia Neagu

• 伽利略

1.7. 数据工具

2012 年，数据是任何 AI/ML 应用中最好的朋友。2024 年，情况略有不同，但差别不大。数据质量仍然至关重要。这些工具可帮助您确保数据标记正确、使用正确的数据集，并轻松移动数据。

• 体素51

“模型的好坏取决于训练模型所用的数据，那么你的数据集里有什么呢？我们构建了 Voxel51，将您的非结构化数据组织到一个集中、可搜索且可可视化的位置，让您能够构建自动化程序，从而提高您提供给模型的训练数据的质量。” — Brian Moore

• 分布式虚拟控制器
• 閣下

在构建 Apple 的 ML 数据平台并看到 ML 团队因工具和流程无法扩展且与软件团队不一致而苦苦挣扎之后，我们创建了 XetHub。XetHub 将 Git 扩展到 100TB（每个存储库），并提供类似 GitHub 的体验，具有针对 ML 量身定制的功能（自定义视图、模型差异、自动摘要、基于块的重复数据删除、流式挂载、仪表板等）。— Rajat Arya

• 卡夫卡
• 艾尔字节
• 字节蜡

“Bytewax 首先填补了 Python 生态系统中 Python 原生流处理器的空白，该处理器已准备好投入生产。其次，它旨在通过易于使用且直观的 API 和简单的部署方式解决现有流处理工具的开发人员体验问题：`pip install bytewax && python -m bytewax.run my_dataflow.py`” — Zander Matheson

• 非结构化IO

在 Unstructured，我们正在构建数据工程工具，以便轻松地将非结构化数据从原始数据转换为可用于 ML 的数据。如今，开发人员和数据科学家将 80% 以上的时间花在数据准备上；我们的使命是让他们有时间专注于模型训练和应用程序开发。— Brian Raymond

• 火花
• 脉冲星
• 弗卢姆
• Flink
• Timeplus 的 Proton
• Apache NiFi
• 主动循环
• HumanLoop
• 超级链接
• Skyflow（隐私）

Skyflow 是一项数据隐私保险库服务，其灵感来自 Apple 和 Netflix 等公司使用的零信任方法。它隔离并保护敏感的客户数据，将其转换为非敏感引用以降低安全风险。Skyflow 的 API 通过排除敏感数据来确保隐私安全的模型训练，防止从提示或用户提供的文件中推断 RAG 等操作。— Sean Falconer

• 矢量流
• 戴奥斯
• 途径
• 法师人工智能
• 屈肌

1.8. 基础设施

2024 年 3 月，基础架构工具成为该堆栈的新增内容和革新，它们对于构建 LLM 应用至关重要。这些工具可让您先构建应用，然后将生产工作抽象到稍后。它们可让您提供、训练和评估 LLM 以及基于 LLM 的应用程序。

• 本托ML

我创办 BentoML 是因为我看到高效运行和提供 AI 模型是多么困难。使用传统的云基础设施，处理繁重的 GPU 工作负载和处理大型模型可能是一件非常令人头疼的事情。简而言之，我们让 AI 开发人员能够非常轻松地启动和运行他们的 AI 推理服务。我们完全是开源的，并得到了一个始终做出贡献的优秀社区的支持。— Chaoyu Yang

• 数据块
• LastMile AI
• 泰坦机器学习

许多企业希望自行托管语言模型，但没有做好这项工作的基础设施。TitanML 提供了这种基础设施，让开发人员可以构建应用程序。它的特别之处在于，它专注于优化企业工作负载，如批量推理、多模式和嵌入模型。— Meryem Arik

• 确定性人工智能（被HPE收购）
• Pachyderm（被HPE收购）
• 保密思想

ConfidentialMind 正在为企业构建可部署的 API 堆栈。它的独特之处是什么？能够在本地部署所有内容，并利用开源工具即插即用。— Markku Räsänen

• 雪花
• Upstash

需要有一种方法来跟踪无状态工具的状态，并且需要在这个领域为开发人员提供服务。—— Enes Akar

• 解体

我们让非 AI 开发人员能够使用 AI，并为 AI 功能创建私有数据管道。 — Amir Houieh

• NVIDIA 的 NIM
• 帕雷亚

Parea 为 LLM 引入了不可知框架和模型，让构建和评估 LLM 应用程序变得更加容易。— Joel Alexander

以下是 RAG 应用程序的非常合适的架构：

来源

2. 从头开始​​构建 LLM 申请

HuggingFaceH4/zephyr-7b-beta我们将使用模型和 LangChain为项目的 GitHub 问题快速构建 RAG（检索增强生成） 。

以下是一个简单的例子：

• 使用单独的嵌入模型将外部数据转换为嵌入向量，并将向量保存在数据库中。嵌入模型通常较小，因此定期更新嵌入向量比微调模型更快、更便宜、更容易。
• 同时，由于不需要进行微调，因此当 LLM 可用时，您可以自由地将其换成更强大的版本，或者在需要更快的推理时，将其切换到更小的精简版本。

让我们说明如何使用开源 LLM、嵌入模型和 LangChain 构建 RAG。

首先，让我们安装所需的依赖项：

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424">!pip install - <span style="color:#aa0d91">q</span> torch transformers 加速 bitsandbytes transformers sentence-transformers faiss-gpu</span></span></span></span>

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#007400"># 如果在 Google Colab 中运行，您可能需要运行此单元格以确保您使用 UTF-8 语言环境来安装 LangChain </span>
<span style="color:#aa0d91">import</span> locale 
locale.getpreferredencoding = <span style="color:#aa0d91">lambda</span> : <span style="color:#c41a16">"UTF-8"</span></span></span></span></span>

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424">!pip 安装<span style="color:#aa0d91">-q</span> langchain</span></span></span></span>

2.1. 准备数据

在此示例中，我们将从PEFT 库的 repo中加载所有问题（包括打开的和关闭的）。

首先，您需要获取GitHub 个人访问令牌来访问 GitHub API。

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424">从 getpass<span style="color:#aa0d91">导入</span> <span style="color:#5c2699">getpass </span>
<span style="color:#3f6e74">ACCESS_TOKEN </span> = getpass( <span style="color:#c41a16">“YOUR_GITHUB_PERSONAL_TOKEN”</span> )</span></span></span></span>

接下来，我们将加载huggingface/peft仓库中的所有问题：

• 默认情况下，拉取请求也被视为问题，这里我们选择通过设置将它们从数据中排除include_prs=False
• 设置state = "all"意味着我们将加载打开和关闭的问题。

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#aa0d91">从</span>langchain.document_loaders<span style="color:#aa0d91">导入</span>GitHubIssuesLoader loader = GitHubIssuesLoader(repo= <span style="color:#c41a16">"huggingface/peft"</span> , access_token=ACCESS_TOKEN, include_prs= <span style="color:#aa0d91">False</span> , state= <span style="color:#c41a16">"all"</span> ) 
docs = loader.load()</span></span></span></span>

单个 GitHub 问题的内容可能比嵌入模型可以接收的输入内容更长。如果我们想嵌入所有可用内容，我们需要将文档分块为适当大小的部分。

最常见、最直接的分块方法是定义固定大小的块以及它们之间是否应该有重叠。保留块之间的一些重叠使我们能够保留块之间的一些语义上下文。推荐的通用文本分割器是 RecursiveCharacterTextSplitter ，我们将在这里使用它。

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#aa0d91">从</span>langchain.text_splitter<span style="color:#aa0d91">导入</span>RecursiveCharacterTextSplitter splitter = RecursiveCharacterTextSplitter(chunk_size= <span style="color:#1c00cf">512</span> , chunk_overlap= <span style="color:#1c00cf">30</span> ) chunked_docs = splitter.split_documents(docs)</span></span></span></span>

2.2. 创建嵌入 + 检索器

现在所有文档都具有适当的大小，我们可以使用它们的嵌入创建一个数据库。

要创建文档块嵌入，我们将使用HuggingFaceEmbeddings和嵌入模型。Hub 上还有许多其他嵌入模型，您可以通过查看海量文本嵌入基准 (MTEB) 排行榜BAAI/bge-base-en-v1.5来关注表现最佳的模型。

为了创建向量数据库，我们将使用FAISSFacebook AI 开发的库。该库提供高效的相似性搜索和密集向量聚类，这正是我们在这里所需要的。FAISS 目前是海量数据集中 NN 搜索最常用的库之一。

我们将通过 LangChain API 访问嵌入模型和 FAISS。

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#aa0d91">从</span>langchain.vectorstores<span style="color:#aa0d91">导入</span>FAISS
<span style="color:#aa0d91">从</span>langchain.embeddings<span style="color:#aa0d91">导入</span>HuggingFaceEmbeddings db = FAISS.from_documents(chunked_docs，HuggingFaceEmbeddings (model_name= <span style="color:#c41a16">"BAAI/bge-base-en-v1.5"</span> ))</span></span></span></span>

我们需要一种方法来返回（检索）给定非结构化查询的文档。为此，我们将使用以作为主干的as_retriever方法：db

• search_type="similarity"意味着我们想要在查询和文档之间执行相似性搜索
• search_kwargs={'k': 4}指示检索器返回前 4 个结果。

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424">检索器 = db.as_retriever（search_type = <span style="color:#c41a16">“相似性”</span>，search_kwargs = { <span style="color:#c41a16">“k”</span>：<span style="color:#1c00cf">4</span> }）</span></span></span></span>

现在已经设置了矢量数据库和检索器，接下来我们需要设置链的下一个部分 - 模型。

2.3. 负载量化模型

对于这个例子，我们选择了HuggingFaceH4/zephyr-7b-beta，一个小但功能强大的模型。

由于每周都会发布许多模型，您可能希望将此模型替换为最新和最好的模型。跟踪开源 LLM 的最佳方式是查看开源 LLM 排行榜。

为了加快推理速度，我们将加载模型的量化版本：

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#aa0d91">导入</span>torch
<span style="color:#aa0d91">从</span>transformers<span style="color:#aa0d91">导入</span>AutoTokenizer、AutoModelForCausalLM、BitsAndBytesConfig model_name = <span style="color:#c41a16">"HuggingFaceH4/zephyr-7b-beta"</span>bnb_config = BitsAndBytesConfig( load_in_4bit= <span style="color:#aa0d91">True</span>，bnb_4bit_use_double_quant= <span style="color:#aa0d91">True</span>，bnb_4bit_quant_type= <span style="color:#c41a16">"nf4"</span>，bnb_4bit_compute_dtype=torch.bfloat16 
) model = AutoModelForCausalLM.from_pretrained(model_name，quantization_config=bnb_config) 
tokenizer = AutoTokenizer.from_pretrained(model_name)</span></span></span></span>

2.4. 设置 LLM 链

最后，我们拥有了建立 LLM 链所需的所有部分。

首先，使用加载的模型及其标记器创建一个 text_generation 管道。

接下来，创建一个提示模板——这应该遵循模型的格式，所以如果你替换模型检查点，请确保使用适当的格式。

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#aa0d91">从</span>langchain.llms<span style="color:#aa0d91">导入</span>HuggingFacePipeline
<span style="color:#aa0d91">从</span>langchain.prompts<span style="color:#aa0d91">导入</span>PromptTemplate
<span style="color:#aa0d91">从</span>transformers<span style="color:#aa0d91">导入</span>pipeline
<span style="color:#aa0d91">从</span>langchain_core.output_parsers<span style="color:#aa0d91">导入</span>StrOutputParser text_generation_pipeline = pipeline( model=model, tokenizer=tokenizer, task= <span style="color:#c41a16">"text-generation"</span> , temperature= <span style="color:#1c00cf">0.2</span> , do_sample= <span style="color:#aa0d91">True</span> , repetition_penalty= <span style="color:#1c00cf">1.1</span> , return_full_text= <span style="color:#aa0d91">True</span> , max_new_tokens= <span style="color:#1c00cf">400</span> , 
) llm = HuggingFacePipeline(pipeline=text_generation_pipeline) prompt_template = <span style="color:#c41a16">""" 
<|system|>
根据您的知识回答问题。使用以下上下文来帮助：
{context} 
</s> 
<|user|> 
{question} 
</s> 
<|assistant|> 
"""</span>prompt = PromptTemplate( input_variables=[ <span style="color:#c41a16">"context"</span> , <span style="color:#c41a16">“问题”</span> ]，模板=prompt_template，
）llm_chain = prompt | llm | StrOutputParser()</span></span></span></span>

注意：您还可以使用tokenizer.apply_chat_template将消息列表（如 dicts: {'role': 'user', 'content': '(...)'}）转换为具有适当聊天格式的字符串。

最后，我们需要将llm_chain与检索器结合起来，创建一个 RAG 链。我们将原始问题传递到最后的生成步骤，以及检索到的上下文文档：

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#aa0d91">从</span>langchain_core.runnables<span style="color:#aa0d91">导入</span>RunnablePassthrough检索器 = db.as_retriever() rag_chain = { <span style="color:#c41a16">“context”</span> : 检索器，<span style="color:#c41a16">“question”</span> : RunnablePassthrough()} | llm_chain</span></span></span></span>

2.5. 比较结果

让我们看看 RAG 在生成针对图书馆特定问题的答案方面有何不同。

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424">问题 = <span style="color:#c41a16">“如何组合多个适配器？”</span></span></span></span></span>

首先，让我们看看仅使用模型本身，不添加上下文，我们能得到什么样的答案：

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424">llm_chain.invoke（{ <span style="color:#c41a16">“上下文”</span>：<span style="color:#c41a16">“”</span>，<span style="color:#c41a16">“问题”</span>：问题}）</span></span></span></span>

输出：

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#aa0d91">要</span>组合多个适配器，您需要<span style="color:#aa0d91">确保</span><span style="color:#aa0d91">它们</span><span style="color:#aa0d91">彼此</span> 兼容并且<span style="color:#5c2699">与要</span><span style="color:#aa0d91">连接</span>的设备兼容。<span style="color:#007400">您可以按照以下方法操作：</span><span style="color:#1c00cf">1.</span>确定所需的连接器类型：组合适配器之前，请确定输入和输出设备都需要哪些连接器<span style="color:#aa0d91">。</span>例如，<span style="color:#5c2699">如果</span><span style="color:#aa0d91">要将</span>USB <span style="color:#aa0d91">-</span> C<span style="color:#aa0d91">设备</span>连接到<span style="color:#aa0d91">HDMI</span><span style="color:#aa0d91">显示器</span>，则可能需要 USB-C<span style="color:#aa0d91">转</span>HDMI 适配器，<span style="color:#5c2699">然后</span><span style="color:#aa0d91">如果</span>您的显示器仅支持 DVI，则需要单独的 HDMI 转 DVI 适配器。2. 检查兼容性：确保您选择的适配器彼此兼容<span style="color:#aa0d91">并且</span>与<span style="color:#1c00cf">要</span>连接<span style="color:#aa0d91">的</span><span style="color:#5c2699">设备</span><span style="color:#aa0d91">兼容</span><span style="color:#aa0d91">。</span>这一点<span style="color:#5c2699">很</span>重要，因为某些适配器可能<span style="color:#5c2699">无法</span><span style="color:#aa0d91">一起</span>工作<span style="color:#5c2699">或</span>可能导致信号丢失<span style="color:#5c2699">或</span>干扰。<span style="color:#1c00cf">3.</span>连接适配器：确定兼容的适配器后，请<span style="color:#aa0d91">按</span>正确的<span style="color:#aa0d91">顺序连接它们。通常，最靠近</span><span style="color:#aa0d91">要</span>连接的设备的<span style="color:#aa0d91">适配器</span>首先连接，然后<span style="color:#aa0d91">是</span>任何其他所需的适配器。<span style="color:#1c00cf">4.</span>测试连接：连接所有适配器后，测试连接<span style="color:#aa0d91">以</span>确保一切<span style="color:#5c2699">正常</span>。<span style="color:#aa0d91">如果</span>遇到任何问题，<span style="color:#aa0d91">请尝试</span>重新排列适配器<span style="color:#aa0d91">的</span><span style="color:#aa0d91">顺序</span><span style="color:#5c2699">或</span>完全<span style="color:#aa0d91">使用不同的适配器。 </span><span style="color:#1c00cf">5.</span>固定连接：<span style="color:#aa0d91">为</span>防止意外断开连接，请使用电缆扎带<span style="color:#5c2699">或</span>夹子<span style="color:#aa0d91">将</span>适配器<span style="color:#5c2699">和</span>电缆<span style="color:#aa0d91">固定</span>到位。这也有助于<span style="color:#aa0d91">组织</span>您的设置<span style="color:#5c2699">并</span>使其更易于<span style="color:#aa0d91">管理</span>。请记住，组合多个适配器有时会导致<span style="color:#aa0d91">信号</span>丢失<span style="color:#5c2699">或</span>干扰，因此<span style="color:#007400">在依赖连接执行关键任务之前，彻底测试连接至关重要。此外，请注意组合电缆的最大长度，以避免信号衰减。如您所见，模型将问题解释为有关物理计算机适配器的问题，而在 PEFT 的上下文中，“适配器”是指 LoRA 适配器。让我们看看添加来自 GitHub 问题的上下文是否有助于模型给出更相关的答案：</span></span></span></span></span>

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424">rag_chain.invoke（问题）</span></span></span></span>

输出：

<span style="color:rgba(0, 0, 0, 0.8)"><span style="background-color:#ffffff"><span style="background-color:#f9f9f9"><span style="color:#242424">根据提供的上下文，以下是使用 PEFT（ Transformers<span style="color:#aa0d91">的</span>Python 扩展）组合多个适配器的一些潜在方法：<span style="color:#1c00cf">1.</span>分别加载每个适配器<span style="color:#aa0d91">并</span>连接它们的输出：```python <span style="color:#aa0d91">from</span> peft <span style="color:#aa0d91">import</span> Peft <span style="color:#007400"># 加载基础模型和适配器 1</span>base_model = AutoModelForSequenceClassification.from_pretrained( <span style="color:#c41a16">"your_base_model"</span> ) adapter1 = Peft( <span style="color:#c41a16">"adapter1"</span> ).requires_grad_( <span style="color:#aa0d91">False</span> ) adapter1(base_model).load_state_dict(torch.load( <span style="color:#c41a16">"path/to/adapter1.bin"</span> )) <span style="color:#007400"># 加载适配器 2</span>adapter2 = Peft( <span style="color:#c41a16">"adapter2"</span> ).requires_grad_( <span style="color:#aa0d91">False</span> ) adapter2(base_model).load_state_dict(torch.load( <span style="color:#c41a16">"path/to/adapter2.bin"</span> )) <span style="color:#007400"># 连接两个适配器的输出</span><span style="color:#aa0d91">def </span> forward ( <span style="color:#5c2699">self, input_ids,tention_mask</span> ): x = self.base_model(input_ids,tention_mask)[ <span style="color:#1c00cf">0</span> ] x = torch.cat([x, adapter1(x), adapter2(x)], dim=- <span style="color:#1c00cf">1</span> ) <span style="color:#aa0d91">return</span> x <span style="color:#007400"># 创建包含连接输出的新模型类</span><span style="color:#aa0d91">class </span> MyModel ( BaseModel ): <span style="color:#aa0d91">def </span> __init__ ( <span style="color:#5c2699">self</span> ): <span style="color:#5c2699">super</span> ().__init__() self.forward = forward <span style="color:#007400"># 实例化新模型类并用于推理</span>my_model = MyModel() ``` <span style="color:#1c00cf">2.</span>冻结多个适配器<span style="color:#aa0d91">并</span>在推理过程中有选择地激活它们：```python <span style="color:#aa0d91">from</span> peft <span style="color:#aa0d91">import</span> Peft <span style="color:#007400"># 加载基础模型和所有适配器</span></span></span></span></span>

我们可以看到，添加的上下文确实有助于完全相同的模型，为特定于图书馆的问题提供更相关、更明智的答案。

值得注意的是，组合多个适配器进行推理的功能已添加到库中，您可以在文档中找到此信息，因此对于此 RAG 的下一次迭代，可能值得包含文档嵌入。

所以，现在我们了解了如何从头开始构建 LLM RAG 应用程序。

Google Colab（来源）：https ://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/rag_zephyr_langchain.ipynb