---

一、下载

 

---

二、核心功能

 其中包括以下内容：

1. 从模型中返回结构化的数据
2. 使用模型调用工具
3. 流式可运行对象
4. 调试 LLM 应用

1、流式传输 streaming

 在大语言模型中，流式传输 streaming 通常指的是一种数据处理方式，其中数据是 连续不断地 传输和处理，而不是一次性批量传输。这种方法有以下几个关键特征和应用：

1. 实时处理，流式传输允许模型 实时处理输入数据，而不是等待所有数据都传输完毕后再进行处理。这对于需要即时响应的应用非常重要，如在线翻译、语音识别、实时聊天机器人等。
2. 减少延迟，通过流式传输，数据可以 分块处理，每个块的数据可以在接收到后立即进行处理，从而 减少整体延迟，提高响应速度。
3. 资源管理，流式传输可以更有效地利用资源，因为它 不需要在内存中一次性加载所有数据，适合处理大规模数据或内存受限的场景。
4. 适应动态数据，在一些应用中， 数据是 不断变化和更新的，如社交媒体流、传感器数据等。流式传输能够动态适应这些数据的变化，提供持续的模型推理和输出。

---

三、LCEL

 LCEL 是一种创建任意自定义链的方法。它基于 Runnable 协议。LCEL cheatsheet：快速概览如何使用主要 LCEL 原语。

---

四、组成部分

1、Promp template

 提示模板负责将用户输入格式化为可以传递给语言模型的格式。

2、Example selectors (示例选择器)

 示例选择器负责选择正确的几个短示例传递给提示。

3、Chat models (聊天模型)

 聊天模型是一种较新的语言模型，可以接收消息并输出消息。

4、Messages (消息)

 消息是聊天模型的输入和输出。它们有一些 content内容 和一个 role角色，描述了消息的来源。

5、LLMs (大语言模型)

 LangChain 所称的 LLMs 是语言模型的 旧形式，它以字符串为输入，以字符串为输出。

• 如何缓存模型的相应
• 如何创建自定义LLM类
• 流式地传输响应回来
• 跟踪令牌使用情况
• 使用本地LLM工作