引言

大语言模型（LLM）为行业带来变革，具备强大的生成能力，在与知识库和检索器等工具相结合时，能够高效推动聊天机器人和 Agent 等高级生成式 AI（GenAI）应用的发展。与 LLMs 互动的过程中，最核心的部分是提示（prompt）。Prompt 是指用于指导这些模型执行特定任务的命令。然而，制定有效的 Prompt 是一个细致且复杂的过程，常需借助如思维链（Chain-of-Thought）和 ReAct 等高级技术。随着这些技术的发展，Prompt 的复杂性日益增加。此外，即使是相同的 Prompt ，在不同的 LLM（如 GPT-4 和 Gemini）之间也可能因其预训练方法和数据集的不同而产生差异化的结果。这一挑战引发了业内对 Prompt 工程的研究，这是一项专注于调整和优化 Prompt 以获得更佳和更定制化结果的劳动密集型任务。

尽管手动制作 Prompt 对于简单的 LLM 应用效果尚可，但对于涉及多个组件的复杂 LLM 基础设施，这一过程十分耗时。DSPy 为开发者与语言模型互动方式带来了变革——通过引入一个可编程接口，实现了模型 Prompt 和权重的算法优化，从而帮助相关人员更高效地开发语言模型。DSPy 已支持无缝集成 Milvus 向量数据库，通过程序化方法自动优化检索增强生成（RAG）应用。

在接下来的部分中，我们将探讨 DSPy 的本质及其操作机制，并提供一个实际示例，展示如何使用 DSPy 和 Milvus 向量数据库构建和优化一个 RAG 应用。

什么是 DSPy？

DSPy 是由斯坦福 NLP 组推出的一种程序化框架，旨在优化语言模型中的 Prompt 和权重，这在 LLM 跨多个 pipeline 阶段集成时尤其有用。它提供了各种可组合和声明式模块，以 Python 语法指导 LLM。

与依赖手动制作和调整提示的传统提示工程技术不同，DSPy 学习查询-答案示例，并模仿这一学习过程来生成为特定结果量身定做的优化提示。这种方法允许动态重组整个 pipeline，精确地针对任务的细微差别进行定制，从而免去了开发人员持续手动调整提示的麻烦。

关键概念和基本组件

DSPy 的自动化 Prompt 优化和模型微调部分由三个基本组件构成：签名（Signatures）、模块（Modules）和优化器（Optimizers，之前被称为 Teleprompters）。

签名（Signature）

签名是声明性的规范，定义了 DSPy 模块的输入/输出行为，用于告诉语言模型应执行哪些任务，而不是我们应如何设置 prompt 语言模型。

一个签名包括三个基本元素：

语言模型旨在解决的子任务的简洁描述。

我们提供给语言模型的一个或多个输入字段的描述（例如，输入问题）。

我们期望从语言模型得到的一个或多个输出字段的描述（例如，问题的答案）。

以下是一些流行的 LLM 任务的签名示例：

问题回答："question -> answer"

情感分类："sentence -> sentiment"

检索增强型问题回答："context, question -> answer"

带推理的多项选择题回答："question, choices -> reasoning, selection"

这些签名指导 DSPy 高效地在各种模块中协调 LLM 操作，促进 LLM 流畅且精确地执行任务。

模块（Module）

DSPy 模块在 LLM pipeline 中抽象了传统的 prompting 技术。它们具有三个关键特性：

每个内置模块抽象出一个特定的 prompting 技术（如 Chain of Thoughts 或 ReAct）并处理 DSPy 签名。

DSPy 模块具有可学习的参数，包括 prompt 组件和 LLM 权重，使它们能够处理输入并生成输出。

DSPy 模块可以组合，从而创建更大、更复杂的模块。