部分意图分类【LLM+RAG】

在生成人工智能领域工作最有价值的事情之一就是发现新兴技术如何融入新的解决方案。举个例子：在为北美顶级金融服务公司之一设计对话式人工智能助手时，WillowTree 的数据和人工智能研究团队 (DART) 发现，将意图分类与大型语言模型 (LLM) 结合使用可以提高性能，安全性和成本。

我们将意图分类和LLM与检索增强生成（RAG）系统的这种交织视为“部分意图分类”。这种实践及其背后的故事表明，对于人工智能专业人士来说，创造性地思考并不断尝试新的解决方案是多么重要。

毕竟，像 GPT-4 这样强大的 LLM 以及 RAG 系统的开发使开发人员能够创建比依赖传统技术的聊天机器人功能更强大、更自给自足的聊天机器人。然而，这些新模式和方法仍然存在风险。它们可能会产生无信息或错误的输出（即人工智能幻觉），或者可能容易被越狱（即利用漏洞生成超出道德界限的内容）。

鉴于对答案可靠性和模型安全性的担忧仍然是业务和技术领导者最关心的问题，我们提出部分意图分类作为这些问题的缓解策略。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包

1、为什么我们转向意图分类

意图映射（intent mapping）使聊天机器人能够对符合特定用户意图的用户提示提供确定性的、精心策划的响应。这样做为我们提供了对这些通常不可预测的系统的另一种控制手段。这些用户意图通常涵盖常见问题 (FAQ)。

但意图分类（intent classification）还可以检测恶意或偏离主题的行为——旨在越狱系统或使其脱离其认可主题的提示。因此，通过引入确定性用例识别，我们创建了针对越狱尝试的强大防御前线。

此外，意图分类还可以通过减少延迟和成本来提高聊天机器人的性能。这是因为意图分类器仅依赖于提示的嵌入和轻量级模型，而不依赖于任何 LLM 完成。

2、将意图分类应用于金融服务AI助手

为了支持意图分类系统，我们首先需要一组通用意图。我们可以像生成一组网页常见问题解答一样生成这些内容，甚至可以直接从现有的常见问题解答集合中提取它们。这个想法是在你的意图集中捕获一组常见的用户提示。为每个意图生成多个示例是必要的，这样你的模型就有足够的示例可供训练和测试。考虑相同用户意图的这些变化：

“我如何对信用卡收费提出异议？”
“我最近的信用卡对账单上有可疑活动。”
“我不承认信用卡购买。我应该怎么办？”

这些意图中的每一个都需要在输入中识别出该意图时返回预定的输出。在我们的例子中，我们通过检查嵌入的几何可分离性的验证来开始意图分类的实验。

具有五个意图类别（左）和七个意图类别（右）的嵌入的截断 SVD 聚类的比较。虽然左图显示类别的几何可分离性通常很强，但右图显示，随着添加更多类别，类别在缩小的空间中不易分离。

将 K 均值聚类与奇异值分解 (SVD) 和 t 分布随机邻域嵌入 (t-SNE) 聚类进行比较后，结果表明使用 K 最近邻 (KNN) 模型对原始 1,536 个数据进行分类维度嵌入可能是有效的。虽然最初的试验表现出很强的用户意图分类准确性，但重点不仅仅是每次都准确的意图映射。意图分类器还必须处理不符合给定意图列表的提示。这些可能是以下提示：

应导致 RAG
尝试越狱系统
尝试将聊天机器人拉出范围

为了使分类器能够处理未将所需意图与策划响应进行映射的提示，除了初始意图集之外，我们还必须创建新的类别：超出范围、越狱以及相关但非意图的提示。我们不希望我们的聊天机器人处理超出范围和越狱的提示。从现在起，我们将它们称为“不回答”提示，因为我们不希望聊天机器人回答它们。

至于相关但非意图的提示，这些属于我们的聊天机器人的权限范围，但不符合我们的意图类别。这些提示应通过聊天机器人架构的其余部分发送，以便通过 RAG 进行答复。根据这些新类别，我们将原始意图集称为“范围内”意图。

3、针对更大的意图类别进行调整

随着类别的增加，意图分类的准确性下降了。此外，还提出了超出准确性的考虑因素。现在，我们需要将不准确的分类分成几个不同的类别，每个类别都有自己的一组后果。最重要的是，对训练集大小的考虑变得很重要。更大的训练集可确保更多地覆盖每个意图、相关提示和非答案提示。

当然，完全覆盖是不可能的，并且增加训练集的规模会带来收益递减。除了生成更多示例的成本和时间之外，增加用于检查用户提示的提示数量也会增加意图分类器的延迟和成本，这是我们想要改进的两个关键痛点。

4、基于启发式的系统增强了信心

在使用这组更加多样化的类别测试 KNN 时，我们发现在某些情况下，适合一个范围内意图的提示被错误地分类为另一个范围内意图，或者相关提示被分类为范围内意图。还有一些非回答提示被归类为相关提示。我们解决这些问题的方法是通过两种启发式方法修改分类器。

第一个启发式是模型对给定意图的预测的信心。如果 KNN 预测提示与我们范围内的意图之一匹配，我们将计算 k 个最近邻与预测意图标签的余弦相似度之和。这种方法试图测量提示与嵌入空间中预测意图的“接近度”。如果确定提示足够接近（即，启发式值超过某个预定阈值），意图分类器将返回 KNN 的预测。否则，预测将被忽略，提示将触发 RAG。

请注意，将其中一些发送到 RAG 会降低范围内意图被正确分类的百分比。但它也减少了被错误分类为范围内意图的提示的百分比以及被错误分类为错误范围内意图的范围内意图的数量。

第二个启发式衡量模型对提示是非答案提示的置信度。类似地，该启发式等于标记为非答案提示的 k 个最近邻居的余弦相似度之和。如果此启发式高于某个阈值，则提示被归类为无答案，并且聊天机器人将返回预定响应，拒绝与用户的提示互动。

这种启发式方法并不需要一定程度的置信度来拒绝提示。相反，它会拒绝任何会引起一定程度的确信它是非答案提示的提示。