阿里：基于路由和规划的多agent系统

在这里插入图片描述

📖标题：Talk to Right Specialists: Routing and Planning in Multi-agent System for Question Answering
🌐来源：arXiv, 2501.07813

🌟摘要

🔸利用大型语言模型（LLM），代理可以利用检索增强生成（RAG）技术来整合外部知识并提高其响应的可靠性。当前基于RAG的代理集成了单一的、特定于领域的知识源，限制了它们的能力，并导致在处理跨领域查询时产生幻觉或不准确的响应。将多个知识库集成到一个统一的基于RAG的代理中会带来重大挑战，包括在涉及敏感数据时增加检索开销和数据主权。
🔸在这项工作中，我们提出了RopMura，这是一种新型的多智能体系统，通过结合高效的路由和规划机制来解决这些局限性。RopMura有两个关键组件：一个路由器，它根据知识边界智能地选择最相关的代理；一个规划器，它将复杂的多跳查询分解为可管理的步骤，从而协调跨域响应。
🔸实验结果表明，RopMura有效地处理了单跳和多跳查询，路由机制为单跳查询提供了精确的答案，而组合路由和规划机制为复杂查询提供了准确的多步解决方案。

🛎️文章简介

🔸研究问题：在多代理系统中，如何有效地选择和协调多个基于检索增强生成（RAG）的代理来回答复杂问题，特别是单跳和多跳问题。
🔸主要贡献：论文提出了一个名为RopMura的多代理系统，结合了路由器和规划器，能够智能地选择最相关的代理来处理查询，并通过递归分解和细化复杂查询来确保系统从多个代理中协调地收集知识，从而实现全面和准确的回答。

📝重点思路

🔸主要思想：RopMura包括一个根据知识边界智能选择最相关代理的路由器，以及一个将复杂的多跳查询分解为可管理步骤的规划器，从而可以协调跨域响应。
🔸路由机制设计：论文提出了一种有效的路由机制，通过层次聚类将知识片段划分为不相交的簇，并计算每个聚类的中心点，根据查询与簇中心之间的相似性选择最合适的代理。
🔸规划机制设计：论文引入了一种新的规划机制，通过递归分解和细化复杂查询，将多跳问题分解为多个子问题，确保系统从多个代理中协调地收集知识。规划器包括四个子模块：问题拆分器、问题选择器、判断器和防御器。
🔸实验设计：论文进行了单跳和多跳问题的实验，评估了路由机制和规划机制的有效性。实验使用了Natural Questions和HotpotQA数据集，并比较了不同检索方法（Dense、BM25和Mixture）和不同规划策略（One-shot、Presplit和Greedy）的性能。

🔎分析总结

🔸单跳问题：路由机制能够精确选择相关代理，显著提高了回答的准确性和相关性。Mixture检索方法在整体性能上表现最佳，平衡了回答率和文档检索质量。
🔸多跳问题：结合路由机制和规划机制的RopMura系统在处理复杂多跳问题时表现出色，能够生成连贯和准确的多步回答。尽管RopMura的token消耗较高，但其在准确性和计算效率之间取得了最佳平衡。
🔸代理数量影响：随着代理数量的增加，回答率提高，但单个代理的贡献率下降，表明更多代理的参与有助于提高整体准确性，但单个代理的贡献可能变得不那么显著。