结合最近的一些经历,回忆起很早之前探索Agent时阅读过的一篇自来复旦/NUS/上海AI Lab的泛CoT框架思想论文,文中提出了一种名为“思想交换”(Exchange-of-Thought, EoT)的新框架,该框架允许在问题解决过程中进行跨模型交流。
其中,EoT 借鉴了网络拓扑结构的启发,整合了四种独特的交流模式:记忆(Memory)、报告(Report)、中继(Relay)和辩论(Debate)..
四种交流模式对应的四种拓扑结构为:
记忆(Memory):总线型
报告(Report):星型
中继(Relay):环型
辩论(Debate):树型
同时文中亦深入探讨了每种交流模式中的通信动态和通信量,并为了平衡错误推理链带来的风险,在这些通信中实施了一种稳健的置信度评估机...
回顾最近的一年时间,我们在产业界与学术界均看到很多类CoT的框架和Agent/Muti-agent系统被设计开发并进行评估验证,尽管在各个领域也听到不少来自“专家/学者”对围绕CoT思想或Agent系统相关研究的嗤之以鼻,甚至还隐约形成了围绕大模型研究和开发工作的鄙视链...
因此,今天打算结合EoT这篇论文,简单说下给我带来的一些积极的思想提示(prompt)和反思(reflect),及体会...ps:建议感兴趣的大伙对原论文精读下~看看是否也能找到不同的启发和体会~
众所周知,从最早的CoT、ToT、AoT、XoT..等思维内涵或思想理念扩展到基于Agent的模块化分步思维与推理范式再到Muti-agent甚至Muti-model间的通信交互与协作模式,这些快速发展的新技术或新方法在给我们带来更多形式各异的任务规划或复杂推理能力提升的同时,我相信涉足不同领域的设计与开发者亦体会到不同CoT所映射到各领域在推理模式、任务执行、探索路径的差异和相通之处。
而这种体会与认知我相信会为我们将来逐步构建领域内或跨领域更加复杂、通用、自主的思维范式和Muti-Agent协作模式打下坚实基础,包括必要且完备的思维方法、创新的科学探索与发现模式、繁琐的任务规划与执行..
另外自己还有个小体会:如果将上述推理过程中的4种EoT模式甚至更多其它*oT中的模式以某种更加抽象的形式剥离出来,是否可以将其运用于模型架构的创新设计中去呢?就像Transformer中的Attention is all U need那样..
又或者是迁移到某种形式完备的数据合成或self play模拟当中去???哈哈;)
#人工智能 #AGI #LLM #CoT #agent #思维链 #大模型架构 #学习范式