最近几个月

随着大语言模型的持续火爆

利用大模型来构建AI智能体的研究呢

也陆续进入了人们的视野

AI智能体这个概念呢

也逐渐的流行开来

先是斯坦福大学谷歌的研究者们

成功的构建了一个虚拟小镇

小镇上的居民呢不再是人

而是25个AI的智能体

他们的行为呢

比人类角色扮演更加真实

甚至还举办了一场情人节的派对

随后

商汤清华等机构提出了能够自主学习

解决任务的通才AI智能体GITM

在我的世界中比以往所有的智能体

都更有优秀的表现

同一时间

英伟达开元的Voyager

也给AI圈带来了不小的震撼

作为一个大模型驱动

可以终身学习的游戏智能体

Voyager在我的世界中玩出了很高的水平

这些AI智能体的先后涌现

甚至让人认为

是未来通用人工智能AGI的雏形

很多AI领域的大佬和科技巨头

对AI智能体的发展

都产生了极大的兴趣

并寄予了厚望

今年年初回归OpenAI的安德烈卡帕西

在OpenAI的黑客马拉松活动上就透露

每当有新的AI智能体论文出现的时候

OpenAI内部呢就会感到非常的有兴趣

并且认真的进行讨论

那么我们不禁要问

到底什么是AI智能体

它由哪些部分组成

它的神奇之处又具体表现在哪些方面呢

近日OpenAI安全系统的负责人Lilian Weng

就写了一篇关于AI智能体的博客

首先简单介绍一下作者啊

Lilian Weng是2018年加入的OpenAI

在GPT4项目中

主要参与一训练强化学习和对齐

模型安全等方面的工作

那在她的这篇博客文章中呢

她就认为AI智能体的核心驱动力是大语言模型

而规划planning

记忆memory和工具使用Tool use

是实现它的三个关键组件

Lilian Weng对每个组件都展开了详细的剖析

并且提供了一些案例的研究

比如说科学发现智能体

生成式智能体模拟和概念验证的示例

对于AI智能体未来将面临哪些挑战呢

他也给出了自己的观点

我对文章的内容呢做了一些提炼

在这里跟大家分享一下

有兴趣的同学

可以去详细阅读一下原文

首先Lilian介绍了一下智能体系统的概念

在大语言模型赋能的自主智能体系统中

大语言模型充当了智能体的大脑

它有三个关键的组件

首先是规划

规划呢又分为两个部分

一个是子目标和分解

智能体呢可以将大型的任务

分解为更小可管理的子目标

从而高效的处理复杂的任务

第二个是反思和完善

智能体可以对过去的行为

展开自我批评和自我反思

从错误中吸取教训

并针对未来的步骤进行完善

提高最终结果的质量

其次的组件是记忆

分为短期记忆和长期记忆

所有的上下文学习

都是利用了模型的短期记忆来学习

而通常利用外部向量存储和快速检索的能力

为智能体提供长时间保留和回忆记忆的能力

最后呢是工具的使用

智能体呢可以学会调用外部的API

来获取模型权重中缺失的额外信息

这些信息呢

通常在预训练之后很难改变

包括当前的信息代码执行能力

以及对专有信息源的访问等等

随后呢作者分别详细讲解了这三个关键的组件

首先是规划

我们知道一项复杂的任务

通常会涉及到许多的步骤

智能体必须了解任务是什么并提前进行规划

那么呢这就会涉及到任务的分解

以及相关的技术

首先呢是思维链COT

它已经成为了增强复杂任务上模型性能的标准提示技术

在实现过程中

模型被指示一步一步的思考

从而利用更多的测试时间计算

将困难任务分解为更小更简单的步骤

COT呢可以将大型的任务

转化为多个可管理的小任务

并解释清楚模型的思维过程

其次呢是思维树TOT

他通过在每一步探索多种推理可能性来扩展了COT

首先它会将问题分解为多个思考步骤

并且在每个步骤中生成多个思考

创建一种树形的结构

搜索过程可以是广度优先搜索BFS

或者是深度优先搜索DFS

其中呢每个状态由分类器

或者是多数的投票来进行评估

具体来说

就是任务分解过程中

可以通过以下三种方式来完成

第一种方式

是基于大语言模型的简单提示

比如XYZ的步骤是什么

实现XYZ的指目标是什么

第二种是使用特定于任务的指示

比如说写一个故事的大纲

或者是第三种人工输入

另一种截然不同的方法是使用LLM+p

它靠外部的经典规划器来进行长期的规划

这个方法呢会利用规划领域定义语言PDDL

作为描述规划问题的中间接口

在这个过程中

大语言模型会首先将问题转化为problem PDDL

然后请求经典的规划器

基于现有的Domain PDDL生成PDDL规划

最后再将PDDL规划转换回自然的语言

本质上规划步骤被外包给了外部的工具

并且假设可以使用特定领域的PDDL

和合适的规划器

这在某些机器人的设置中很常见

但是在许多其他领域并不常见

在规划过程中自我反思self reflection

它允许自主智能体通过完善以往的行动决策

和纠正以往的错误来迭代改进

因而呢会在出现试错的这个现实世界任务中

发挥至关重要的作用

ReAct方法能够通过将动作空间扩展为

一个任务特定的离散动作和语言空间的组合

从而将推理和动作集成在大语言模型中

离散动作使得大语言模型能够与环境交互

例如使用维基百科的搜索API

而语言空间促使大语言模型

以自然语言的方式来生成推理轨迹

reflection框架则为智能体

配备了动态记忆和自我反思的能力

提高了推理的技能

它有一个标准的强化学习设置

其中奖励模型提供了简单的二元奖励

而动作空间则遵循了react中的设置

Chain of Hindsight（CoH）

这种方式鼓励模型通过显式地呈现

一系列过去的输出

来改进它自己的输出

其中每个输出呢都带有了反馈的注释

为了避免过拟合

CoH添加了正则化项

来最大化的预训练数据集的对数似然

同时呢为了避免捷径和复制

研究者们在训练过程中

随机屏蔽了0%到5%的过去的token

COH的思路

是呈现上下文中连续改进输出的历史

并且训练模型产生更好的输出

算法蒸馏AD它是将相同的思路

应用到了强化学习任务中的跨情节轨迹

尽管AD算法仅仅使用了离线的强化学习

但是它的性能接近于RL^2的在线强化学习算法

并且呢学习速度比专家蒸馏和源策略算法要快得多

其次呢是记忆组件

（人类）记忆分为三种类型

第一种呢是感知记忆

第二种呢是短期记忆STM

或者称为工作记忆

第三种呢就是长期记忆LTM

其中感知记忆是记忆的早期阶段

它能够在原始刺激结束后

保持对感官信息

比如说视觉听觉等的印象

感知记忆呢通常只能持续几秒钟

它的子类包括图像记忆

回声记忆和触摸记忆

而短期记忆STM或者称为工作记忆

存储着我们目前所知道的信息

以及执行复杂认知任务

比如学习和推理所需要的信息

一般来讲呢短期记忆可以持续20-30秒

而长期计可以将信息储存很长的时间

从几天到几十年不等

它的存储容量呢基本上是无限的

长期记忆呢有两种子类别

分别是显式的陈述性记忆

和隐式的程序性记忆

前者是对事实和事件的记忆

指的是那些可以有意识的回忆起来的记忆

包括记忆事件和经过的情景记忆

以及记忆事实和概念的语义记忆

后者的记忆是无意识的

涉及到自主执行的技能和习惯

比如说骑自行车或者在键盘上打字

参考人类记忆的分类呢

我们可以得到几种映射关系

感知记忆可以作为原始输入的学习嵌入表示

短期记忆作为上下文学习

由于受到Transformer有限上下文窗口长度的限制

短期记忆是短暂而且有限的

长期记忆作为外部的向量存储

智能体可以查询快速检索从而进行访问

外部记忆可以缓解注意力的一些限制

为了更好的处理外部记忆

一个常见的做法是

将信息的嵌入表示

保存到一个向量存储数据库中

这个数据库呢可以支持快速的最大内积搜索MIPS

为了优化检索的速度

研究者经常使用的方法是近似最近邻ANN算法

在加速MIPS中

经常会用到的ANN算法包括

局部敏感哈希LSH

近似最近邻ANNOY

分层可导小世界HNSW

Facebook AI团队开源的库FAISS

以及可扩展最近邻ScaNN算法

更多的MIPS算法和性能的比较呢

可以在ann-benchmarks.com中查看

---

第三个关键组件呢是使用工具

使用工具是人类的一个显著特点

我们创造修改和利用外部的物体

来探知和认知现实世界

类似的

给大语言模型配备外部的工具

可以大幅的扩展模型的能力

MRKL是一种用于自主智能体的神经符号架构

命名来源于模块化推理modular reasoning

知识knowledge和语言language这三者的简称

每个MRKL系统呢都包含一些专家模块

通用的大语言模型作为一个路由器

负责将查询路由到最合适的专家模块

这些模块呢可以是神经网络的

例如深度学习模型

也可以是符号的

例如数学计算器货币转换器天气的API

MRKL的研究团队使用数学计算进行实验

实验结果证实

当外部符号工具能够可靠的工作时

知道何时和如何使用这些工具是至关重要的

而这个是由大语言模型的能力决定的

ChatGPT的插件和OpenAI的API函数调用

就是大语言模型使用工具

在增强能力的最好实例

工具API的集合

可以是由其他开发者提供的插件

或者是自定义的函数调用

HuggingGPT则是一个利用ChatGPT

作为任务规划器的框架

根据模型的描述

来选择HuggingFace平台中可以使用的模型

并且根据执行的结果归纳总结出响应

HuggingGPT系统由四个阶段组成

第一个任务规划阶段

大语言模型作为大脑

将用户请求解析为多个任务

每个任务呢有四个关联的属性

分别是任务类型 任务ID 依赖项和参数

研究团队使用了少量的例子

来指导大语言模型进行任务解析和规划

第二个模型选择阶段

大语言模型会从一个模型列表中选择模型

将任务分配给专家模型

由于上下文长度有限

就需要进行基于任务类型的过滤

第三个就是任务的执行阶段

专家模型执行具体的任务

并且记录任务结果

第四个呢是响应的生成阶段

大语言模型接收执行的结果

并向用户提供总体的结果

HuggingGPT在实际使用中呢

还需要解决几个挑战

第一个呢就是需要提高效率

因为大语言模型的推理以及与其他模型的交互

都会减慢进程

第二 它依赖一个长的上下文窗口

来沟通复杂的任务内容

第三 提高大语言模型输出和外部模型服务的稳定性

接下来Lilian还介绍了一个评估工具

增强型大语言模型性能的基准API Bank

它包含了53个常用的API工具

一个完整的工具增强型大语言模型工作流

以及涉及568个API调用的264个已注释的对话

API Bank基准中可以选择的API相当的多样化

包括搜索引擎计算器

日历查询 智能家具控制 日程管理等等

大语言模型首先可以通过API搜索引擎

找到合适的API进行调用

然后使用相关的文档来调用API

在API bank的工作流中

大语言模型需要做出一些决定

包括是否需要调用API

确定要调用的正确的API

以及基于API结果的响应

这个基准在三个层次上

评估了智能体的工具使用能力

包括调用API的能力

检索API能力

以及检索和调用之外规划API的能力

考虑到不明确的用户需求

模型可能会需要进行多次的API调用

来解决实际的问题

随后Lilian介绍了一个案例

一个用来进行科学发现的智能体ChemCrow

它是一个由大语言模型设计的化学智能体

能够完成有机合成

药物发现和材料设计方面的任务

通过整合17种专家设计的工具

ChemCrow提高了大语言模型在化学方面的性能

并衍生出了新的能力

有趣的是呢

尽管基于大语言模型的评估结果得出的结论是

GPT-4和ChemCrow的性能几乎相当

但是经过专家人工的评估表明

ChemCrow在很大程度上优于GPT4

Lilian还提到了生成式智能体的概念

它能够将大语言模型与记忆、规划和反射机制相结合

使得智能体能够根据过去的经验做出反应

并且与其他的智能体进行交互

有关智能体大家应该最熟悉的例子就是AutoGPT了

有了它人类无需插手

AutoGPT就能够自主完成任务

具体来说呢

AutoGPT就相当于给基于GPT的模型

有了一个内存和身体

有了它你就可以把一项任务交给AI的智能体

让它自主的提出一个计划

然后去执行这个计划

此外呢它还具有互联网访问

长期和短期的内存管理

用于文本生成的GPT4实例

以及使用GPT3.5进行文件存储

和生成摘要等等功能

此外

作者还列举了GPT-Engineer（口误）这个项目

和代码生成类的工具差不多

能够根据提示生成一整个代码库

最后呢作者也提出了

基于大语言模型构建智能体的一些限制

包括有限的上下文长度

长期规划和任务分解还要面临的挑战

以及自然语言接口的可靠性

好了以上就是Lilian Weng对AI智能体的介绍和分析

完整的内容大家可以去自己阅读一下原文

里边还有一些数学公式和伪代码

可以供大家参考