米哈游、复旦发布,具备感知、大脑、行动的大语言模型“智能体”

ChatGPT等大语言模型展示了前所未有的创造能力,但距AGI(通用人工智能)还有很大的距离,缺少自主决策、记忆存储、规划等拟人化能力。

为了探索大语言模型向AGI演变,进化成超越人类的超级人工智能,米哈游与复旦NLP研究团队联合发布了一篇基于大语言模型的“智能体”论文。将具备感知、大脑和行动三大功能的智能体,投放在文本、沙盒游戏等实验环境中让其自行活动。

结果显示,这些智能体具备自主感知、计划、决策和交流等拟人化能力,例如,当周围环境变得困难、艰苦时,智能体会自动调整策略和行动力;在社会模拟环境中,智能体会表现出同情等拟人化情感;当两个陌生智能体通过简单交流后,会记住彼此。

该技术框架与之前斯坦福大学、清华大学发布的AI代理游戏模拟实验类似,都是在大语言模型的基础之上构建功能更强大的AI机器人,这为行业的发展起到了推动作用。

论文地址:https://arxiv.org/abs/2309.07864

Github:https://github.com/WooooDyy/-Agent-Paper-List

在这里插入图片描述

根据论文介绍,智能体主要由感知、决策与控制以及执行三大模块组成,通过感知环境、做出智能决策然后执行具体的行动。

感知模块

感知模块用于从环境中获取各种信息,相当于人的感官。可以包含多种传感器,获取不同类型的数据,例如,摄像头获取图像信息,麦克风获取语音信息等。

感知模块预处理这些原始数据,转化为智能体可以理解的数字表示,以供后续模块使用。常用的感知传感器包括:

图像传感器:摄像头、RGB-D 摄像机等,用来获取视觉信息。

声音传感器:麦克风,获取语音、环境声音等音频信息。

位置传感器:GPS、INS(惯性导航系统)等,获知智能体自身位置。

触觉传感器:触觉 ARRAY、触觉手套等,获取物体接触时的触觉反馈。

温度、湿度、气压等环境传感器,获取环境参数信息。

在这里插入图片描述

感知模块需要对原始数据进行预处理,例如,图像去噪、声音降噪、格式转换等,以生成可供后续模块使用的规范化数据。同时,感知模块还可以进行特征提取,如从图像中提取边缘、纹理、目标区域等视觉特征。

决策与控制模块

该模块是智能体的“大脑”,对感知模块获取的数据进行处理、分析,并做出相应决策。可细分为以下子模块:

知识库/记忆:储存各类先验知识、经验,以及执行过程中的观测、经历等信息。

推理/规划:分析当前环境,根据目标任务制定行动方案。如路径规划、动作序列规划等。

决策:根据当前环境状态、知识和推理结果,做出最优决策。

控制:将决策结果转换为控制指令,向执行模块下达执行命令。

决策与控制模块的设计是智能体技术的关键。早期使用基于逻辑和规则的符号方法,近年来深度学习技术成为主流。模块的输入是感知获取的各类数据,输出是对执行模块的控制指令。
在这里插入图片描述

执行模块

执行模块接收控制指令,并将之转换为具体的环境交互行为,以实现相应任务。它相当于人的“四肢”。执行模块连接智能体的 “效应器”,根据控制指令驱动效应器实施行动改变环境。主要效应器包括:

运动执行机构:机械臂、机器人底盘等,改变智能体自身位置或进行物体操作。

语音/文本输出:语音合成器、显示器等,以语音或文本形式与环境交互。

工具/设备操作接口:控制各类设备、工具,扩展智能体的环境操作能力。

执行模块的具体设计与智能体的物理形式相关。例如,服务型智能体只需文本或语音接口,而机器人需要连接并精确控制运动机构。执行的准确性和弹性是影响任务成功的关键。

在这里插入图片描述

在测试实验中,研究人员主要进行了任务、创新和生命周期管理三大类实验,来观察智能体在不同环境中的表现。

任务实验

研究人员构建了文本游戏和生活场景两个模拟环境,来测试智能体完成日常任务的能力。文本游戏环境使用自然语言描述虚拟世界,智能体需要通过阅读文字描述来感知周围环境并采取行动。

生活场景模拟则更加真实和复杂,智能体需要利用常识知识来更好地理解命令,例如,在房间黑暗时主动打开灯光。

在这里插入图片描述

实验结果表明,智能体可以利用其强大的文本理解生成能力,在这些模拟环境中有效地分解复杂任务,制定计划,并与动态变化的环境互动,最终完成预定目标。

创新实验

研究人员探索了智能体在专业领域如科学创新的潜力。由于这些领域存在数据稀缺性和专业领域知识理解难度等挑战,研究人员测试了为智能体配备各类通用工具或专业工具的方案,来提升其对复杂领域知识的理解能力。

在这里插入图片描述

实验表明,智能体可以利用搜索引擎、知识图谱等工具进行在线研究,并与科学仪器设备接口,完成材料合成等实际操作。这使其成为颇具潜力的科学创新助手。

生命周期实验

研究人员使用开放世界游戏Minecraft来测试智能体的持续学习和生存能力。智能体从最基础的活动如开采木材和制作工作台开始,逐步探索未知环境,获得更复杂的生存技能。

在这里插入图片描述

实验中,智能体使用进行高层次计划制定,并可以根据环境反馈不断调整策略。结果表明,智能体可以在完全自主的情况下开发技能,持续适应新的环境,展现出强大的生命周期管理能力。

此外,在社会模拟方面,研究人员探讨了智能体是否会表现出人格和社交行为,并测试了不同的环境设置。结果表明智能体可以展现出某些层次的认知能力、情感和性格特质。在模拟社会中,智能体之间会出现自发的社交活动和群体行为。

本文素材来源复旦NLP、米哈游论文,如有侵权请联系删除

END

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/109212.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot集成Activiti7

SpringBoot集成Activiti7 SpringBoot版本使用2.7.16 <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.7.16</version><relativePath/> <!-- lookup…

OTP语音芯片和TTS语音芯片的差异性

OTP&#xff08;One-Time Programmable&#xff09;语音芯片和TTS&#xff08;Text-to-Speech&#xff09;语音芯片是两种不同类型的声音处理芯片。OTP主要用于播放预录声音片段&#xff0c;而TTS则根据文本实时生成语音。OTP的灵活性较弱&#xff0c;适用于固定声音输出&#…

05 依赖倒置原则

官方定义&#xff1a; 依赖倒置原则&#xff08;Dependence Inversion Principle&#xff0c;DIP&#xff09;是指在设计代码架构 时&#xff0c;高层模块不应该依赖于底层模块&#xff0c;二者都应该依赖于抽象。抽象不应该依 赖于细节&#xff0c;细节应该依赖于抽象。 通俗…

深度学习 | CNN卷积核与通道

10.1、单通道卷积 以单通道卷积为例&#xff0c;输入为&#xff08;1,5,5&#xff09;&#xff0c;分别表示1个通道&#xff0c;宽为5&#xff0c;高为5。 假设卷积核大小为3x3&#xff0c;padding0&#xff0c;stride1。 运算过程&#xff1a; 不断的在图像上进行遍历&#…

Ask Milvus Anything!聊聊被社区反复@的那些事儿ⅠⅠ

在上月的 “Ask Milvus” 专题直播中&#xff0c;我们为大家带来了 Backup 的技术解读&#xff0c;收到了社区成员很多积极的反馈。本期直播&#xff0c;我们将继续为大家带来社区呼声很高的 “Birdwatcher” 和 “Range Search” 两项功能的技术解读。 BirdWatcher 作为 Milvu…

Eolink Apikit 接口自动化测试流程

自动化测试是一种软件测试方法&#xff0c;利用自动化工具和脚本来执行测试用例&#xff0c;以验证软件应用程序的功能、性能、稳定性等特性。自动化测试的主要目的是提高测试效率、减少测试成本&#xff0c;并确保软件的质量和可靠性。 作为测试人员&#xff0c;在进行比较大…

国际十大优质期货投资app软件最新排名(综合版)

在当今的金融市场中&#xff0c;期货投资成为了越来越多人的选择。随着科技的发展&#xff0c;许多优质的期货投资app软件也应运而生。这些软件不仅提供了便捷的投资交易工具&#xff0c;还为投资者提供了丰富的市场分析和风险管理手段。 本文将介绍国际十大优质期货投资app软…

Python中Scrapy框架搭建ip代理池教程

在网络爬虫开发中&#xff0c;使用代理IP池可以提高爬取效率和匿名性&#xff0c;避免被目标网站封禁IP。本文将介绍如何使用Python中的Scrapy框架搭建IP代理池&#xff0c;并提供代码实例&#xff0c;帮助您快速搭建一个稳定可靠的代理池。 Python中Scrapy框架搭建ip代理池教程…

基于 Servlet 的博客系统

基于 Servlet 的博客系统 一、准备工作1、创建项目2、创建包3、导入前端静态页面 二、数据库设计1、blog&#xff08;博客表&#xff09;2、user&#xff08;用户表&#xff09;3、建库建表的 SQL 语句 三、封装数据库操作1、为什么要封装数据库&#xff1f;2、封装数据库的连接…

鸿蒙初体验

下载与安装DevEco Studio 在HarmonyOS应用开发学习之前&#xff0c;需要进行一些准备工作&#xff0c;首先需要完成开发工具DevEco Studio的下载与安装以及环境配置。 进入DevEco Studio下载官网&#xff0c;单击“立即下载”进入下载页面。 DevEco Studio提供了Windows版本和…

小谈设计模式(30)—Java设计模式总结

小谈设计模式&#xff08;30&#xff09;—Java设计模式总结 专栏介绍专栏地址专栏介绍 总括三个主要类别abc 创建型模式&#xff08;Creational Patterns&#xff09;常见的创建型模式单例模式&#xff08;Singleton Pattern&#xff09;工厂模式&#xff08;Factory Pattern&…

嵌入式养成计划-41----C++ auto--lambda表达式--C++中的数据类型转换--C++标准模板库(STL)--list--C++文件操作

九十九、auto 99.1 概念 C11引入了自动类型推导&#xff0c;和Python不一样&#xff0c;C中的自动类型推导&#xff0c;需要auto关键字来引导比如 &#xff1a;auto a 1.2; 会被编译器自动识别为 a 为 double 类型 99.2 作用 auto修饰变量&#xff0c;可以自动推导变量的数…

嵌入式平台的电源总结

本文引注: https://mp.weixin.qq.com/s/PuSxHDFbJjjHEReukLSvyg 1.AC的定义 Alternating Current&#xff08;交流&#xff09;的首字母缩写。AC是大小和极性&#xff08;方向&#xff09;随时间呈周期性变化的电流。电流极性在1秒内的变化次数被称为频率&#xff0c;以Hz为单位…

Elasticsearch小bug记录:term: XXX was completely eliminated by analyzer

问题&#xff1a; 下面这个报错&#xff0c;是在配置同义词的时候报的错&#xff1a;不能识别南京。 {"error": {"root_cause": [{"type": "illegal_argument_exception","reason": "failed to build synonyms"…

Conflence 空间管理

1.创建空间 功能入口&#xff1a; Conflence→空间→创建空间 功能说明&#xff1a; &#xff08;1&#xff09;选择“空白空间”&#xff0c;点击“下一步” &#xff08;2&#xff09;填写空间必要信息&#xff0c;点击“创建”按钮&#xff0c;即可完成空间创建 空间名…

力扣 095. 最长公共子序列(C语言+动态规划)

1. 题目 给定两个字符串 text1 和 text2&#xff0c;返回这两个字符串的最长 公共子序列 的长度。如果不存在 公共子序列 &#xff0c;返回 0 。 一个字符串的 子序列 是指这样一个新的字符串&#xff1a;它是由原字符串在不改变字符的相对顺序的情况下删除某些字符&#xff08…

什么是云原生?零基础学云原生难吗?

伴随着云计算的浪潮&#xff0c;云原生概念也应运而生&#xff0c;而且火得一塌糊涂&#xff0c;但真正谈起“云原生”&#xff0c;大多数非 IT 从业者的认知往往仅限于将服务应用放入云端&#xff0c;在云上处理业务。实际上&#xff0c;云原生远不止于此。 现在越来越多的企…

SVN服务端客户端安装配置

SVN服务端客户端安装配置 1、服务端下载安装1.1 软件下载1.2 软件安装 2、客户端下载安装2.1 软件下载2.2 软件安装2.2.1 安装2.2.2. 汉化 3、SVN配置3.1 SVN服务器端配置3. 2 SVN客户端配置 1、服务端下载安装 1.1 软件下载 百度网盘链接&#xff1a;VisualSVN-Server-5.3.0…

SAP-QM-采购过程模式与特性检验不匹配QD244

在创建物理样本&#xff0c;维护检验计划的采样过程时报错&#xff0c;从报错看&#xff0c;这个采样过程的评估模式和检验特性不匹配&#xff0c; 评估模式为700 700是根据特征上下线&#xff0c;计算平均值进行评估&#xff0c;是定量特性&#xff0c;经过测试 是检验特性的…

Window 窗口函数 (Spark Sql)

在 Spark SQL 中&#xff0c;Window 函数是一种用于在查询结果集中执行聚合、排序和分析操作的强大工具。它允许你在查询中创建一个窗口&#xff0c;然后对窗口内的数据进行聚合计算。 import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functions…