郭瑞东 | 如何制造更聪明的人工智能?让人工生命在复杂环境中进化

2ed418a2b3655843a26e424d302e123d.png

来源:集智俱乐部

作者:郭瑞东

我们都知道大脑是控制身体的中枢,或者夸张点说,身体只是大脑的傀儡。然而事实果真如此吗?认知科学指出,人类并不总是“先知后行”,很多时候也会“先行后知”,身体在塑造精神方面也有着强大的能力。但是人工智能的研究常过于关注“软件”上的智能,通过各种算法模拟神经网络,却忽略了生命的具身智能。斯坦福人工智能研究所联席主任李飞飞近日在Nature Communications 上以“进化和学习产生的具身智能”一文,在模拟环境中证明了人工生命的具身智能,为复杂环境下机器人的设计提供了启发。

研究领域:人工生命、进化算法、具身认知

63a11512f2c267fc8a4136dd947406d6.png

论文题目:

Embodied intelligence via learning and evolution

论文链接:

https://www.nature.com/articles/s41467-021-25874-z

01

智能和身体形态有关

动物能够完成适合其物理形态的特定任务,这被称为具身智能(embodied smarts)。每个动物的智力在与环境相互作用的过程中,都是与其物理形态协同进化的。因此,蜘蛛用它们细长的腿编织网,海狸拍打它们宽阔的尾巴发出警报,猎豹飞快地跑去抓斑马,而人类有手指去抓握工具。

虽然人工智能也很聪明,但它的智慧与动物不同。人工智能通常是无实体的,如自然语言处理等机器学习,通常是在计算机内部的硅基芯片上完成的,在真实世界中没有物理实体。虽然计算机视觉需要摄像机或传感器,但它通常独立于任何物理形态。

斯坦福大学李飞飞等研究人员想知道:物理形态对智力的进化有影响吗?如果是这样的话,计算机科学家应该如何利用物理形态来创造更聪明的人工智能呢?

为了回答这些问题,它们创建了一个计算机模拟的游乐场。在那里,被称为“ unimals”的节肢动物主体可以在突变和自然选择的约束下学习。随后,研究人员开始观察unimals的虚拟身体是如何影响其智力进化的。

研究发现,虚拟生命的身体形态影响了它们学习新任务的能力。在更具挑战性的环境中或在执行更复杂的任务时进化出的生命形态,比那些在简单环境中进化出的生命形态,能够更快更好地学习。在这项研究中,具有最成功形态特征的人工生命,相比其前几代祖先能更快地完成任务ーー尽管它们在学习开始时的智力水平与其前几代祖先相同。

334490a9181119ad17f482e363a34a47.png

图1.研究中创建的 Unimal,即通用动物(universal animal),能通过进化产生胳膊,以在模拟环境中生存下来。

02

人工生命的角斗场

在模拟中,研究者不仅改变了人工生命的身体形态,还改变了它们的训练环境和执行的任务,使得实验的复杂度远高于之前的同类研究。通过锦标赛式的达尔文进化方案,该模拟能够确保每一种人工生命的形态都不会被一票否决,就算在不利的环境下依然有机会将形态传递给下一代。该方法既保持了种群的多样性,又降低了仿真的计算量。

73620c3b7481f616cae89915143d4919.png

图2. 深度进化强化学习框架(Deep Evolutionary Reinforcement Learning),绿框标出的强化学习发生在个体层面,而红框的突变改变身体形态,是该框架中进化算法的体现。

每次模拟开始于576个独特的人工生命,包括一个“球体”(头部)和一个由不同数量的圆柱形节肢以不同方式排列而成的“身体”。每个人工生命都以相同的方式感知世界,并以相同的神经结构和学习算法开始模拟。换句话说,所有的人工生命在开始它们的虚拟生活时,都拥有相同程度的智慧,只是身体形状不同。

990c1d1ffd368b6d57d91c9f7aed00a3.png

图3. 人工生命所需要经历的各类环境

然后,每一个人工生命都要经过一个学习阶段。在这个阶段中,它要么穿越平坦的地形,要么穿越包括块状山脊、阶梯和平滑山丘等更具挑战性的地形。还有一些人工生命必须移动箱子到目标位置,才可以跨越复杂的地形。

d53c1656af08eaca96e51c27a3d0fccd.png

图4. 人工生命分别通过平坦、需要绕障和需要将箱子推至指定位置的环境。

训练结束后,每个人工生命与其它三个在相同的环境/任务组合下训练的人工生命参加锦标赛,获胜者能够产生后代。后代在面临与其父母相同的任务之前,经历了四肢或关节的微小突变。所有的人工生命(包括获胜者)都参加了多项锦标赛,只有当新的后代出现时才会开始衰老。

03

身体进化,使得习得有利的行为更快

在每个环境完成三次进化迭代(每次迭代产生4000种形态)后,幸存下来的人工生命平均经历了10代的进化,其形态十分多样,包括两足动物、三足动物以及有或没有手臂的四足动物(见图5)。

4eef7933e9f96fd6034be70c53898672.png

图5. 在平坦(a)、需要绕障(b)和需要将箱子推至指定位置(c)的三种环境下,进化得出的最佳形态十分多样。

研究人员从每个环境中挑选出了10种表现最好的人工生命,并从头开始训练它们完成绕过障碍物、推球或者把箱子推上斜坡等全新的八个任务(见图6)。

d5b5544e58c4f03b1a130c1a031ecce4.png

图6. 人工生命需要完成的8种新任务,包括巡逻、越障、探索和逃离等。

结果是:在需要绕障的环境中进化的人工生命,比在平坦环境中进化的人工生命表现更好,而当在需要将箱子推至指定位置的环境下进化出的人工生命表现最好。表现好的人工生命,无论是单独学习(通过较少的训练获得更好的表现)还是跨代学习都更快。事实上,经过10代进化后,表现好的人工生命已经十分适应环境,以至于它们学习相同任务的时间只需要它们最早祖先的一半。

fa462ed1d2a71d1c007a1ea224994dd2.png

图7.(a)在三种环境下,使种群中表现前100名的主体适应度达到种群初始值的75%所需的平均迭代次数(纵轴);(b)三种环境中稳定形态的比例,该值在平坦、需绕障和需要推箱子至指定位置的环境中依次增加,说明复杂的环境对稳定性的选择压较高;(c)平均工作成本(纵轴)随进化代数(横轴)的变化;(d)在平坦环境下,不同代人工生命的学习曲线,表明后代不仅表现好,而且学习的更快。

这与19世纪美国心理学家鲍德温(Baldwin)提出的一个假说是一致的,他推测在进化的早期,祖先习得的行为将逐渐成为本能,甚至可能在后代中遗传。鲍德温效应指出:学习适应性优势的能力,可以通过达尔文的自然选择遗传给后代,即“大自然选择的身体形态变化,使得后代能更快学习有利的行为。例如,如果一种动物在生命早期不能学会走路,可能更容易死亡,从而对基因型产生直接的选择压力,选出能更快学会走路的动物。该效应描述的从表型到基因型的能力转移,可能为习得更复杂的行为(如语言能力及模仿能力)腾出学习资源。

04

总结:制造更聪明的人工智能

该研究在人工生命的演化中结合进化算法和强化学习,论证了以下三点:首先,环境的复杂性能够促进具身智能的进化,从而使后代形态有助于学习新的任务。其次,人工生命的模拟重现了鲍德温效应,进化能够将早期祖先学会的有利行为表达在后代的基因中。第三,学习效率和物理形态有关,某些形态更加稳定,工作效率更高,因此可以促进学习和控制。

一直以来,设计在复杂环境下完成任务的机器人都是一个难题。然而,真实世界需要机器人的场景往往又都是复杂的,比如爬过核反应堆提取核废物,在人体血管中穿行输送药物,在地震后的废墟中搜寻生命等。也许解决这一问题的唯一道路是通过进化来设计机器人。通过让人工生命在日益复杂的模拟环境中进化,帮助开发现实世界执行复杂任务的机器人,增强其泛化能力和稳定性。(完)

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

d8049fa575c22c49a61e0c71bfa8d4e7.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483134.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

移位运算

有无符号数差异: 左移只有逻辑左移,即低位依次补:0; 右移: 无符号数 逻辑右移(高位依次补:0) 有符号数 算术右移(高位依次补:最高符号位) 当…

行业观察 | 机器人Ameca挣脱「灵魂」枷锁觉醒?

来源:新智元编辑:小咸鱼 桃子或许你根本不敢想像机器人真正苏醒时的样子。活动肩骨后,突然间灵魂附体,大梦初醒般睁开双眼。先是紧皱眉头,后是做出惊讶不已的表情,让人不得不惊呼《西部世界》来了...「我是…

数据结构与算法——二分查找与二叉排序树

文章目录1.预备知识1.1 题目目录1.2 二分查找1.3 递归二分查找1.4 循环二分查找1.5 二叉查找(排序)树1.6 二叉搜索树的代码实现2.搜索插入位置2.1 题目描述2.2 C代码实现3.区间查找3.1 题目描述3.2 算法思路3.3 C代码实现4.旋转数组查找4.1 题目描述4.2 …

Django-C001-快速入门

此文章完成度【100%】留着以后忘记的回顾。多写多练多思考,我会努力写出有意思的demo,如果知识点有错误、误导,欢迎大家在评论处写下你的感想或者纠错。 Django Django是一个开放源码的Web应用框架,由Python写成,采用M…

日常小问题汇总(1)

文章目录1.ubuntu桌面设置没反应1.ubuntu桌面设置没反应 重新安装Ubuntu桌面sudo apt-get install ubuntu-desktop

Nature子刊:吃得越少,活得越久

来源:六六脑我们如何才能在年老体迈时保持健康和尽可能延长寿命?现在,研究衰老的科学家们已经给出了简单的答案:少吃点儿!常言道,千金难买老来瘦。的确,经验与科学实验都告诉我们,成…

sql.xml大于小于号处理的方法

<if test"startTime ! null and startTime ! ">AND i_DataTime <![CDATA[ > ]]> #{startTime}</if> 相当于&#xff1a; AND i_DataTime > #{startTime} 转载于:https://www.cnblogs.com/MagicAsa/p/11052628.html

数据库高级知识——MySql锁机制

文章目录1.概述1.1 定义1.2 锁的分类2.三锁2.1 表锁(偏读)2.2 行锁(偏写)2.3 页锁1.概述 1.1 定义 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中&#xff0c;除传统的计算资源&#xff08;如CPU、RAM、I/O等&#xff09;的争用以外&#xff0c;数据也是一…

最早的神经元从何而来?海绵基因图谱揭示神经系统起源

来源&#xff1a; 集智俱乐部作者&#xff1a;Viviane Callier译者&#xff1a;陈斯信 审校&#xff1a;梁金 编辑&#xff1a;邓一雪 导语海绵是动物生命演化树上最早的分支谱系之一&#xff0c;它们身体构造简单&#xff0c;却拥有许多与人类和其它复杂生物相同的基因。11月…

CreateFile

import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*;import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; /**** 注意&#xff1a;文件创建时&#xff0c;可能会报Permission denied错误&#xff0c;其中一个解决办法是 给要…

数据库高级知识——主从复制

文章目录1.复制的基本原理1.1 复制的原理和步骤2.复制的基本原则3.复制的最大问题4.一主一从常见配置4.1 主机修改my.ini配置文件4.2 从机修改my.cnf配置文件4.3 重启和关闭防火墙4.4 在Windows主机上建立帐户并授权slave4.5 在Linux从机上配置需要复制的主机4.6 关闭1.复制的基…

FrostSulliven最新发布引领全球增长的60大技术

来源&#xff1a;必达智库图片来源&#xff1a;网络沙利文特别推出“引领全球增长的60大技术”报告&#xff0c;该报告涵盖了环境与可持续发展、能源与公共事业、化学与新型材料、信息与通信技术、高端制造与自动化、传感器和仪器设备、健康领域、医疗器械与影响以及微电子等九…

GitHub基础——下载和上传

文章目录1.下载2.上传2.1 新建一个仓库2.2 上传2.3 拖拽1.下载 1.进入要下载的文件夹 2.右键&#xff0c;Git Bash Here&#xff0c;进入git bash 3.输入下载命令 19072LAPTOP-688SMNV8 MINGW64 /f/github download/设计模式 $ git clone https://github.com/rhyspang/CPP-De…

引导直觉解决数学猜想难题,DeepMind登上《Nature》封面

来源&#xff1a;机器之心编辑&#xff1a;nhyilin多年来&#xff0c;数学家们一直使用计算机来生成数据以帮助搜索数学模式&#xff0c;这种被称为实验数学的研究方法产生出许多重要的猜想&#xff0c;例如BSD猜想。虽然这种方法已经取得成功并且相当普遍&#xff0c;但从这些…

Centos6.5硬盘故障修复

以企业Centos6.5Linux为案例来修复系统&#xff0c;步骤如下&#xff1a; &#xff08;1&#xff09;远程备份本地其他重要数据&#xff0c;出现只读文件系统&#xff0c;需要先备份其他重要数据基于rsync|scp远程备份&#xff0c;其中/data为源目录&#xff0c;/data/backup/2…

设计模式——简介

文章目录1.设计模式的介绍2.设计模式的分类1.设计模式的介绍 设计模式最核心的作用的是&#xff1a;应对变化&#xff0c;提高复用。 现代软件设计的特征是“需求的频繁变化”。 设计模式的要点是&#xff1a;寻找变化点&#xff0c;然后在变化点处应用设计模式&#xff0c;从…

认知AI的兴起:2025年AI将会发生质的飞跃

来源&#xff1a; Gadi Singer自 1956 年 AI 的概念首次被提出&#xff0c;至今已有 60 多年的发展史。如今&#xff0c;随着相关理论和技术的不断革新&#xff0c;AI 在数据、算力和算法 “三要素” 的支撑下越来越多地走进我们的日常生活。但是&#xff0c;这一系列惊喜的背后…

虚函数的使用

文章目录1.什么是虚函数&#xff1f;2.虚函数的调用1.什么是虚函数&#xff1f; 存在父子继承关系的类对象中&#xff0c;对于这些对象中的成员函数进行调用时&#xff0c; 如果没有虚函数&#xff0c;那么需要通过各自的对象指针可以对各自的成员函数进行访问&#xff0c; 不…

不上市就等死?AI故事难讲,豪门盛宴背后的“血”与“泪”

图片来源&#xff1a;视觉中国来源&#xff1a;帮尼资讯 部分参考来源&#xff1a;福布斯中国、凤凰网财经、前瞻产业研究院&#xff0c;图片来源网络最近&#xff0c;商汤港股IPO终于迎来新进展。12月7日&#xff0c;商汤集团在香港启动公开发售。据悉&#xff0c;香港公开发售…

windows下搭建vue开发环境

安装node.js 包管理器 到官网 下载安装包直接默认安装&#xff0c;安装完成后验证是否正常安装。打开命令提示符&#xff1a; 输入node -v。 如果显示版本号则证明安装完成。安装vue 打开命令提示符输入&#xff1a; npm install vue全局安装 vue-cli npm install --global vue…