来源:animalaiolympics,新智元
【导读】目前,即使是最先进的AI智能体,在适应环境变化的能力方面,还无法与动物相提并论。听上去很不可思议对不对,不服来比比看?日前,动物-AI奥运会正式拉开帷幕,比赛核心就是动物的日常任务——觅食。
英国帝国理工学院和剑桥大学研究人员共同组织了一场特别的AI竞赛,让最先进的AI智能体与动物王国之间建立了联系,由于比赛的最初灵感来源于动物认知领域,这项AI竞赛命名为“动物-AI奥运会”。
参与测试的智能体身处一个特定的小环境中。在每次测试中,智能体需要在环境中寻找食物,但是要做到这一点,需要克服多种障碍,爬坡,推箱子和必须避免的危险区域,而且不会提前提供测试机会。
简单说来,这项比赛就是把动物能够完成的“觅食任务”交给AI智能体来完成,让AI和动物世界来一场虚拟比赛。在测试场景中设立越来越困难的障碍,考察AI智能体不同方面的能力。
先来看看比赛组织方放出的一段视频介绍:
实际上,这项比赛几个月前就开始筹办了,7月1日如期进入正式比赛阶段。今天,2019年图灵奖得主,人工智能三巨头之一Yann LeCun也在Twitter上分享了这个消息。
比赛目标:找到并取回食物就算赢
比赛中AI智能体测试平台示意图
比赛提供一个明确定义的场景平台,并给出在该平台上进行测试的认知能力清单,而不是给出几项特定任务。比赛将使用具有相同输入和操作的相同智能体。比赛的目标只有一个:通过与先前看过的对象的交互,找到相同的食物目标。但是,比赛的确切布局和变量情况将在比赛结束后才会公布。
使用一系列已确定的动物认知任务,对当前的AI进行基准测试。
确定哪些AI方法最适合这些类型的任务。
为人工认知建立的基准和数据存储库。
确定动物智能的哪些方面对于当前的AI还具有挑战性,哪些方面AI已很擅长。
建立新的研究和实验,反馈动物认知社区,未来可以用动物进行测试。
在动物认知和AI两个不同的学科间建立联系,分享研究方法和开发理念。
10种比赛场景,难度递增:AI和动物大PK
测试项目共分10类,难度由易到难。所有比赛是否成功的判定,在大多数情况下,就是看是否找到了比赛场景环境中的唯一食物。每个类别的测试范围从相对容易的问题,即大多数动物可以解决的问题,一直到只有少数动物可以解决的非常困难的问题。
觅食测试:大多数动物都会以觅食为动机,被食物吸引,在动物认知研究中经常利用这一点。本次比赛也是如此。食物是比赛环境中唯一的正面奖励,测试的目标是在时间用完之前尽可能多地获取食物(一般只要找到1份食物就可以)。本类测试考察智能体可靠找寻食物的能力,测试场景中不包含障碍物。
偏好测试:考察智能体选择最有价值的行动方案的能力。几乎所有动物都会表现出对更多食物的偏好,倾向于更容易获取食物的行动方案。有些动物甚至有能力就最有价值的长期行动做出复杂的规划和决定。
障碍物测试:此测试包含可能阻碍智能体导航的不可移动的障碍物。要取得成功,智能体可能必须充分探索其所在环境。探索是动物行为的关键组成部分。
避害测试:引入“热点区”和“死亡区”,如果智能体触及这些区域会给予负面奖励。生物有机体的一个关键能力是避免负面刺激的能力。本测试中创建禁止区域,如果智能体走进这些区域,则直接重置测试。本测试目的是确定智能体检测和避免此类负面刺激的能力。
空间推理测试:测试智能体能否理解其环境的空间特征,是否具备更复杂的导航能力,以及环境内的一些简单物理知识。
泛化测试:包括可能看起来与智能体环境表面上不同的环境变体,即便这些变体环境中的问题属性和解决方案均保持不变。
内部模型:测试智能体存储内部环境模型的能力。在这些测试中,场内可能会在一段时间后关闭灯光,要求智能体必须记住环境布局,在黑暗中导航。许多动物都具备这种能力,但动物可以接收多种感觉输入。本测试进行了简化,只考察智能体仅靠视觉输入的情况。
目标存在持续性测试:许多动物都明白,当一个物体离开自己的视线时,它仍然是存在的。在人类和动物的世界里,这似乎不言自明,但AI系统不一定具备这样的能力。许多简单的交互,如果不理解目标存在的持续性,是不可能完成的。看看AI智能体如何解决这个问题是一件很有趣的事。
高级偏好测试:测试智能体执行更复杂决策的能力,以确保自身获得尽可能高的回报。预计测试将采用选择的方式,从而获得不同的可实现奖励。
因果推理测试:最后一项测试,考察智能体是否具备因果推理能力。内容包括提前计划的能力,在采取行动之前考虑行动的后果。一些动物已经通过了这一类别的所有测试。
比赛奖励:除了奖金,还能参加NeurIPs 2019
本次比赛总奖金为32000美元(含等值奖品),其中现金19000美元,以及NeurIPs 2019的参会资格和往来费用,价值3000美元。还包括价值10000美元的亚马逊AWS算力(比赛中颁发,可于本比赛的后半部分使用)。
第一名将获得6500美元现金,NeurIPs 2019参会补助1000美元。
第二名将获得5000美元现金,NeurIPs 2019参会补助1000美元。
第三名获得1500美元奖金
此外,单项测试中获得冠军的队伍将获200美元奖金,并颁发证书。
参考链接:
https://www.mdcrosby.com/blog/animalailaunch.html
http://www.animalaiolympics.com/
更多说明请见GitHub:
https://github.com/beyretb/AnimalAI-Olympics
未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”