来源：36氪

据《大西洋月刊》报道，直到最近，那些能在各类游戏中击败人类冠军的机器，解决现实问题太难了。

1997年，为了在国际象棋中击败象棋大师加里·卡斯帕罗夫（Garry Kasparov），IBM的工程师们在他们的“深蓝”（Deep Blue）电脑中使用了几个世纪的国际象棋智慧。2016年，通过研究成千上万的人类对战经验，谷歌旗下人工智能（AI）子公司DeepMind的AlphaGo击败了韩国围棋冠军李世石（Lee Sedol）。

图：在波多黎各圣洛伦佐（San Lorenzo）的一家养老院走廊里，一名看护人员正用笔记本电脑来监控机器人护理人员，后者正为20位老年人提供服务

但是现在，AI研究人员正在重新思考机器人融合人类知识的方式。当前的趋势是：不需要那么麻烦。

2017年10月份，DeepMind团队公布了新的围棋系统——AlphaGo Zero的细节，该系统根本没有研究人类的下棋经验。相反，它直接从研究游戏规则开始，并与自己对抗。它的第一个动作完全是随机的，而在每场比赛之后，它都对帮助其取胜或导致其失败的新知识进行了总结。

在这些混战结束后，AlphaGo Zero与曾经击败李世石的AlphaGo超人版本进行了正面交锋，并以100：0的战绩完败对手。

这个团队继续开发了AlphaGo家族的另一个游戏大师，并为其取名AlphaZero。去年12月份，DeepMind的研究人员在科学网站ArXiv.org上发表论文指出，经过从头开始的重新设计，AlphaZero的表现优于AlphaGo Zero。换句话说，它击败了曾击败过世界上最好围棋棋手的机器人。

当它获得国际象棋规则或日本将棋的规则时，AlphaZero也很快学会了击败这些游戏顶级算法的方式。专家们对该项目咄咄逼人、令人感到陌生的风格感到惊叹。丹麦大师彼得·海恩·尼尔森（Peter Heine Nielsen）在接受BBC采访时表示：“我一直在想，如果有更高级的物种降落在地球上，他们是如何下国际象棋的。现在我知道了。”

在过去的一年里，在各种各样的场景中出现了超凡脱世的自学机器人，如无极限扑克和《Dota 2》。

当然，投资于这些和类似系统的公司比仅仅控制视频游戏比赛更有野心。像DeepMind这样的研究团队希望将类似的方法应用到现实世界中帮助解决实际问题，比如建造室温超导体，或者理解将蛋白质折叠成有效药物分子的方式。

当然，许多实践者希望最终建立起通用人工智能，这是个定义尚不清楚但却令人着迷的目标：机器可以像人类那样思考，并可以帮助解决许多不同类型的问题。

然而，尽管在这些系统中进行了大量投资，但目前的技术能走多远还不清楚。华盛顿大学计算机科学家佩德罗·多明戈斯（Pedro Domingos）说:“我不确定AlphaZero的想法是否能轻易地推广开来，毕竟游戏是极为特殊的东西。”

许多游戏、国际象棋和围棋都有一个特点，就是玩家可以随时看到两边的棋子。每个玩家都有关于游戏状态的“完美信息”。无论游戏有多么复杂，你所需要做的就是从当前的情况出发去思考。然而，很多真实情况并非如此。

想象一下，让电脑诊断疾病或进行商务谈判。卡内基梅隆大学计算机科学专业博士生诺姆·布朗（Noam Brown）表示:“大多数现实世界的战略互动都涉及隐性信息，我觉得这被大多数AI社区忽视了。”

布朗擅长的扑克为AI提供了不同的挑战，因为你看不到对手的牌。但在这个领域，通过与自己竞争来学习的机器现在也达到了超人的水平。2017年1月份，布朗及其导师托马斯·桑德霍尔姆（Tuomas Sandholm）创建了名为“Libratus”的项目，在20天的比赛结束后，他们在竞争对手的领先优势下，以超过170万美元的优势击败了4名职业扑克选手。

另一款更让人望而生畏的游戏是《星际争霸2》（StarCraft II），这是一款拥有大量粉丝的多人在线视频游戏。玩家选择一个团队组建军队，并在科幻场景中发动战争。但战争场景笼罩在迷雾中，只有玩家才能看到他们有士兵或建筑的地方。即使是对你的对手进行侦察，这个过程也充满了不确定性。

这是一款AI仍然不能彻底掌控的游戏。影响其成功的障碍包括在一场游戏中动作的绝对数量，通常可能会达到成千上万个。每个玩家（无论人类还是机器）都需要担心每次点击可能带来的无数后果。就目前而言，AI还无法在这一领域与顶级人类玩家进行针锋相对的抗衡，但这是一个目标。在2017年8月份，DeepMind与开发《星际争霸2》的暴雪娱乐公司合作，发布了他们所谓帮助AI研究人员征服游戏的工具。

尽管面临挑战，《星际争霸2》的目标仍然十分明确，那就是消灭敌人。这是它与国际象棋、围棋、扑克、《dota 2》以及其他所有游戏的共同之处。在游戏中，你可以赢得胜利。从算法的角度来看，所有问题都需要有个“目标函数”，即需要寻找的目标。当AlphaZero下棋时，这并不太难。AlphaZero的目标函数是将分数最大化，而扑克机器人的目标函数也很简单，就是赢更多钱。

然而现实生活中的情况并不那么简单。举例来说，无人驾驶汽车需要一个更微妙的目标函数，类似于你对精灵解释自己愿望时的那种谨慎措辞。比如：及时将乘客送到正确的目的地，遵守一切法律，在危险和不确定的情况下适当地衡量人类的生命价值。多明戈斯说，研究人员如何制定目标函数，这是“将一个伟大的机器学习研究者与一般的机器学习研究者区分开来的东西之一。”

想想微软在2016年3月23日发布的Twitter聊天机器人Tay，Tay的目标是让人们参与进来，它做到了。多明戈斯称：“不幸的是，Tay发现：吸引人们最大化参与的最好方法就是宣泄种族主义言论。”在上线不到一天的时间内，它就被紧急召回。

有些事情并没有改变，今天主要的游戏机器人采用的方法依然采用了几十年前设计的策略。多伦多大学计算机科学家戴维·杜文多（David Duvenaud）说:“这几乎是过去技术的爆发，只是增加了更多的计算。”

这些策略通常依赖于强化学习，一种不干涉的AI技术。工程师让机器探索一个环境，并通过不断的尝试和错误来学习如何实现目标，而不是用详细的指令对算法进行微观管理。在AlphaGo和它的子代发布之前，DeepMind团队曾在2013年取得了第一个巨大的、引人注目的成就，当时他们使用强化学习技术让一个机器人学会掌控7款Atari 2600游戏，其中3款达到专家级别。

这一进程仍在继续。2月5日，DeepMind发布了Impala，可以学习57款Atari游戏的AI系统，另外还有30个由DeepMind在三维空间中构建的任务。在这些游戏中，玩家可以在不同的环境中漫游，执行像打开门或收获蘑菇这样的任务。Impala似乎可以在任务之间传递知识，这意味着花在玩一款游戏上的时间也能帮助它在其他方面有所提高。

但在更大范围内的强化学习，棋盘游戏和多人游戏允许玩家采用更具体的方法。在这里，探索可以采取自我启发的形式，在这种情况下，一种算法可以通过不断地与自己的副本角力，从而获得战略优势。

这个想法可以追溯到几十年前。在20世纪50年代，一位名叫亚瑟·塞缪尔（Arthur Samuel）的IBM工程师创建了一个棋盘游戏程序，该程序是通过将字母与测试方相匹配来学习的。在20世纪90年代，来自IBM的杰拉尔德·特索罗（Gerald Tesauro）开发出西洋双陆棋程序，使算法与自身对战。这个程序最终达到了人类专家的水平，设计出了非正统但十分有效的策略。

在游戏迭代中，使用“自我启发”系统的算法面对同样相匹配的对手。这意味着策略的改变会导致不同的结果，从而使算法得到即时的反馈。OpenAI的研究主管伊尔亚·苏茨克维尔（Ilya Sutskever）说：“任何时候你学到新东西，只要你发现了一件小事情，你的对手就会立即用它来对付你。”

苏茨克维尔和美国连续创业家伊隆·马斯克（Elon Musk）共同创立了非营利组织OpenAI，致力于开发和分享AI技术，并将其引导到安全的应用领域。2017年8月，该组织发布了《Dota 2》机器人，控制角色Shadow Fiend（恶魔巫师），并在一对一的战斗中击败了世界上最好的玩家。另一个OpenAI项目是在相扑比赛中模拟人类互相攻击，最后它们教自己如何格挡和发动佯攻。苏茨克维尔称，在“自我启发”的过程中，你永远不能休息，必须不断进步。

但是，“自我启发”的旧观念只是当今主流机器人的一个组成部分，它还需要一种方式将他们的游戏体验转化为更深层次的理解。国际象棋、围棋以及像《Dota 2》这样的视频游戏，可能性甚至比宇宙中的原子排列方式更多。即使是在整个生命过程中，机器与自己的影子进行无数场虚拟竞技战斗，它也不可能碰到每个场景，并把它记录下来，以便当它再次看到同样的情况时，有记录可查。

加州大学伯克利分校计算机科学家皮特·阿贝尔（Pieter Abbeel）说，要想在这种拥有无数可能性的海洋中生存，你需要泛化，并捕捉本质。IBM的深蓝电脑用其内置的国际象棋公式做到了这一点。在有能力评估以前从未见过的棋路后，它可以采取行动和策略来增加获胜的机会。然而，近年来，一项新技术使我们可以完全跳过这个公式。阿贝尔称：“现在，突然之间，‘深网’就抓住了这一切。”

在过去的几年里，深度神经网络的人气飙升，它是由一层层的人造“神经元”构成的，就像煎饼一样。当一层神经元放电时，它们会将信号发送到下一层，以此类推。通过调整层与层之间的连接方式，这些网络在将输入转化为相关输出时变得非常棒，即使连接看起来显得十分抽象。

举例来说，给它们一个英语短语，它们可以训练自己把它翻译成土耳其语。给它们一个动物收容所的照片，它们就能辨认出哪些是猫。或者向它们展示一个游戏板，它们可以知道自己获胜的概率有多大。但是，通常情况下，你需要首先给这些网络大量的标记示例来进行训练和实践。

这就是为什么“自我启发”系统和深层神经网络如此契合的原因。“自我启发”能产生大量的游戏，使深层神经网络在理论上可以无限地提供它们需要自学的数据。反过来，深层神经网络提供了一种方法来内化“自我启发”过程中遇到的经验和模式。但是这其中有一个问题。对于“自我启发”系统来说，要想产生有用的数据，它们需要一个更现实的地方来玩。

加州大学伯克利分校的博士生切尔西·芬恩（Chelsea Finn）说：“所有这些游戏，所有这些结果，都是在你可以完美模拟世界的环境中进行的。”芬恩曾使用AI控制机器人手臂，并从传感器中解读数据。其他领域并不那么容易被模仿。

例如，无人驾驶汽车在应对恶劣天气或骑单车者时遇到了困难。或者，它们可能无法捕捉到真实数据中出现的奇异可能性，比如恰好有鸟飞过挡住了汽车摄像头。芬恩说，对于机器人手臂来说，最初的模拟提供了基础物理学，让手臂至少学会了如何学习。但是，他们没有捕捉到接触表面的细节，这意味着像拧开瓶盖或进行复杂外科手术的任务也需要现实世界的经验。

对于那些难以模拟的问题，“自我启发”系统并不是很有用。蒙特利尔大学深度学习先驱约书亚·本吉奥（Yoshua Bengio）在电子邮件中写道:“在真正完美的环境模型和学习环境之间存在着巨大的差异，尤其是当这个现实足够复杂的时候。”但这仍然让AI研究人员有办法继续前进。

很难确定AI何时能取得游戏霸主地位。你可以选择卡斯帕罗夫在国际象棋中的失利，或者李世石败给虚拟对手AlphaGo。另一个流行的选择是，2011年美国智力游戏《危险边缘》（Jeopardy）冠军肯·詹宁斯（Ken Jennings）输给了IBM电脑沃森（Watson）。沃森可以解析游戏的线索，处理文字游戏。两天的比赛还没有结束，詹宁斯就写道：“首先，我欢迎我们的新电脑霸主。”

沃森似乎被赋予了人类在许多现实问题上所使用的文书技能。它可以用英语提示，以闪电般的速度翻查相关文件，找到相关的信息片段，并找到一个最好的答案。但七年后，现实世界继续对AI提出了严峻的挑战。2017年9月份健康杂志《Stat》发布的报告显示，作为沃森肿瘤研究计划(Watson for Oncology)的目标，研究和设计个性化的癌症治疗方案非常困难。

当被要求从AI的角度来比较上述两种情况时，本吉奥写道：“《危险边缘》中的问题更容易理解，因为它们不需要太多的常识。而理解一篇医学文章要难得多。同样，需要进行很多基础研究。”

尽管游戏很特别，但仍然存在一些类似的现实问题。DeepMind的研究人员拒绝接受采访，理由是他们的AlphaZero目前正在接受同行评审。但该研究团队已经表示，它的技术可能很快就能帮助生物医学研究者，后者想要更多了解蛋白质的折叠。

为了做到这一点，他们需要弄清楚组成蛋白质扭结的各种氨基酸是如何折叠成小三维机器的，其功能取决于它的形状。这在国际象棋中同样十分棘手，化学家们很清楚地知道规则，可以计算出特定的场景，但是仍然有很多可能的配置方案，想要了解所有可能性几乎是不可能的。

但是如果蛋白质折叠可以被配置成游戏呢？事实上，它已经存在了。自2008年以来，成千上万的人类玩家尝试过在线游戏《Foldit》，用户可以在其折叠的蛋白质结构的稳定性和可行性上得分。机器可以以类似的方式训练自己，也许通过尝试通用强化学习来击败它之前的最好成绩。

苏茨克维尔认为，强化学习和“自我启发”也有助于训练对话系统。这将使机器人能够通过自言自语的方式进行训练，并实现与人类对话。考虑到专业的AI硬件正变得越来越快、越来越普及，工程师们将会有动力以游戏的形式提出越来越多的问题。苏茨克维尔说:“我认为，将来自我启发和其他消耗大量计算能力的方式将变得越来越重要。”

但是，如果最终的目标是让机器尽可能多地完成任务，即使是自学成才、通才的棋盘游戏冠军，比如AlphaZero，也可能有办法实现。麻省理工学院认知科学家乔希·特南鲍姆（Josh Tenenbaum）说:“至少在我看来，你必须看到，真正的思维活动、创造性的思想探索以及我们目前在AI领域所看到的东西之间存在着巨大的鸿沟。这种智能是存在的，但它主要发生在伟大的AI研究人员的头脑中。”

谷歌深度学习研究员弗朗索瓦·乔莱（Francois Chollet）说：“我要保持小心，不要过高估计玩这些游戏的重要性，不管是AI还是普通工作。人类不是很擅长游戏，但要记住，非常简单的专业工具实际上可以实现很多目标。” 

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”