来源：混沌巡洋舰
1969年《芝麻街》的第一集中有一个片段叫做“这些东西中的一个与众不同”。观众们被要求考虑一张展示三个2和一个 w 的海报，然后一边跟着游戏的同名广告歌唱，一边决定哪个符号不属于这个标志。《芝麻街》中的很多集重复了这个游戏，比较的对象从抽象的图案到盘子里的蔬菜。孩子们从来不需要重新学习规则。理解“相同”和“不同”之间的区别就足够了。
机器则不然。人工智能系统中最强大的卷积神经网络，可以被训练以比人类更好地执行一系列复杂的任务，从医学图像中的癌症识别到围棋中的那一步更好选择。但是最近的研究表明 cnn只能在在非常有限的条件下， 可以分辨两个简单的视觉模式是否相同。稍微改变一下这些条件，网络的性能就会骤然下降。
这些结果在深度学习研究者和认知科学家中引起了争论。能否会产生像儿童那样理解同一性和差异性的 cnn？还是说，无论 cnn 的构建和训练有多么巧妙，它们的抽象推理能力从根本上是有限的？无论是哪种情况，大多数研究人员似乎都同意，无论是人工智能还是人类认知，理解相同或不同的关系都是智能的重要标志。
约翰·霍普金斯大学研究视觉认知的 Chaz Firestone 说: “不仅你和我在同一个不同的任务上取得了成功，许多非人类动物也取得了成功，包括小鸭子和蜜蜂。”。
在分辨异同任务中取得成功的能力可以被认为是人类做出各种推论的基础。DeepMind 的研究员Adam Santoro说，谷歌旗下的人工智能实验室正在“以整体的方式研究同异关系”，不仅研究视觉场景，还研究自然语言和物理互动。他解释说: “当我让人工智能‘拿起玩具车’时，这意味着我说的是我们玩过的那辆车，而不是隔壁房间里的另一辆玩具车。”。最近一项关于同异推理的研究调查也强调了这一点。“如果没有识别相同性的能力,”作者写道，“似乎就没有希望实现创造真正具有智能的推理机器这一梦想。”
https://www.sciencedirect.com/science/article/pii/S2352154620301352
至少从2013年开始，异同的关系就一直困扰着神经网络。当时，人工智能领域的先驱研究人员约Yoshua Bengio和他的Caglar Gulcehre表示，CNN 无法判断一组块状如俄罗斯方块式的图形是否相同。但是这个盲点并没有阻止 cnn 主宰人工智能，卷积网络帮助 AlphaGo 打败了世界上最好的围棋选手，近90% 的安卓深度学习应用程序都依赖于它。
这种能力的爆炸性增长重新点燃了一些研究人员探索这些神经网络不能做什么的兴趣。CNN 通过大致模仿哺乳动物大脑处理视觉输入的方式来学习。一层人工神经元检测原始数据中的简单特征，如明亮的线条或对比度的差异。网络将这些特性传递给隐藏层，这些层将它们组合成更复杂、更抽象的类别。布朗大学机器学习研究员Matthew Ricci表示，同异关系似乎很好地测试了 cnn 的极限，因为它们是“对于一幅与其特征无关的图像，你能提出的最简单的问题”也就是说，两个物体是否相同并不取决于它们是一对蓝色三角形还是相同的红色圆圈。特征之间的关系很重要，而不是特征本身。
在2018年，Ricci 和合作者 Junkyung Kim 和 Thomas Serre 测试了来自合成视觉推理测试(SVRT)的 cnn，这是一个简单模式的集合，旨在探测神经网络的抽象推理技能。这些图案由一对对不规则的形状组成，黑色的轮廓画在白色的正方形上。如果这两张照片在形状、大小和方向上完全相同，那么这张照片就被归类为“相同”; 否则，这两张照片就被归类为“不同”
研究人员发现，经过训练的 CNN 能够区分“相同”和“不同”，当从 SVRT 图像集中显示新的例子时，准确率高达75% 。但是，里奇说，通过两种表面的方式修改形状——让它们变大，或者让它们彼此之间相距更远——使 cnn 的精度将显著下降”。研究人员得出结论，神经网络仍然专注于特征，而不是学习“同一性”的关系概念。
去年，蒂宾根大学的 Christina Funke 和 Judy Borowski 表明，将神经网络中的层数从6层增加到50层，在同样的 SVRT 任务中，其准确率提高到90% 以上。然而，他们没有测试 CNN 在 SVRT 数据集之外的例子上的“深度”表现，正如 Ricci 的小组所做的那样。因此，这项研究并没有提供任何证据表明更深层的 cnn 可以概括相同和不同的概念。
Guillermo Puebla 和布里斯托尔大学的认知科学家 Jeffrey Bowers 在今年早些时候的后续研究中进行了调查。Puebla表示: “一旦你掌握了一种关系，你就可以把它应用到任何来到你身边的事情上。”。他坚持认为，cnn 应该遵循同样的标准。
Puebla和 Bowers 用不同的初始设置(包括 Funke 和 Borowski 使用的一些相同的设置)训练了4个 cnn，这些 cnn 在 SVRT 的相同-不同的任务上有不同的表现。他们发现，图案底层特征的细微变化——比如将形状轮廓的厚度从一个像素改为两个像素——往往足以将 CNN 的表现从近乎完美降至几乎不超过概率的一半。
https://www.biorxiv.org/content/10.1101/2021.04.06.438551v3
这对人工智能意味着回答取决于你的问题。Firestone 和 Puebla 认为最近的研究结果给经验证明提供了证据，即目前的 cnn 缺乏基本的推理能力，而这种能力无法用更多的数据或更聪明的训练来支撑。Puebla表示，尽管 cnn 的能力不断扩大，但它们“解决异同问题的可能性非常小”“如果你添加其它模块，它们可能是解决方案的一部分。但是仅仅依靠CNN是不行的。”
Funke同意，Puebla的研究结果表明，cnn 仍然没有概括同异的概念。“然而,”她说，“我建议在声称深度卷积神经网络通常不能学习这个概念时要非常小心。”
DeepMind 的研究人员 Santoro 也同意这一观点: “缺乏证据并不一定就是缺乏证据的证据，对神经网络历来就是如此。”他指出，神经网络已经在数学上被证明原则上能够逼近任何函数。Santoro 说: “研究人员的工作是确定在实践中学习所需功能的条件。
Ricci认为，让任何机器学习同与不同的区分，将需要在理解学习本身方面取得突破。孩子们只看了一集《芝麻街》，并没有经过大量的训练，就明白了“这些东西中的一个与众不同”。鸟类、蜜蜂和人类都可以通过这种方式学习——不仅仅是在学习区分“相同”和“不同”时，而是在完成各种认知任务时。“我认为，除非我们弄清楚如何从一些例子和新奇的物体中学习，否则AGI就难以实现,”
原文翻译自：
https://www.quantamagazine.org/same-or-different-ai-cant-tell-20210623/
未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。
如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
