来源:混沌巡洋舰
近日,Yoshua Bengio及其团队利用深度学习,开发出了一套可以揭示丰富视觉环境中的潜在规则的「神经生产系统」,使得现在暂时沉寂的符号人工智能重新恢复了活力。
相信大家都知道,目前人工智能的主要学派有下列三家:
(1) 符号主义(symbolicism),又称为逻辑主义、心理学派或计算机学派,其原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理。
(2) 连接主义(connectionism),又称为仿生学派或生理学派,其主要原理为神经网络及神经网络间的连接机制与学习算法。
(3) 行为主义(actionism),又称为进化主义或控制论学派,其原理为控制论及感知-动作型控制系统。
符号主义曾长期一枝独秀,为人工智能的发展作出重要贡献,尤其是专家系统的成功开发与应用,为人工智能走向工程应用和实现理论联系实际具有特别重要的意义。
1986年,鲁梅尔哈特(Rumelhart)等人提出多层网络中的反向传播(BP)算法。此后,连接主义势头大振,从模型到算法,从理论分析到工程实现,为神经网络计算走向市场打下基础。
而现在,Youshio Bengio干了一件神奇的事情——他带领团队,使用深度学习使符号人工智能恢复了活力:
近日,Youshio Bengio和一组研究人员引入了一个端到端深度学习模型,该模型部分受到经典人工智能生产系统的启发,可以在视频中构建以对象为中心的实体表示,并使用可微分和可学习的生产规则对其进行操作。
研究团队主要来自于蒙特利尔大学的Mila、DeepMind、Waverly和谷歌Brain。
任何结构化视觉环境(如视频)中的对象或者实体都具有可见和潜在的属性,这些属性决定了他们如何相互作用。为这种相互作用建模的传统方法是使用等变图神经网络(GNNs)。
然而,这种设置并不理想,因为GNN并不能预先处理稀疏交互,也不能以实体条件的方式分解交互的知识。
本文提出的神经生产系统(Neural Production Systems,NPS)则解决了这些问题。
论文链接:https://arxiv.org/pdf/2103.01937.pdf
NPS由一组规则模版组成,通过将规则中的占位符变量绑定到特定的实体,这些模版可在丰富的可视环境中分解特定于实体和基于规则的信息。
我们知道,根据物理定律,把盘子从餐桌上推下去会导致盘子掉到地板上,并且很可能会摔碎。
尽管从未学过基本的物理知识,即使是孩子,也可以用命题表达的方式来表达这一知识,比如:「如果一个盘子从桌子上掉下来,它会摔碎。」
然而,这种命题知识的简单表达仍然是深度学习体系结构的一个挑战,原因有两个:
1)命题是离散的,彼此独立
2)命题必须被量化为一阶逻辑的方式。
关于符号知识表示的命题推理,经典的人工智能方法提供了一些有价值的视角。其中,一个简单的例子是20世纪80年代的生产系统,它通过条件-动作规则来表达知识。
现在,研究人员从深度学习的角度重新审视了这种产生系统,并提出了一种神经生产系统,可以自然的将感知处理和随后的视觉推理问题的推理结合起来。
研究人员提出的NPS与传统的生产系统都有四个基本性质:模式、抽象、稀疏和对称。他们规定了知识是如何表示的。
这个生产的体系结构,还支持实体表示的检测和推断,并且能控制他们交互的潜在规则。
图:规则和槽的组合
在上图中,条件操作规则指定实体如何交互,插槽则维持实体的时变状态。每条规则都与一对插槽匹配。通过键值注意力机制,我们可以确定匹配的优度,并选择规则及其对插槽的绑定。
在实验部分,研究人员测试了NPS的有效性。其中一项涉及了学习数字的加、减、乘运算的算数任务;实验还涉及了MNIST转换,以测试扩展到更加丰富的视觉设置的能力;最后,为了模拟简单的物理世界,实验还包括了一个动作约束(Action-Conditioned)的模型。
图:算术任务
上图使了用不同序列长度对应的均方误差损失(MSE),该部分主要将NPS与基线模型进行了比较。
图:MNIST转换
图:Action-Conditioned模型
上图中的(a)使用了H@1指标比较了NPS和GNN(越高越好),(b)表示了在在物理环境中使用单个规则时,NPS中使用的规则应用步骤数量的影响。(c)则对NPS和GNN模型中五款游戏Atari游戏H@1的平均得分进行了比较。
在算术任务中,NPS的MSE明显低于基线。在MNIST转换任务中,NPS成功地学会了使用单独的规则来表示每个转换,而物理环境模拟则验证了NPS从简单(少数对象)环境到更复杂环境的推断能力。
参考资料:
https://arxiv.org/pdf/2103.01937.pdf
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”