对抗攻击层出不穷?神经科学带来新突破、导出智能统一框架,Hinton:我早有洞见

来源 :AI科技评论

编译 :bluemin

校对 :青暮

最近的神经科学研究指出了如何击败对抗性示例,并为实现更具弹性、一致性和灵活性的人工智能指明了道路。

对抗性示例是当今深度学习研究的热点。数据中微妙的,通常是无形的更改可能会使深度学习网络铸成大错。作为人类,我们似乎对这些输入感官的扰动更具抵抗力(尽管并非完全免疫)。

在深度学习系统中有一种特定的工作模式,看上去卓尔不凡,但有时不堪一击。就像暴风雨中的一棵僵硬的树一样,它们看上去雄伟壮观,但随时都可能毫无征兆地裂开。为什么会发生这种情况,我们如何改善这种情况?

随着神经科学领域的新研究相继展开,谜团逐渐明晰化。在本文中,我们将对其进行探讨。

科学家兼企业家Jeff Hawkins在他最近出版的著作《千脑:新的智力理论》(A Thousand Brains: A New Theory of Intelligence,本文作者最欣赏的一部杰作)中,剖析了团队对新大脑皮层进行的最新研究,他们发现,负责人类高级智能的区域占据大脑容量的70%。(另外30%是古老原始化的低级神经活动区域)。

这是一次迷人的旅程,Jeff Hawkins将我们带入了人类智力的震中。他分享道:

新大脑皮层中的环路纷繁复杂。仅仅一平方毫米,就有大约十万个神经元,数十亿个连接(突触)以及数千米长的轴突和树突。

新皮层在各方面看起来都非常相似。区域之间的差异很小。

新大脑皮层的所有区域似乎都与运动的产生和运动任务有关。在大脑皮层的每一个区域,科学家们都发现了和旧皮层中与运动有关的区域相联系的细胞。

1

一个环路统治天下

Vernon Mountcastle是美国著名的神经生理学学家,约翰·霍普金斯大学的神经学名誉教授。他是皮质柱状结构的发现者。他提出,我们的新大脑皮层基本上是通过反复复制相同的内容和相同的基本环路,得到进化从而日益强大。

当在Jeff的书中读到Mountcastle的想法时,我想起了伟大的科学家Robert Sapolsky的精彩演讲。Sapolsky在回答有关黑猩猩与人类之间区别的问题时(https://www.youtube.com/watch?v=AzDLkPFjev4)解释道,黑猩猩和人类之间基因表达的差异大约有一半与编码嗅觉受体的基因有关,其他差异与骨盆弓的大小、体毛的数量、免疫系统识别能力、生殖隔离的某些方面等有关;上述因素以及其他因素几乎解释了黑猩猩和人类之间所有的基因差异。那么,与人脑相关的基因差异在哪里呢?Sapolsky解释说,几乎不存在差异,而且鉴定出的少数基因与胎儿大脑发育过程中细胞分裂的轮数有关。人类的神经元数目基本上是黑猩猩的3倍。这种规模上的差异似乎是人类具备高级智力的关键。

这与Mountcastle的想法异曲同工,即单一环路可以被多次复制(规模至关重要,但规模是否足以推动当今的深度学习系统朝通用人工智能(AGI)方向发展?接下来继续探讨)。

我们的新大脑皮层的所有区域都基于相似的原理,在同一个基本环路上工作,这符合我们大脑在不同场景中表现出的灵活性。如果规模至关重要,这是否意味着GPT-11能让我们更接近AGI?

但是这谈何容易?因为Jeff在他的书和理论中阐明了房间中的存在一头巨大的大象。这是一个我们忽略了太久的问题。

2

15万根皮质柱

在去参观房间里的大象之前,让我们先了解一下背景知识。根据科学家的说法,我们的新皮层中大约有15万根皮质柱。Jeff告诉我们可以将这些柱子看作是细细的意大利面条。因此想象一下15万根细细的意大利面条彼此相依的场景。隐喻地说,你的新大脑皮层就是这种情况。

这些皮质柱内发生了什么?在过去的几年里,科学家们逐渐认识到:大脑是一个预测机器。它生成了一个世界模型,并不断预测接下来会发生什么。

当我们大脑的预测不正确时,我们意识到有些事情不对,大脑就会更新它的世界模型。随着时间的推移,我们的世界模型变得缤纷复杂。

因此,从某种意义上说,我们确实生活在模拟环境中。因为我们所感知到事物的其实是大脑构建的模型,而不是外面的“现实”。这就解释了幻肢以及其他类似的情况。

Jeff Hawkins指出,我们的大脑通过关注它所接收的输入在我们移动时(或那些输入在移动时)是如何变化的来学习世界模型的。这就把我们带到了房间里的大象那里。

3

房间里的大象

世界在不断变化。一切都在运动中。随着事物的运动和变化,我们的大脑不断更新我们的世界模型(我们很快就会看到很多模型)是有一定道理的。

正如近年来注意力机制彻底改变了深度学习领域一样,注意力也是我们大脑学习这些模型的关键。

但是,如果我们的新大脑皮层不断做出大量的预测,并逐渐适应其模型和感知之间的任何偏差,为什么我们没有察觉到这些全部的预测,而是感知一个连续的现实呢?让我们一步一步地解开谜团。

通过最新研究,Jeff和他的团队获得了一些有趣的见解:

  • 我们的每一根皮质柱(大概总计15万根)都在学习世界、物体、概念以及任何你能想象的事物的模型。他们提出,正如我们的旧皮层拥有位置细胞和格点细胞来建立周围环境的模型一样,新皮层也具有等效的细胞,这些细胞可以让大脑建立物体、概念等的模型。皮质柱使用的是Jeff所称的参考系,这些参考系就像具有多个维度的网格,可以帮助大脑组织任何种类的知识。

  • Jeff告诉我们,思维是一种运动形式。当我们在这些参考系中改变位置时,思考油然而生。所以你正在想什么,或者你的脑子里正在想什么,取决于你的大脑皮质柱此刻在不同的参考系中的位置。当你的大脑在这些结构中导航时,你的思维会不断进化。

请注意,运动的概念开始无处不在。运动和系统的动态本质是房间里的大象。我们将很快讨论这与对抗性示例问题以及当今深度学习的局限性有何联系。

因此,这全都与参考系或地图、物理空间地图、概念地图以及任何事物的地图有关。Jeff告诉我们,就像旧皮层中的参考系一直在学习不同环境的地图一样,新大脑皮层中的参考系一直在学习目标地图(在他们称为“what”柱的情景下),或者人体周围的空间(在“where”柱的情景下),或者在非感官柱内部的概念图。

我很喜欢Jeff所用的类比,即我们需要找到一种好方法来组织对某个领域掌握的知识,我们需要内在地创建该领域的出色参考系或地图,这样才能成为任何领域的专家。想想那些深刻而复杂的参考系,例如,莱奥纳多·达·芬奇或爱因斯坦为了在各自的专业领域内取得卓越成绩而拥有的参照系。

言归正传,我们的150000个大脑皮质柱中的每一个都在学习一个世界预测模型,因为它关注输入随时间的变化。每个皮质柱都学习大量元素、物体、概念等的模型。

因此,我们对任何事物(一个对象或一个概念)所具备的知识都分布在成千上万的皮质柱和成千上万的互补模型中。这与Jeff理论的名字(千脑)有关。

所有这些都与我们大脑的灵活性有关。我们的新大脑皮层不依赖于单个皮质柱。知识分布在成千上万的皮质柱中。因此,即使受伤损坏了一组皮质柱,大脑仍会继续工作(学术文献中这样的例子不胜枚举)。

接下来要考虑的是:如果每次运动发生时大脑都在生成新的预测,那么这些预测将存储在哪里?

Jeff和他的团队提出神经元不同树突上出现的尖峰包含预测信息的观点(树突是神经元的分支,通过突触接收输入)。树突尖峰使与之相连的细胞进入杰夫所说的预测状态。因此,预测发生在神经元内部。这些预测改变了神经元的电特性,使其比其他情况下更快地启动,但这些预测并没有通过轴突传递给其他神经元,这就解释了为什么我们意识不到大多数神经元的预测。现在的问题是:我们如何确定特定的预测?

4

表决一致

我们对现实的感知是投票过程的结果。不同的皮质柱通过投票达成共识,这就是产生单一感知的原因,该感知将来自系统不同部分的不同预测统一起来(这也可能与不同类型的感官输入有关)。

只有某些细胞需要投票,例如,代表我们正在感知的特定物体的细胞。那么它们如何投票?

我们大脑皮质柱中的大部分连接都在新皮层的不同层进行上下移动。但也有例外。科学家发现,有一些细胞通过新皮质将轴突(输出连接)从一侧传送到另一侧。Jeff和他的团队认为,这些具有长距离连接的细胞是负责投票的细胞。

当我们识别出一个物体时,我们的皮质柱已经就我们所看到的东西达成了共识。我们每个皮质柱中的投票单元(神经元)会形成一个稳定的模式,表征该物体以及该物体相对于我们的位置。

只要我们不断地感知同一个物体,当我们保持与这个元素互动时,这些投票神经元的状态就不会改变。当我们移动或物体移动时,其他神经元会改变它们的状态,但投票神经元会保持稳定。

这就是为什么我们的感知是稳定的,而我们没有意识到与正在发生的移动预测有关的活动的波动。我们只是知道最终的稳定模式源自投票细胞所达成的共识。

因此:

  • 运动是我们大脑感知世界的关键。正是由于运动(改变了我们自身或我们周围的某个世界),我们的大脑才能丰富其内部的物体和概念模型(运动不必是物物理的,可以采用虚拟形式等等)。

  • 使用单一原则处理各种输入,为与我们互动的每个元素创建成千上万的预测和模型,使这些模型丰富多彩。

  • 通过投票达成的共识机制意味着我们对世界的感知是稳定的,同时灵活且富有弹性。

现在该回到对抗性示例和深度学习领域状况的探讨了。

5

如何击败对抗性示例?

人类其实也会受对抗性示例的影响。感官输入中的扰动会使我们感到困惑,并使我们误解事物。我们大多数人都经历过各种各样的视觉错觉。然而,总的来说,我们的认知始终如一,而且富有弹性,肯定比我们在今天的深度学习系统中发现的更加一致,在这个系统中,无形的变化会完全破坏我们的结果。

经典视错觉图像(图中的横线是平行的吗?)

这种弹性、一致性和灵活性的背后是什么?无论是什么,它可能包括以下部分:

  • 我们的大脑皮质柱基于运动和设立的参考系建立模型。当我们在周围移动或世界在我们周围移动时,我们的大脑会对每一个物体或概念产生成千上万的预测和模型。这体现了灵活性。我们不是把所有的鸡蛋放在一个篮子里。就像我们在深度学习中使用集成模型一样,我们在这个问题上下的赌注是上千个角度,而不仅仅是一个角度。

  • 我们的感知形成以多模态和稳定的投票动态为基础。针对特定物体(或概念等)创建的不同模型正在应用多种预测,这些预测通常与不同的感官模式(视觉、触觉、听觉、手势等)相关。在负责最终表征的细胞之间进行投票生成稳定的模式,这些模式对变化具有弹性。物体或环境的微小变化不会破坏稳定的投票模式,因为这种模式是基于数千个独立预测的组合,而这些预测又是基于许多不同的角度、视角,并且通常是不同感官模式的组合。就像集成模型在Kaggle竞赛中非常受欢迎一样,投票模式也是一种在大脑中进行的集成学习,使我们人类的感知兼具稳定性、弹性和灵活性(当然这是相对而言,但与当前的深度学习系统相比,尤其如此)。

因此深度学习中的对抗性示例就此“终结”。而“终结”并不意味着绝对的结束,仅仅是达到一个类似于我们人类具备的弹性、一致性和灵活性的水平,将有可能结合以下几点:

运动:物理或虚拟。深度学习系统需要在其移动或或周围世界移动时,通过丰富其内部模型收集关于世界的不同观点和角度。机器人技术和人工智能必须进一步融合。除了机器人技术之外,运动也可以是虚拟的,所以这一原则超越了物理性。

模型集成:我们必须超越单一的表示形式或模型。为了适应对抗性示例和其他挑战,深度学习需要生成大量预测和不断更新的模型。然后投票机制可以创建稳定的模式和表示形式,从而更灵活地抵御对抗性扰动。

连续学习:外部世界不容等待。上述的一个结果是,学习需要锲而不舍。如今,深度学习系统过于静态化。持续学习是一个活跃的研究领域,其重要性只会有增无减。

参考系:我们可以从Jeff Hawkins在他的书和理论中描述的参考系中找到关于如何建立我们的表征和模型的许多灵感。正如Jeff所指出的那样,像 Hinton 这样的深度学习领导者已经在致力于使深度学习模型更加灵活的过程中研究了一段时间(请参阅胶囊网络)。但是前路漫漫,最新的神经科学研究正以新的迹象强化这一方向,而且会日益凸显;与深度学习模型相比,我们的大脑更灵活,更有弹性,现在我们开始理解为什么。

研究检测对抗性示例的新方法是一个有趣的领域,相关的学术活动不计其数。现在缺少的是重新思考我们的深度学习架构和系统,从当前的静态范式过渡到基于多模态、多模型、基于共识的预测系统(具有弹性、一致性和灵活性)的动态范式。当我们实现这一点时,我们将能够隐藏或扰乱系统的某些部分,并且仍然保持稳定的预测。

正如Jeff指出的那样,当我们尝试将AI系统应用于对灵活性和弹性需求量大的场景时,这将愈发关键。

Mountcastle的想法,Sapolsky的想法和我们对GPT架构的痴迷,所有这些都表明了规模的重要性。规模至关重要。拥有3倍多的神经元,或同一基本环路的数千个副本,或数千亿个参数而不只是10亿个,所有这些都很重要。

对于深度学习领域的现状来说,这是个好消息。在GPT系统这样的项目中,我们发现并确认了一个事实,即规模很重要!

但是,我们也开始意识到,与规模同等重要的一点是,它将不足以带我们到达理想殿堂。

如果你在一系列媒体中关注GPT-3这样的系统的最新对话,比如机器学习街谈播客,你会听到类似的结论。GPT-3的亮相令人印象深刻,但它也有点不堪一击,而且常常感觉像黑客。这与人类大脑的弹性和灵活性无关。

规模很重要,但运动亦如此。我们不能仅仅通过强调规模来逃避运动和变化。世界就像一场永不停息的风暴。

我们是一棵越来越大的静态树,但由于缺乏随风而动的能力,因此不断地分裂。

思维是一种运动。通过参考系进行运动。在共识机制统一的成千上万的预测和模型间运动。

6

唯有运动才能向前

后记:Pedro Domingos在他的《终极算法》一书中写到了与深度学习相关的不同范式:符号论者,连接论者,进化论者,贝叶斯论者和类推论者。显然,通向AGI的道路可能会是许多不同的途径和方法的组合。关于Jeff及其团队的工作和理论,正如Kenneth Stanley教授所说,我遵循的是一个兴趣梯度(与Jeff的工作有关的梯度幅度非常大)。作者看来,Jeff的理论和工作(以及他所有才华横溢的团队)能够支撑起非常有趣和有用的垫脚石,这可以使我们更接近AGI(或者至少他们的研究可以将我们引向这些垫脚石)。确实如此,我们可以通过许多不同的方式实现AGI,获取具有足够弹性和灵活性的智能系统仍任重道远。因此,深入探索来自神经科学的最新研究可能会为我们指明通往AGI的道路上有用的垫脚石,这将意义非凡。

原文链接:

https://towardsdatascience.com/towards-the-end-of-deep-learning-and-the-beginning-of-agi-d214d222c4cb

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/485021.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

增强现实系统的三大关键技术是什么?

来源:VR村增强现实系统的主要任务是进行真实世界和虚拟物体的无缝融合,需要解决真实场景和虚拟物体的合成一致性问题。为了确保真实世界和虚拟对象的无缝融合,根据Ronald Azuma对增强现实技术的定义,在AR应用系统开发中必须要解决…

51 Nod 1116 K进制下的大数

1116 K进制下的大数 基准时间限制:1 秒 空间限制:131072 KB 分值: 20 难度:3级算法题 收藏 关注 有一个字符串S,记录了一个大数,但不知这个大数是多少进制的,只知道这个数在K进制下是K - 1的倍数。现在由你…

数字化?智能化?中国企业智能制造现状究竟如何 李炳积 工信头条 昨天

来源:先进制造业各国智能制造现状30年来,在智能制造领域,各国从早期侧重于智能设计的数值模型和离线模型,发展到以智能制造过程优化为目标在线智能系统,从传统行业进军新兴行业。欧美技术基础较好,对高端技…

2021年MEMS传感器产业链变化与趋势

来源:宸元资本一MEMS基本概念和相关产业政策MEMS基本概念微机电系统(MEMS, Micro-Electro-Mechanical System),也叫做微电子机械系统、微系统、微机械等,指尺寸在几毫米乃至更小的高科技装置。微机电系统其内部结构一般…

python基础之流程控制

python流程控制 python的流程控制跟大多数的语言一样,包括if条件语句、for循环语句、while循环语句;跳出循环continue,break等 写在前面 python中的运算 1)算数运算 以下假设变量:a10,b20: 2&am…

从自动驾驶汽车开始,机器学习开始与物理世界交互

大数据文摘出品来源:Wired编译:王烨今天,有许多人工智能与我们互动的例子,使我们的生活的效率更高。智能体向我们通过电子商务网站向我们推荐产品,通过社交媒体为我们推荐新闻,通过交友应用向我们推荐朋友&…

突破!在人工染色体中存储图片和视频:天津大学元英进团队验证DNA数据存储新方法...

来源:中国生物技术网天津大学元英进教授团队从头编码设计合成了一条长度为254,886 bp、专用于数据存储的酵母人工染色体,借助无线通信中前沿的纠错编码将两张经典图片和一段视频存储于高效组装的人造染色体,利用酵母繁殖实现了数据稳定复制&a…

10分钟 在linux里创建.net core helloworld控制台程序

官方教程 安装linux https://www.cnblogs.com/LittleFeiHu/p/9749455.html 第一步 :选择和你本机适用的Linux版本,我这里用的是18.04. 第二步 :注册秘钥,产品仓储,以及安装依赖项,每台机器只需要注册一次&a…

陈天桥雒芊芊脑机接口中心等团队研究登顶刊:超声波“读心”

来源:澎湃新闻 作者:贺梨萍 脑机接口(BMIs)在全球的研究正如火如荼,神经科学家们希望通过这样一种设备将神经活动映射到相应的行为,它以读取和解释大脑活动,并向计算机或机器发送指令。实际上&a…

图灵奖得主 Yann LeCun 最新文章 :自监督学习,人工智能世界的“暗物质”

来源:AI前线作者:Yann LeCun ,Ishan Misra译者:王强策划:刘燕近年来,AI 产业在开发“可以从大量经过细致标记的数据中学习的 AI 系统”这个研究领域上取得了巨大进步。这种监督学习的范式在训练专业模型方面…

无脑人:我们真的需要大脑吗?

© Mental Floss来源:神经科技编辑:Yezi审阅:mingzlee7在一次讨论中,有位德高望重的人(我不会透露这个人是谁)告诉我:“我认为自我存在于心脏!而不是大脑!那些声称意…

JS数组的需要注意的问题

一、在js中数组是我们经常使用的数据类型,也为我们提供了很多方法。但是有些方法需要注意使用: 1、indexOf(args):匹配一个数组中与args相等的项的索引位置,如果该数组包含这个匹配项则返回第一个匹配的索引,并停止匹配…

基金委最新改革:9大科学部整合为4个板块资助布局

来源:微信公众号科学网(sciencenet-cas)3月24日,国家自然科学基金委员会(以下简称自然科学基金委)第八届委员会第四次全体会议在北京召开。会议上,自然科学基金委主任、党组书记李静海作全委会工…

Leetcode--236. 二叉树的最近公共祖先(Java)

给定一个二叉树, 找到该树中两个指定节点的最近公共祖先。 百度百科中最近公共祖先的定义为:“对于有根树 T 的两个结点 p、q,最近公共祖先表示为一个结点 x,满足 x 是 p、q 的祖先且 x 的深度尽可能大(一个节点也可以是它自己的…

万恶之源 - Python运算符与编码

格式化输出 现在有个需要我们录入我们身边好友的信息,格式如下: ------------ info of Alex Li ----------Name : Alex LiAge : 22job : Teacher Hobbie: girl------------- end ---------------- 我们现在能想到的办法就是用一下方法: name input(请输入姓名:) age …

世界最大、最复杂的GPU!这颗集成1000亿个晶体管的芯片长什么样?

来源:EETOP3月25日消息 英特尔于昨日举办了直播活动,新上任的 CEO 帕特基辛格(Pat Gelsinger) 发表了演讲,并展示了采用 7nm 工艺的 Xe-HPC 高性能 GPU,代号 “Ponte Vecchio”。这款产品封装了 47 个芯片&…

Lucene全文检索

目录结构: 1.全文检索 2.Lucene入门 3.Lucene进阶 全文检索 一, 生活中的搜索: 1.Windows系统中的有搜索功能:打开“我的电脑”,按“F3”就可以使用查找的功能,查找指定的文件或文件夹。搜索的范围是整个电脑中的文件资源。 2.Eclipse中的帮助…

区块链架构下 智慧城市发展加速

来源:中国经济时报智慧城市与区块链技术结合愈加紧密在城市建设和管理上,越来越多的城市开始尝试推动区块链技术在智慧城市项目中应用。中国有杭州聚能城、雄安新区;韩国有“区块链首尔城”;瑞士有“加密谷”楚格;爱沙尼亚和圣马力诺等国家也在纷纷构筑自…

揭秘人工智能背后鲜为人知的人工力量——数据标注

来源:帮尼资讯部分参考来源:大数据文摘、点宽DigQuant图片来源:网络尽管随着AI的普及,我们在生活中越来越依赖于人工智能,但“人工智障”的相关调侃也从来没有消失过。相信大家都知道,如果我们想要让AI准确…

诺贝尔奖也难以衡量其贡献,杨振宁的杨-米尔斯理论到底多厉害?

来源:宇宙时空杨振宁先生的贡献,宇称不守恒,打破了诺贝尔奖颁奖的时间记录,比爱因斯坦快了整整16年。可是,跟杨-米尔斯理论相比,它简直不值一提。如果把人类的科学发展比作一场大型的通关游戏现场&#xff…