人工神经网络能否驾驭生物神经元的“浓稠”程度?5到8层可能并非极限

来源:图灵人工智能

编译:李扬霞

编辑:青暮

计算神经科学家通过训练人工神经网络来模仿生物神经元,提供了一种探讨单个脑细胞复杂性的新方法。

虽然我们糊状的大脑似乎与计算机处理器中的芯片大相径庭,但科学家对两者的比较已经有很长的历史。正如阿兰·图灵在1952年所说:“我们对大脑像冷粥一样的稠度不感兴趣。”也就是说,媒介并不重要,重要的是计算能力。

如今,最强大的人工智能系统使用基于深度学习的机器学习方法,该算法通过调整大量的数据隐藏层相互连接的节点来拟合数据,这些节点形成的网络被称为深度神经网络。顾名思义,深度神经网络的灵感来自于大脑中真实的神经网络,这些深度神经网络的节点以真实的神经元为模型。根据20世纪50年代神经科学家对神经元的了解,当时一种有影响力的神经元模型被称为感知器,从那时起,我们对单个神经元计算复杂性的理解逐渐加深,人们了解到生物神经元比人工神经元更复杂,但是复杂的程度是多少?不得而知。

1

一个生物神经元可以和5到8层人工神经网络相匹敌

为了找到答案,耶路撒冷希伯来大学的David Beniaguev, Idan SegevMichael London训练了一个人工深度神经网络来模拟生物神经元的计算。该研究表明,“一个深度神经网络需要5到8层相互连接的人工神经元来才能表示单个生物神经元的复杂性。”

“我原以为它会更简单,更小”Beniaguev如是说。Beniaguev也没有预料到这种复杂性,他原来预计三到四层就足以捕获单元内执行的计算。

在谷歌旗下的 AI 公司 DeepMind 设计决策算法的 Timothy Lillicrap 表示:“新结果表明,可能有必要重新思考,以前将大脑中的神经元与机器学习背景下的神经元进行不精确的比较的旧传统 ”,他认为“这篇论文确实有助于人们更仔细地思考这个问题,并搞清楚我们可以在多大程度上进行类比。”

最基本的相似之处,在于它们处理输入的信息的方式。这两种神经元都接收输入的信号,并根据这些信息决定是否将自己的信号发送给其他神经元。人造神经元是依靠简单的计算来做出决定,但数十年的研究表明,生物神经元的这个过程相对来说更加复杂。

计算神经科学家使用输入-输出函数,模拟生物神经元的长树枝(树突)接收到的输入的信息与神经元决定发送信号之间的关系。

这项新研究的作者使用一个人工深度神经网络模仿这个函数,以确定关系的复杂程度。他们首先对老鼠的大脑皮层中的神经元的输入输出功能进行了大规模模拟,这种神经元的顶部和底部都有不同的树突分支,被称为锥体神经元。然后,他们将模拟结果输入到一个深度神经网络中,该神经网络每层最多有256个人工神经元,他们不断增加层数,直到在模拟神经元的输入和输出之间达到毫秒级99%的准确率。

最后,深度神经网络成功地预测了大脑神经元的输入-输出函数的行为,结果表明:深度神经网络至少有5层相互连接的人工“神经元”,但不超过8层。在大多数网络中,一个生物神经元就相当于大约 1000 个人工神经元。

神经科学家们现在知道,单个神经元的计算复杂性,比如左边的锥体神经元,依赖于树突状的分支,这些分支会受到传入信号的轰击。在神经元决定是否发送自己的信号“尖峰”之前,会导致局部电压的变化,以神经元的颜色变化来表示,红色表示高电压,蓝色表示低电压。这个“尖峰”出现了三次,如图中右侧的各分支的轨迹所示,这里的颜色代表了树突从上(红色)到下(蓝色)的位置。

——David Beniaguev

贝勒医学院(Baylor College of Medicine)的计算神经科学家安德烈亚斯·托利亚斯(Andreas Tolias)说:“(这个结果)为生物神经元和人工神经元之间搭起了桥梁。”

这一研究的其中一个作者London对人们提出了警告,他认为,“人工神经网络中有多少层和网络的复杂性之间的关系并不明显,不是直接的对应。”因此,我们不能确切地说,从四层增加到五层会增加多少复杂性。我们也不能说 1000 个人工神经元就意味着生物神经元的复杂度恰好是人工神经元的 1000 倍。说不定,我们可以在每一层中使用成倍的人工神经元,最后能形成只有一层的深度神经网络来拟合一个生物神经元。当然,算法学习可能因此需要更多的数据和学习时间。

London表示:“我们尝试了多种不同深度和不同单元的架构,但大多都失败了。”

该研究的作者们分享了他们的代码,以鼓励其他人找到一个层次更少的解决方案。但是结果表明,找到一个能以99%的准确率模拟生物神经元的深层神经网络是很难的。因此,这些作者们相信,他们得出的结果确实为进一步的研究提供了有意义的比较。

Lillicrap认为,这一研究结果对于将图像分类网络与大脑联系起来,或许可以提供一种新方法。图像分类网络通常需要 50 层以上,如果每个生物神经元都近似于一个五层人工神经网络,那么一个有50层的图像分类网络就相当于一个生物网络中的10个真实神经元。

这一研究的作者还希望他们得出的研究结果能够被用于改进 AI 领域目前最先进的深度网络架构。

Segev指出,“我们建议,可以尝试用一个代表生物神经元的单元来替代深度神经网络中的简单单元,使其更接近大脑的工作方式。”在这种替代方案中,人工智能研究人员和工程师可以插入一个五层深度网络作为“迷你网络”,取代每一个人工神经元。

2

有质疑也有肯定

但有些人怀疑这一研究是否真的对人工智能有益。

冷泉港实验室(Cold Spring Harbor Laboratory)的神经学家安东尼·扎多尔(Anthony Zador)说,“我认为,在这种对比中是否存在实际的计算优势,还是一个悬而未决的问题。”“但是该研究为检验这一点奠定了基础。”

除了人工智能的应用之外,这篇新的论文也加深了人们对树突树和单个生物神经元强大计算能力的共识。早在2003年,三位神经科学家就表明,金字塔神经元的树突树可以通过将其建模为两层人工神经网络来进行复杂的模拟计算。在这篇新论文中,作者研究了金字塔神经元的哪些特征(结构)激发了5到8层深度神经网络的更大复杂性。他们得出的结论是:秘密来自于树突,以及树突表面接收化学信使的一种特定受体——这一发现与该领域之前的研究结果一致。

一些人认为,这一结果意味着神经科学家应该把对单个生物神经元的研究放在更重要的位置。

宾夕法尼亚大学(University of Pennsylvania)的计算神经学家康拉德·科尔丁(Konrad Kording)说:“这篇论文使得我们对树突和单个神经元的思考变得比以前重要得多。”

还有Lillicrap和Zador,他们认为关注一个回路中的神经元,对于学习大脑如何使用单个神经元的计算复杂性同样重要。

无论如何,人工神经网络的研究可能会提供对生物神经元以及大脑奥秘的新见解。

伦敦大学学院(University College London)的计算神经科学家格蕾丝·林赛(Grace Lindsay)说:“从层次、深度和宽度的角度思考,这项工作让我们对计算的复杂性有了直观的认识。”

然而, Lindsay 也警告说,这项新研究仍然只是在对模型进行比较。不幸的是,目前神经科学家不可能记录真实神经元的完整输入-输出功能,所以可能有更多生物神经元模型没有捕捉到的东西。换句话说,真正的神经元可能更加复杂。

London说:“我们不确定,5到8层是否真的是最终的极限。”

原文链接:

https://www.quantamagazine.org/how-computationally-complex-is-a-single-neuron-20210902/

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483865.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

困扰爱因斯坦的「幽灵般的超距作用」,是如何被贝尔定理证明确实存在的?...

文章来源:机器之心作者:Ben Brubaker原文链接:https://www.quantamagazine.org/how-bells-theorem-proved-spooky-action-at-a-distance-is-real-20210720/我们理所当然地认为,世界上某个地方发生的一件事不会立即对远方的事物产生…

Jupyter notebook 导入和卸载 conda 虚拟环境

一、导入 进入Anaconda Prompt,激活要使用的虚拟环境。 conda activate xxx # 你要使用的虚拟环境名称安装 ipykernel 插件, 建议使用 pip 进行安装, conda 安装容易失败 pip install ipykernel安装完成之后,键入以下命令 pyt…

处理器管理与进程管理

4.python练习 1.观察父进程、子进程 2.观察进程运行状态 3。输入多个作业的作业编号,到达时间,所需CPU时间,形成列表,以备算法使用。 转载于:https://www.cnblogs.com/hclhechunlu/p/10580946.html

小白 LeetCode 242 有效的字母异位词

字母异位词 字符串由相同字母组成,但允许排列顺序不同。 如“aaabbb” 与 “ababab” 是字母异位词, 而“aabb” 与 “ab” 不是字母异位词。 题目:给定两个字符串 s 和 t ,编写一个函数来判断 t 是否是 s 的字母异位词。 示例…

LSTM之父:吐槽了两年,来划划重点:“这5篇最高引论文都源于我们。”

来源:AI科技评论作者:陈彩娴编辑:青暮昨晚,“递归神经网络之父”Jrgen Schmidhuber 在推特上亲自发文,称目前引用数最高的5项神经网络工作都基于他的团队成果,一时引起了网友的广泛讨论。这并不是他首次发声…

初学者配置环境变量

1. 首先选择计算机右击,选择最后一个属性,进入属性面板 2. 点击“高级系统设置”,点击“环境变量” 3. 在“系统变量”的处配置所需要配置的环境变量,点击“新建”按钮 4. 配置java的环境变量 JAVA_HOME 、CLASSPATH 、 Path5. JA…

小白 LeetCode 5605 检查两个字符串数据是否相等

题目:给你两个字符串数组 word1 和 word2 。如果两个数组表示的字符串相同,返回 true ;否则,返回 false 。 数组表示的字符串 是由数组中的所有元素 按顺序 连接形成的字符串。 示例 1: 输入:word1 [&q…

Mac OS X下Maven的安装与配置

Mac OS X下Maven的安装与配置: 下载maven:https://maven.apache.org/download.cgi 打开Terminal,输入以下命令,设置Maven classpath,输入命令 vim ~/.bash_profile(编辑环境变量配置文件) MAVEN_HOME/…

演讲实录丨吴朝晖院士:从AI到CI——脑机智能的发展

来源:中国人工智能学会原创 :CAAI作者:吴朝晖院士吴朝晖中国科学院院士浙江大学校长IEEE/CAAI/CCF/CAA Fellow以下是吴朝晖院士的演讲实录:21世纪被称为“脑研究世纪”,伴随着脑科学和认知科学的兴起,特别是…

LeetCode 1480 一维数组的动态和

题目: 给你一个数组 nums 。数组「动态和」的计算公式为:runningSum[i] sum(nums[0]…nums[i]) 。 请返回 nums 的动态和。 示例 1: 输入:nums [1,2,3,4] 输出:[1,3,6,10] 解释:动态和计算过程为 [1,…

推荐系统简介

推荐系统简介 文章目录推荐系统简介1.推荐系统概述推荐系统目的我们推荐的目的:推荐系统的应用推荐系统的基本思想推荐系统的数据分析推荐系统分类2.推荐系统简介基于人口统计学的推荐基于内容的推荐基于协同过滤的推荐混合推荐3.推荐系统评测推荐系统的实验方法推荐…

清华大学孙茂松:透过喧嚣,坐看云起,NLP 的迷思与感悟

来源:智源社区图源:澎湃新闻2010年深层神经网络在语音识别研究方向上取得里程碑式进展,以这一事件为新起点和新动能,整个人工智能领域迅速跃迁到深度学习时代,包括自然语言处理(NLP)等关键领域也…

2022年科学突破奖,9人共获奖金1500万美元,mRNA 新冠疫苗2位奠基人获奖

来源:科研圈编辑:David9 月 9 日,2022 年科学突破奖获奖名单在美国旧金山公布。生命科学奖、物理学奖、数学奖分别授予 5 个项目共 9 位科学家,每个项目奖金金额为 300 万元。新冠 mRNA 疫苗技术奠基者 Katalin Karik 与 Drew Wei…

多巴胺如何驱使我们克服复杂情况、逆境、情绪, 让我们掌控周遭的环境的

来源:本文摘自《贪婪的多巴胺》仅仅是“想要”很少能让你得到任何东西。你必须弄清楚如何获得它,以及它是否值得拥有。事实上,如果我们做事时不考虑怎么做和下一步做什么,失败甚至不是最坏的结果。结果可能从吃得有点儿多发展为不…

火爆股市的元宇宙,究竟关VR/AR什么事?

来源:VR每日必看VR设备被普遍认为是进出元宇宙的主要终端,据Wind数据,VR概念的上市公司包括歌尔股份、中科创达、欣旺达等55家公司。大洋彼岸的“蝴蝶”扇动翅膀,A股的元宇宙概念也火热起来。A股代表性企业中青宝已经连续两日“20…

2018-2019-2 网络对抗技术 20165301 Exp2 后门原理与实践

2018-2019-2 网络对抗技术 20165301 Exp2 后门原理与实践 实验内容 (1)使用netcat获取主机操作Shell,cron启动(2)使用socat获取主机操作Shell, 任务计划启动(3)使用MSF meterpreter(或其他软件)生成可执行文件,利用ncat或socat传送…

世界机器人大会|人工智能VS人类

来源:新华社作者:北京邮电大学人工智能学院 刘伟配音:郑琬策划、终审:刘君校对:周雪晴2021世界机器人大会于9月10日至13日在北京召开,世界机器人博览会及世界机器人大赛将同期举办。其实,智能不…

LeetCode LCP 06. 拿硬币

题目:桌上有 n 堆力扣币,每堆的数量保存在数组 coins 中。我们每次可以选择任意一堆,拿走其中的一枚或者两枚,求拿完所有力扣币的最少次数。 示例 1: 输入:[4,2,1]输出:4解释:第一…

华为:憧憬6G,共同定义6G

来源:华为华为心声社区发布了由徐直军签发的总裁办电子邮件,邮件内容为徐直军为《6G无线通信新征程》一书作的序《憧憬6G,共同定义6G》。徐直军在文中表示,6G将在2030年左右投向市场,究竟市场将会迎来什么样的6G&#…

“中国诺奖”2021未来科学大奖公布:袁国勇、裴伟士、张杰、施敏获奖,总奖金300万美元...

来源:学术头条中国首个由科学家、企业家共同发起的民间公益组织颁发的世界级科学大奖——未来科学大奖,9 月 12 日正式揭晓 2021 年生命科学奖、物质科学奖、数学与计算机科学奖获奖名单。香港大学袁国勇、裴伟士获得生命科学奖。获奖理由:他…