人工神经网络能否驾驭生物神经元的“浓稠”程度?5到8层可能并非极限

来源:图灵人工智能

编译:李扬霞

编辑:青暮

计算神经科学家通过训练人工神经网络来模仿生物神经元,提供了一种探讨单个脑细胞复杂性的新方法。

虽然我们糊状的大脑似乎与计算机处理器中的芯片大相径庭,但科学家对两者的比较已经有很长的历史。正如阿兰·图灵在1952年所说:“我们对大脑像冷粥一样的稠度不感兴趣。”也就是说,媒介并不重要,重要的是计算能力。

如今,最强大的人工智能系统使用基于深度学习的机器学习方法,该算法通过调整大量的数据隐藏层相互连接的节点来拟合数据,这些节点形成的网络被称为深度神经网络。顾名思义,深度神经网络的灵感来自于大脑中真实的神经网络,这些深度神经网络的节点以真实的神经元为模型。根据20世纪50年代神经科学家对神经元的了解,当时一种有影响力的神经元模型被称为感知器,从那时起,我们对单个神经元计算复杂性的理解逐渐加深,人们了解到生物神经元比人工神经元更复杂,但是复杂的程度是多少?不得而知。

1

一个生物神经元可以和5到8层人工神经网络相匹敌

为了找到答案,耶路撒冷希伯来大学的David Beniaguev, Idan SegevMichael London训练了一个人工深度神经网络来模拟生物神经元的计算。该研究表明,“一个深度神经网络需要5到8层相互连接的人工神经元来才能表示单个生物神经元的复杂性。”

“我原以为它会更简单,更小”Beniaguev如是说。Beniaguev也没有预料到这种复杂性,他原来预计三到四层就足以捕获单元内执行的计算。

在谷歌旗下的 AI 公司 DeepMind 设计决策算法的 Timothy Lillicrap 表示:“新结果表明,可能有必要重新思考,以前将大脑中的神经元与机器学习背景下的神经元进行不精确的比较的旧传统 ”,他认为“这篇论文确实有助于人们更仔细地思考这个问题,并搞清楚我们可以在多大程度上进行类比。”

最基本的相似之处,在于它们处理输入的信息的方式。这两种神经元都接收输入的信号,并根据这些信息决定是否将自己的信号发送给其他神经元。人造神经元是依靠简单的计算来做出决定,但数十年的研究表明,生物神经元的这个过程相对来说更加复杂。

计算神经科学家使用输入-输出函数,模拟生物神经元的长树枝(树突)接收到的输入的信息与神经元决定发送信号之间的关系。

这项新研究的作者使用一个人工深度神经网络模仿这个函数,以确定关系的复杂程度。他们首先对老鼠的大脑皮层中的神经元的输入输出功能进行了大规模模拟,这种神经元的顶部和底部都有不同的树突分支,被称为锥体神经元。然后,他们将模拟结果输入到一个深度神经网络中,该神经网络每层最多有256个人工神经元,他们不断增加层数,直到在模拟神经元的输入和输出之间达到毫秒级99%的准确率。

最后,深度神经网络成功地预测了大脑神经元的输入-输出函数的行为,结果表明:深度神经网络至少有5层相互连接的人工“神经元”,但不超过8层。在大多数网络中,一个生物神经元就相当于大约 1000 个人工神经元。

神经科学家们现在知道,单个神经元的计算复杂性,比如左边的锥体神经元,依赖于树突状的分支,这些分支会受到传入信号的轰击。在神经元决定是否发送自己的信号“尖峰”之前,会导致局部电压的变化,以神经元的颜色变化来表示,红色表示高电压,蓝色表示低电压。这个“尖峰”出现了三次,如图中右侧的各分支的轨迹所示,这里的颜色代表了树突从上(红色)到下(蓝色)的位置。

——David Beniaguev

贝勒医学院(Baylor College of Medicine)的计算神经科学家安德烈亚斯·托利亚斯(Andreas Tolias)说:“(这个结果)为生物神经元和人工神经元之间搭起了桥梁。”

这一研究的其中一个作者London对人们提出了警告,他认为,“人工神经网络中有多少层和网络的复杂性之间的关系并不明显,不是直接的对应。”因此,我们不能确切地说,从四层增加到五层会增加多少复杂性。我们也不能说 1000 个人工神经元就意味着生物神经元的复杂度恰好是人工神经元的 1000 倍。说不定,我们可以在每一层中使用成倍的人工神经元,最后能形成只有一层的深度神经网络来拟合一个生物神经元。当然,算法学习可能因此需要更多的数据和学习时间。

London表示:“我们尝试了多种不同深度和不同单元的架构,但大多都失败了。”

该研究的作者们分享了他们的代码,以鼓励其他人找到一个层次更少的解决方案。但是结果表明,找到一个能以99%的准确率模拟生物神经元的深层神经网络是很难的。因此,这些作者们相信,他们得出的结果确实为进一步的研究提供了有意义的比较。

Lillicrap认为,这一研究结果对于将图像分类网络与大脑联系起来,或许可以提供一种新方法。图像分类网络通常需要 50 层以上,如果每个生物神经元都近似于一个五层人工神经网络,那么一个有50层的图像分类网络就相当于一个生物网络中的10个真实神经元。

这一研究的作者还希望他们得出的研究结果能够被用于改进 AI 领域目前最先进的深度网络架构。

Segev指出,“我们建议,可以尝试用一个代表生物神经元的单元来替代深度神经网络中的简单单元,使其更接近大脑的工作方式。”在这种替代方案中,人工智能研究人员和工程师可以插入一个五层深度网络作为“迷你网络”,取代每一个人工神经元。

2

有质疑也有肯定

但有些人怀疑这一研究是否真的对人工智能有益。

冷泉港实验室(Cold Spring Harbor Laboratory)的神经学家安东尼·扎多尔(Anthony Zador)说,“我认为,在这种对比中是否存在实际的计算优势,还是一个悬而未决的问题。”“但是该研究为检验这一点奠定了基础。”

除了人工智能的应用之外,这篇新的论文也加深了人们对树突树和单个生物神经元强大计算能力的共识。早在2003年,三位神经科学家就表明,金字塔神经元的树突树可以通过将其建模为两层人工神经网络来进行复杂的模拟计算。在这篇新论文中,作者研究了金字塔神经元的哪些特征(结构)激发了5到8层深度神经网络的更大复杂性。他们得出的结论是:秘密来自于树突,以及树突表面接收化学信使的一种特定受体——这一发现与该领域之前的研究结果一致。

一些人认为,这一结果意味着神经科学家应该把对单个生物神经元的研究放在更重要的位置。

宾夕法尼亚大学(University of Pennsylvania)的计算神经学家康拉德·科尔丁(Konrad Kording)说:“这篇论文使得我们对树突和单个神经元的思考变得比以前重要得多。”

还有Lillicrap和Zador,他们认为关注一个回路中的神经元,对于学习大脑如何使用单个神经元的计算复杂性同样重要。

无论如何,人工神经网络的研究可能会提供对生物神经元以及大脑奥秘的新见解。

伦敦大学学院(University College London)的计算神经科学家格蕾丝·林赛(Grace Lindsay)说:“从层次、深度和宽度的角度思考,这项工作让我们对计算的复杂性有了直观的认识。”

然而, Lindsay 也警告说,这项新研究仍然只是在对模型进行比较。不幸的是,目前神经科学家不可能记录真实神经元的完整输入-输出功能,所以可能有更多生物神经元模型没有捕捉到的东西。换句话说,真正的神经元可能更加复杂。

London说:“我们不确定,5到8层是否真的是最终的极限。”

原文链接:

https://www.quantamagazine.org/how-computationally-complex-is-a-single-neuron-20210902/

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483865.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

leaf 叶子(张量)

在pytorch的tensor类中,有个is_leaf的属性,姑且把它作为叶子节点. is_leaf 为False的时候,则不是叶子节点, is_leaf为True的时候为叶子节点(或者叶张量) 所以问题来了: leaf的作用是什么?为什么要加 leaf? 我们都知道tensor中的 requires_grad()属性,当requires_…

线性表——链表删除

王道链表题1-4 #include <iostream> #include <bits/stdc.h> using namespace std;typedef int Elemtype; //定义单链表 typedef struct Lnode{Elemtype data;struct Lnode *next; }Lnode,*Linklist; int a[4]{1,2,3,4}; int n4;//建立不带头节点的链表 void buil…

10个绕过反病毒的恶意用户技巧

原文&#xff1a;https://blog.netspi.com/10-evil-user-tricks-for-bypassing-anti-virus/ 介绍 译者注&#xff1a;很多不通顺的语句改掉了&#xff0c;还有反病毒解决方案统一翻译为了反病毒软件。无关紧要的话直接意思翻译 许多反病毒软件的部署配置方法较弱&#xff0c;为…

困扰爱因斯坦的「幽灵般的超距作用」,是如何被贝尔定理证明确实存在的?...

文章来源&#xff1a;机器之心作者&#xff1a;Ben Brubaker原文链接&#xff1a;https://www.quantamagazine.org/how-bells-theorem-proved-spooky-action-at-a-distance-is-real-20210720/我们理所当然地认为&#xff0c;世界上某个地方发生的一件事不会立即对远方的事物产生…

Jupyter notebook 导入和卸载 conda 虚拟环境

一、导入 进入Anaconda Prompt&#xff0c;激活要使用的虚拟环境。 conda activate xxx # 你要使用的虚拟环境名称安装 ipykernel 插件&#xff0c; 建议使用 pip 进行安装&#xff0c; conda 安装容易失败 pip install ipykernel安装完成之后&#xff0c;键入以下命令 pyt…

处理器管理与进程管理

4.python练习 1.观察父进程、子进程 2.观察进程运行状态 3。输入多个作业的作业编号&#xff0c;到达时间&#xff0c;所需CPU时间&#xff0c;形成列表&#xff0c;以备算法使用。 转载于:https://www.cnblogs.com/hclhechunlu/p/10580946.html

小白 LeetCode 242 有效的字母异位词

字母异位词 字符串由相同字母组成&#xff0c;但允许排列顺序不同。 如“aaabbb” 与 “ababab” 是字母异位词&#xff0c; 而“aabb” 与 “ab” 不是字母异位词。 题目&#xff1a;给定两个字符串 s 和 t &#xff0c;编写一个函数来判断 t 是否是 s 的字母异位词。 示例…

LSTM之父:吐槽了两年,来划划重点:“这5篇最高引论文都源于我们。”

来源&#xff1a;AI科技评论作者&#xff1a;陈彩娴编辑&#xff1a;青暮昨晚&#xff0c;“递归神经网络之父”Jrgen Schmidhuber 在推特上亲自发文&#xff0c;称目前引用数最高的5项神经网络工作都基于他的团队成果&#xff0c;一时引起了网友的广泛讨论。这并不是他首次发声…

初学者配置环境变量

1. 首先选择计算机右击&#xff0c;选择最后一个属性&#xff0c;进入属性面板 2. 点击“高级系统设置”&#xff0c;点击“环境变量” 3. 在“系统变量”的处配置所需要配置的环境变量&#xff0c;点击“新建”按钮 4. 配置java的环境变量 JAVA_HOME 、CLASSPATH 、 Path5. JA…

小白 LeetCode 5605 检查两个字符串数据是否相等

题目&#xff1a;给你两个字符串数组 word1 和 word2 。如果两个数组表示的字符串相同&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 数组表示的字符串 是由数组中的所有元素 按顺序 连接形成的字符串。 示例 1&#xff1a; 输入&#xff1a;word1 [&q…

Mac OS X下Maven的安装与配置

Mac OS X下Maven的安装与配置&#xff1a; 下载maven&#xff1a;https://maven.apache.org/download.cgi 打开Terminal,输入以下命令&#xff0c;设置Maven classpath&#xff0c;输入命令 vim ~/.bash_profile&#xff08;编辑环境变量配置文件&#xff09; MAVEN_HOME/…

演讲实录丨吴朝晖院士:从AI到CI——脑机智能的发展

来源&#xff1a;中国人工智能学会原创 &#xff1a;CAAI作者&#xff1a;吴朝晖院士吴朝晖中国科学院院士浙江大学校长IEEE/CAAI/CCF/CAA Fellow以下是吴朝晖院士的演讲实录&#xff1a;21世纪被称为“脑研究世纪”&#xff0c;伴随着脑科学和认知科学的兴起&#xff0c;特别是…

2019.3.23 捕获异常

PHP中try{}catch{}语句概述 1.PHP5添加了类似于其它语言的异常处理模块。在 PHP 代码中所产生的异常可被 throw语句抛出并被 catch 语句捕获。&#xff08;注&#xff1a;一定要先抛才能获取&#xff09; 2.需要进行异常处理的代码都必须放入 try 代码块内&#xff0c;以便捕获…

LeetCode 1480 一维数组的动态和

题目&#xff1a; 给你一个数组 nums 。数组「动态和」的计算公式为&#xff1a;runningSum[i] sum(nums[0]…nums[i]) 。 请返回 nums 的动态和。 示例 1&#xff1a; 输入&#xff1a;nums [1,2,3,4] 输出&#xff1a;[1,3,6,10] 解释&#xff1a;动态和计算过程为 [1,…

推荐系统简介

推荐系统简介 文章目录推荐系统简介1.推荐系统概述推荐系统目的我们推荐的目的&#xff1a;推荐系统的应用推荐系统的基本思想推荐系统的数据分析推荐系统分类2.推荐系统简介基于人口统计学的推荐基于内容的推荐基于协同过滤的推荐混合推荐3.推荐系统评测推荐系统的实验方法推荐…

清华大学孙茂松:透过喧嚣,坐看云起,NLP 的迷思与感悟

来源&#xff1a;智源社区图源&#xff1a;澎湃新闻2010年深层神经网络在语音识别研究方向上取得里程碑式进展&#xff0c;以这一事件为新起点和新动能&#xff0c;整个人工智能领域迅速跃迁到深度学习时代&#xff0c;包括自然语言处理&#xff08;NLP&#xff09;等关键领域也…

华为OD机试 - 贪吃的猴子(Java JS Python C)

在线OJ刷题 题目详情 - 贪吃的猴子 - Hydro 题目描述 一只贪吃的猴子,来到一个果园,发现许多串香蕉排成一行,每串香蕉上有若干根香蕉。每串香蕉的根数由数组numbers给出。 猴子获取香蕉,每次都只能从行的开头或者末尾获取,并且只能获取N次,求猴子最多能获取多少根香蕉…

软工大二下半年第四周学习进度

这一周&#xff0c;并没有什么收获&#xff0c;不过令我感到兴奋地是&#xff0c;HTML竟然可以做小游戏&#xff0c;我去网上搜简单小游戏的源代码&#xff0c;坦克大战&#xff0c;俄罗斯方块&#xff0c;五子棋童年的回忆&#xff0c;没想到自己可以做出来。还有一些程序员表…

2022年科学突破奖,9人共获奖金1500万美元,mRNA 新冠疫苗2位奠基人获奖

来源&#xff1a;科研圈编辑&#xff1a;David9 月 9 日&#xff0c;2022 年科学突破奖获奖名单在美国旧金山公布。生命科学奖、物理学奖、数学奖分别授予 5 个项目共 9 位科学家&#xff0c;每个项目奖金金额为 300 万元。新冠 mRNA 疫苗技术奠基者 Katalin Karik 与 Drew Wei…

Linux C语言 文件操作

打开函数 fopen 的原型如下。 FILE * fopen(char *filename, char *mode); 返回值&#xff1a;打开成功&#xff0c;返回该文件对应的 FILE 类型的指针&#xff1b;打开失败&#xff0c;返回 NULL。 表 2模式含 义说 明r只读文件必须存在&#xff0c;否则打开失败w只写若文件存…