单个神经元不可靠!这项新研究推翻以往认知,感知的最大限制在于解码过程...

640?wx_fmt=jpeg

来源:凹非寺

“单个神经元不可靠!

一项关于神经元的研究,让众人看嗨了。

这项研究通过在小鼠身上做实验,先展示了神经元“不靠谱”的一面:

单个神经元两次对相同视觉刺激的反应,竟然是不一样的。

640?wx_fmt=gif

对于神经元的“不靠谱”性,此前的解释一直集中在噪音这个点。

而这项研究却实实在在推翻了此前观点,作者通过实验证明了:即使有噪音,神经元还是有能力获取高精度的视觉编码

主导这项研究的小姐姐认为,小鼠感知能力的限制不由视觉皮层的神经噪音决定,而是受神经解码过程的限制。

在这项推特转发超过600,点赞超过2000的研究下,神经科学家和AI科学家一起兴奋,“Pretty Cool”“Awesome”“Great story”等赞美声此起彼伏。

虽然不是AI界日常讨论的人工神经网络,而是自然界中动物们身上存在的生物神经网络,两者并不完全一样,但动物们自身的特征,却往往是启发科学家们的关键。

高通深度学习研究工程师Jakub Tomczak想到,它和AI中的Dropout十分类似,像是近似贝叶斯平均。

640?wx_fmt=jpeg

Dropout,正是指的Geoffrey Hinton等人在2014年提出的防止人工神经网络过拟合的正则化技术,现在已经成为了谷歌手中的专利。

AI工程师@AIexLaurence表示,就像AI一样,单个神经元(或者节点)并不表示特定的概念,是由神经网络中特定的激活模式决定的。

640?wx_fmt=jpeg

AIexLaurence还认为,这项生物学研究可能会对神经网络权重的研究有启发。

还有人认为,在神经元自带不确定性的前提下,大脑依赖投票/阈值机制产生的反馈信号来判定输入的感知信息。另外,除了神经的原因之外,也可能是动物眼睛的微观结构决定。

640?wx_fmt=jpeg

能让搞生物的和搞计算机的有同样的high点,这具体是项怎样的研究?

“不靠谱”的神经元

事情,还要从神经元说起。

对,就是中学生物里构成神经网络的那个长长的细胞。

640?wx_fmt=jpeg

可能不少AI领域的同学还不知道,在神经科学领域,神经元和AI界的拥有不确定性的神经网络一样,都是不靠谱的存在。

神经元,就像一个脑洞清奇的少年,即使是同样的信息呈现在他面前,他每次都会给出不一样的反应。

究其原因,在于噪声频发,影响神经编码

神经编码,跟计算机的编码不是一回事。由于感觉信息与其它信息,都是由脑中的生物神经网络来承载与呈现的,所以人们认为,神经元有某种编码能力,处理你身体感知到的光线、声音、味道等信息。

也就是说,神经编码过程是试图建立从刺激到反应的映射,着眼于理解神经元如何对不同的刺激作出反应,建立模型来预测神经元对特定刺激的反应。

而与之对应的神经解码过程,研究的是相反方向的映射,也就是从已知的反应来推算外界刺激重建特征。

在这个过程中,是一个“多变”的过程,但总是被冠以“不靠谱”的评价。举个例子:

假如你问一个神经元这个直角屏幕的角度是多少,它一开始说是75度,五分钟后说是10度,每一次你再问的时候都是一个接近90度的随机数。

640?wx_fmt=jpeg

再举个例子,你在计算器上输入3+7,它每次都给出的是不同的答案……

640?wx_fmt=jpeg

是不是有种熟悉的感觉?

640?wx_fmt=jpeg

没错,什么人工不人工的智能都差不多。

640?wx_fmt=jpeg

可是,正经的计算设备不应该是这样的。

这就是让神经科学家很为难的地方,单个神经元得出的结论是不可靠的(灰色的点),需要多次测量来平均噪声(图中黑线)。

640?wx_fmt=jpeg

那么,一个神经元都这么不靠谱了,一群不靠谱的神经元竟然能把动物们的神经系统构建的这么精准,真是个奇迹。

那么,神经元们是怎么做到的呢?

这涉及到信噪比的问题。信号强度和叠加次数成正比,噪声强度和叠加次数的平方根成正比,因此叠加次数越多,信噪比越高。

有人猜测,也许在我们的大脑中,它的运算机制就是数百万个嘈杂神经元结论的平均值,通过这种方法来判断看到的是什么。

640?wx_fmt=jpeg

可以从几何的角度解释这个问题,当噪声与刺激驱动的相同神经子空间对齐时,噪声只能影响受到刺激部分的编码。至少,一些神经噪声与刺激子空间正交,所以不会有什么坏的影响。

但是,这些只是理论猜想,如果真的想靠实践算出噪声对神经编码的影响,这很难,毕竟只有少量信息限制的噪声也会对神经编码有很大影响。

所以,基于以上推测,我们就大致为这种“明明个体不靠谱,群体却很靠谱”的行为归纳出原因:

把每个神经元得出的结论“神奇组合”一下,得出的平均值,就是最终那个靠谱的结果。

现在,做个实验,解个码证明一下吧!

小鼠视力实验

此前有人做过对猴子的解码,证明拿一小撮神经元做实验和用上所有神经元差不多。

在这个背景下,我们的主角出场了。

一位神经科学家小姐姐Carsen Stringer用小鼠做实验,探究小鼠的感知与单个神经元的关系。

在这次实验里,小姐姐和她的团队没有对猴子下手,而是换了一种动物,盯上了小鼠。

研究人员的目标是,通过记录小鼠20000个神经元的数量,测量视觉刺激定向解码误差的下限。

这项实验的大前提是:如果限制信息噪声的确有影响,解码错误必须渐近于某个非零值。

具体的给小鼠设定的挑战是:

让小鼠看角度。

基于我们前面已知的“不靠谱”这个特性,可以预知,给予小鼠相同的视觉刺激,神经元的每次反应完全不同。

研究人员用显微镜同时记录了约20000个神经元的活动。这是一个部分的随机颜色:

640?wx_fmt=jpeg

然后,使用线性回归找到每个神经元的权重,将它们的活动组合成“超级神经元”,对它们的判断进行平均。

640?wx_fmt=jpeg

这些超级神经元比单个神经元的噪声要小很多。其实,在95%的实验中,超级神经元能够分辨45度和46度之间的微小差异。

640?wx_fmt=jpeg

一度之差,人类都判断不出来吧。想象一下,让一只老鼠分辨出这么微小的差异……另一位研究人员@BenucciLa真的尝试了,老鼠只能分辨出超过29度的差异,比神经元差100倍。

640?wx_fmt=gif

最终,虽然研究人员们把解码的误差做到很低了,但是并没有出现期待中渐近的状况。

也就是说,视觉皮层对老鼠的视觉特征进行了高精确度的编码,但老鼠依然在辨别方向任务中完成得很差。

锅在解码过程

于是,研究人员得出结论,老鼠能接受到的信息,比人类大脑能接受的差1000倍。

虽然老鼠不能将这些信息传递给人类,但他们也是可以利用这些信息的。比如,这些信息可以作为一种计算的第一步。

这也进一步说明,神经信号和行为之间的差异不能用刺激的类型来解释,无论是通过行为状态还是反复试验感知直觉测试。

因此,小姐姐得出结论,小鼠感官知觉的局限性不是由感觉皮层的神经噪声决定的,而是由神经元下游的解码过程限制。

作者简介

640?wx_fmt=jpeg

这项研究的一作Carsen Stringer小姐姐,是伦敦大学学院(UCL)计算神经学博士、美国Janelia研究院的神经网络科学家。

神经元、视觉皮层和小鼠是小姐姐的日常,此外,她还发过各种Nature、Science等顶级期刊。

传送门

论文:High precision coding in mouse visual cortex

地址:https://www.biorxiv.org/content/10.1101/679324v1

代码:
https://github.com/MouseLand/stringer-et-al-2019

— 完 —

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。


  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”


640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/491287.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(转)MVC3 类型“System.Web.Mvc.ModelClientValidationRule”同时存在

问题描述:在用vs生成MVC时若使用Internet应用程序为模版,项目建好后重新编译下无法通过,弹出错误: 解决方案:问题出来后,询问了身边很多人都是一头雾水,于是乎各种谷歌和百度,还好功…

QT学习笔记(四):Qt5+MSVC编译 中文字符显示乱码问题解决

QT学习笔记(四):Qt5MSVC编译 中文字符显示乱码问题解决问题:1、解决方法一:2、解决方法二:3、解决方法三:4、解决方法四:结果显示:Qt5MSVC编译 中文字符显示乱码。 现在为…

github单独下载某个文件或文件夹

首先下载tortoiseSVN,安装好之后打开github项目的地址,例如https://github.com/rbgirshick/fast-rcnn 单独下载某个文件夹: 如果只需要下载tools这个文件夹, 点进这个文件夹,复制该页面的网址得到https://github.com/…

技术架构大迁徙时代来临,10个关键点读懂数字化转型

来源:THINKTANK新智囊2月,在旧金山举办的IBM Think 2019大会上,IBM CEO、总裁及董事长Ginni Rometty提出当前正在进入数字化重塑2.0阶段(Digital Reinvention, Chapter II):数字化重塑的第二篇章&#xff0…

QT学习笔记(五):Qt5的8种标准对话框示例

QT学习笔记(五):Qt5的8种标准对话框示例前言实例展示1.颜色对话框2.文件对话框3.字体对话框4.输入对话框5.消息对框6.进度对话框7.错误信息对话框8.向导对话框.前言 QT 提供了常用的对话框类型,他们全部继承自QDialog类&#xff…

桌面SVN检出这一选项消失

进入‪C:\Users\“你的计算机名”\Desktop桌面 这个文件夹,找到隐藏文件夹“.svn”,删除这个隐藏文件夹就OK了

在连续发布版本的情况下 如何做好测试?

在连续发布版本的情况下 如何做好测试?1、跟项目经理协商,确定每一个版本的测试重点。比如,只进行基本功能验证,或者是冒烟测试,挑选重要的功能的测试用例,每次只执行这些。比如,只进行主要流程…

张亚勤、刘慈欣、周鸿祎、王飞跃新书推荐,《崛起的超级智能:互联网大脑如何影响科技未来》...

《崛起的超级智能:互联网大脑如何影响科技未来》2019年7月由中信出版社出版,前沿科技趋势研究专家,计算机博士刘锋著。张亚勤、刘慈欣、周鸿祎、王飞跃、约翰翰兹推荐!吕乃基、石勇、吕本富做序。《崛起的超级智能:互联…

QT学习笔记(六):Qt5主窗口框架示例

QT学习笔记&#xff08;五&#xff09;&#xff1a;Qt5主窗口框架代码示例 一、添加编辑菜单&#xff1a;并在下拉菜单和工具栏中添加“打开文件”动作菜单 #include <QToolButton> #include <QSpinBox> #include <QTextEdit> #include <QMdiSubWindow&…

Pytorch 为什么每一轮batch需要设置optimizer.zero_grad

根据pytorch中的backward()函数的计算&#xff0c;当网络参量进行反馈时&#xff0c;梯度是被积累的而不是被替换掉&#xff1b;但是在每一个batch时毫无疑问并不需要将两个batch的梯度混合起来累积&#xff0c;因此这里就需要每个batch设置一遍zero_grad 了。 其实这里还可以…

ARM与RISC-V之争,后起之秀的优势在哪儿?

来源&#xff1a;朗锐智科从2010年夏天开始&#xff0c;伯克利研究团队大约花了四年的时间&#xff0c;设计和开发了一套完整的新的指令集。这个新的指令集叫做RISC-V&#xff0c;指令集从2014年正式发布之初就受到多方质疑&#xff0c;到2017年印度政府表示将大力资助基于RISC…

QT学习笔记(六):QString::arg()函数用法小结

QT学习笔记&#xff08;五&#xff09;&#xff1a;Qt5的QString的arg用法 在QT的QString中&#xff0c;arg方法类似于C中的printf中使用的格式输出符&#xff08;只是有点类似&#xff09;。 在QT5的帮助文档中&#xff0c;可以看出以下几点&#xff1a; 使用arg(str1, str2,…

RuntimeError: DataLoader worker (pid(s) 13512, 280, 21040) exited unexpectedly

pytorch出现这个错误&#xff0c;是因为正在运行的主程序缺少 if __name__ __main__: 在运行的主程序代码之前加上这一句

第三周总结

在第三周的学习中&#xff0c;我们主要学习了循环语句&#xff08;while&#xff0c;do/while,for循环&#xff09;&#xff0c;数组&#xff0c;方法。而重点就在for循环和方法。而对于for循环我要做的就是多练&#xff0c;深入了。但对于方法这一块&#xff0c;我连有时候该怎…

道阻且长,Libra 项目负责人长文回应一切质疑

来源&#xff1a;星球日报当地时间 7 月 3 日&#xff0c;Facebook Libra 项目负责人 David Marcus 于个人 Facebook 发布长文《Libra, 2 weeks in》&#xff0c;就过去两周 Libra 所遇到的一些质疑及误解进行解释。以下为全文内容&#xff1a;自 Libra 正式公开已经两周了&…

QT学习笔记(七):定时器事件的3种常用使用方式

QT学习笔记&#xff08;七&#xff09;&#xff1a;定时器事件的2种常用使用方式 Qt中定时器的使用有2种方法&#xff1a;一种是使用QObject类提供的定时器通过重载 timerEvent 事件处理过程函数&#xff0c;一种就是使用QTimer类。 其中QTimer 类来实现定时器使用的更多&…

pytorch保存模型时报错***object has no attribute 'state_dict'

定义了一个类BaseNet并实例化该类&#xff1a; netBaseNet() 保存net时报错object has no attribute state_dict torch.save(net.state_dict(), models_dir) 原因是定义类的时候不是继承nn.Module类&#xff0c;比如&#xff1a; class BaseNet(object):def __init__(self…

LightOJ - 1140 How Many Zeroes?

Description Jimmy writes down the decimal representations of all natural numbers between and including m and n, (m ≤ n). How many zeroes will he write down? Input Input starts with an integer T (≤ 11000), denoting the number of test cases.Each case cont…

​机器学习算法优缺点对比及选择(汇总篇)

转自&#xff1a;机器学习与统计学本文的目的&#xff0c;是务实、简洁地盘点一番当前机器学习算法。文中内容结合了个人在查阅资料过程中收集到的前人总结&#xff0c;同时添加了部分自身总结&#xff0c;在这里&#xff0c;依据实际使用中的经验&#xff0c;将对此模型优缺点…