对人工神经网络“开刀”,利用神经科学消融法检测人工神经网络

640?wx_fmt=jpeg

来源:DeepTech深科技

摘要:当谈及人工神经网络,黑箱问题总会引起热议,人们对黑箱问题的评价褒贬不一。


有人认为黑盒是神经网络的优势,这代表神经网络的自主学习性,代表其自动学习以及自动完善的特性。但大部分人认为,黑箱问题需要被解决,当我们将神经网络应用到一些对安全性,稳定性要求很高的行业,如医疗,我们就必须进行精准控制,出现错误或问题时,我们要对内部结构进行分析改正,这时黑箱问题就希望得到解决。


640?wx_fmt=jpeg

图|Lillian, Meyes & Meisen


来自 RWTH Aachen(亚琛工业大学)机械工程学院下信息管理研究所的研究人员们在解决黑箱问题上提出了自己的见解,他们探索了神经科学技术的相关应用,以确定人工神经网络中信息是如何结构化的。

 

在他们发表在 arXiv 上的论文中,研究者在人工神经网络中使用了名为“消融”(ablation)的技术,原本是应用于神经科学的一种技术,即在神经网络中切除大脑的某些神经元来确定它们的功能。。

 

“我们的想法源自于神经科学领域的研究,该领域的主要目标是理解我们的大脑是如何工作的。”Richard Meyes 和 Tobias Meisen 两位研究者说道。“许多关于大脑功能的见解看法都是通过消融研究获得的,本质上来说,消融即选择性地切除或破坏大脑特定区域的组织,以可控的方式进行消融,检测大脑该部分对诸如言语生成、运动等日常工作的影响。”


在此之前,消融已经被应用在一些人工神经网络的研究中,但这些研究主要关注于调整神经网络层和改变其结构,因此更像是参数搜索而不是生物学的消融法。

 

Mayes Meisen 以及他们的同事 Peter Lillian 进行这项实验的目的是想从生物学的角度检验人工神经网络,评估它们的结构以及不同组成部分的不同功能。最后,他们决定用消融来做这个测试,这种技术在神经科学研究中使用了 200 多年。

 

在 Mayes Meisen 和他同事的研究中,研究人员希望以破坏神经网络的特定区域的方法,观察该区域如何影响性能。最终,通过这些观测结果对人工神经网络和生物神经网络的组织形式进行比较。


“在人工神经网络上应用消融的方法十分简单的,”Meyes 和 Meisen 解释道。“首先,我们训练神经网络来完成特定的任务,比如说识别手写数字。第二步,我们切除网络的某一部分,然后评估由这种破坏导致的性能变化。第三步,我们确定网络性能的改变和被破坏的位置之间是否有联系。通过这种方法,我们发现网络的某些特定能力,比如控制机器人执行前进动作,是通过局部网络控制的。”


640?wx_fmt=png

图| 当每个部分被切除后,切除该部分后的输出结果会被保存下来。(图片来源:论文)


通过对训练用于在线圈中导航的人工神经网络进行消融操作,并检查这种干预措施对输出产生的影响,研究者获得了一系列有趣的发现——结果显示人工神经网络和生物的神经网络之间的确存在联系和相似之处。这些相似之处与网络如何自我安排和存储信息有关。

 

 Meyes 和 Meisen 说道:“最令我们感兴趣的发现是,一般来说被损坏的神经网络性能会下降,但网络的某些特定能力,比如识别数字,其中部分被损坏反而会增强识别能力。我们的研究表明,我们可以通过消融正确区域用以增加一个神经网络的性能。此外,研究还表明,神经科学研究得方法在人工神经网络研究上的应用,或许可以为理解人工智能开辟新的视角。”

 

尽管 Meyes, Meisen 和 Lillian 得到了喜人的结果,但他们的研究也存在一定的局限性。比如说,他们的研究受限于使用强化学习,依赖于实时的机器人训练模型,这仅仅只是检验生物神经网络和人工神经网络的第一步。


未来的研究工作或许可以更详细、更大规模地研究人工神经网络与大脑神经网络之间的联系。


“我们计划继续探索通过利用神经科学来启发人工神经网络研究的研究方向,”Meyes 和 Meisen 说道。“我们接下来的计划是将人工神经网络中的活动可视化,就像大脑的活动可以用例如 fMRI 的成像方法可视化一样。目标是使神经网络的决策过程更加透明,从而获得对人工神经网络进行更全面的了解。”

 

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。


  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”


640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/492897.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

wp8数据存储--独立存储文件 【转】

出自 : http://www.cnblogs.com/MyBeN/p/3339019.html 文章篇幅有点大,建议去源网看看 1.调用手机的独立存储 例如:IsolatedStorageFile storage IsolatedStorageFile.GetUserStoreForApplication() 2.创建独立存储文件流 例如:I…

从车联网到工业智联网

来源:智车科技摘要:本文从工业互联网的典型应用—车联网谈起,从工业网联技术发展过程的视角分析了工业智联网的构架、关键技术和前沿趋势,对智联网视域下的未来智联交通作出了展望。随着智能技术的发展,从工业互联网发…

图像拼接1 特征提取

图像特征提取在图像拼接中占据至关重要的地位,旨在从图像中提取显著特征并用数学语言加以描述。 图像特征包括:特征点、边缘、轮廓、闭合区域以及统计特征等。 一般来说,特征点是指图像中具有某些特性的结构特征,特征点既可以是…

清华发布《AI芯片技术白皮书》:新计算范式,挑战冯诺依曼、CMOS瓶颈

来源:机器人 悦智网摘要:在由北京未来芯片技术高精尖创新中心和清华大学微电子学研究所联合主办的第三届未来芯片论坛上,清华大学正式发布了《人工智能芯片技术白皮书(2018)》。《白皮书》首次整合了国际化的学术和产业资源,紧扣学…

hdu 3944 DP? (Lucas 定理)

仔细观察杨辉三角后可以发现从最高点到第n行第k个数的最短路为c(n1,k); 根据Lucas定理可以求出,一般来说要求答案模去一个质数p且p的范围不大于10^5则可用Lucas. Lucas(n,m,p)cm(n%p,m%p)* Lucas(n/p,m/p,p)Lucas(x,0,p)1;另外注意当k>n/2时,必须令kn…

常用的编码

ASCII码是标准化字符集,使用7个二进制位编码,可以表示128个字符,通常ASCII表示的是英文字母的二进制编码, 例如大写字母A的二进制编码为65,python代码如下: >>> ord(A) 65 >>> chr(65) …

这是一份 AI 界最强年终总结

来源:AI 科技评论圣诞节元旦假期过后,谷歌资深 Fellow、谷歌 AI 负责人 Jeff Dean 代表所有谷歌的研究部门发出了他们的 2018 年度科研研究年终总结。这一年,谷歌的科研人员们在人工智能、量子计算、计算图形学、算法理论、软件系统、TPU、开…

选择、插入、冒泡排序

选择、插入、冒泡三种算是最典型的排序算法了,空间复杂度都为O(1) 选择排序时间复杂度跟初始数据顺序无关,O(n2),而且还不稳定; 插入排序时间复杂度跟初始数据顺序有关最好O(n),最坏O(n2),稳定 冒泡排序时间复杂度跟初始数据顺序有…

89页PPT揭秘:人工智能产业爆发的拐点

来源:wpr摘要:如今,人工智能正在以前所未有的速度发展。目前,全球顶尖的IT和互联网公司都加大了对人工智能领域的投入,包括Google、Facebook、微软投入巨大,人工智能进入爆发式增长的拐点。这份关于人工智能…

Linux下如何进行FTP设置

1. 先用rpm -qa| grep vsftpd命令检查是否已经安装,如果ftp没有安装,使用yum -y install vsftpd 安装,(ubuntu 下使用apt-get install vsftpd) 2. service vsftpd start 启动要让FTP每次开机自动启动,运行命令: chkconfig --level 35 vsft…

Python文件拷贝函数

test.txt文件内容如下: one two three four five 代码的功能为把test.txt内容拷贝到copy.txt文件中代码如下: def main():infile open("test.txt", "r")outfile open("copy.txt", "w")countLines countChars…

source insight常用命令--实际使用中比较常用的

以下命令指示个人在实际的使用中比较常用到的相关命令,仅供参考,谢谢合作 ctrlf:搜索关键字 F3:在当前打开的文本中,向上搜索关键字 F4:在当前打开的文本中,向下搜索关键字 ctrlo:快…

医疗健康大数据:应用实例与系统分析

来源:网络大数据1 、概述随着信息技术和物联网技术的发展、个人电脑和智能手机的普及以及社交网络的兴起,人类活动产生的数据正以惊人的速度增长。根据国际数据公司(International DataCorporation,IDC)的报告,仅2011年&#xff0…

RANSAC算法的简单理解

图像拼接中看到了特征匹配的部分,特征匹配主要是特征点的匹配。在特征点匹配的时候,首先进行粗匹配,粗匹配通常是进行一对匹配点进行对比,误差越小越可能是一对匹配点;精匹配方法中,我们可以用到RANSAC(Ran…

IEEE论文:城市大脑,基于互联网大脑模型的智慧城市建设

作者:刘锋 互联网进化论作者 计算机博士前言:基于互联网大脑模型与智慧城市建设的结合,2015年2月在csdn第一次发布文章《基于互联网大脑架构的智慧城市建设探讨》提出了城市大脑的建设方向,地址:https://blog.csdn.net…

vb6 枚举对象属性

Option Explicit引用Library TLIC:\WINDOWS\system32\TLBINF32.DLLTypeLib InformationPrivate Sub Form_Load()Dim oTLB As InterfaceInfo, I As LongSet oTLB TLI.InterfaceInfoFromObject(Me)Debug.Print oTLB.NameFor I 1 To oTLB.Members.CountSelect Case oTLB.Members…

Python利用turtle绘制五角星

绘制用到的参数我们存放在data.txt文件中,data.txt文件内容如下: 300,0,144,1,0,0 300,0,144,0,1,0 300,0,144,0,0,1 300,0,144,1,1,0 300,0,108,0,1,1 184,0,72,1,0,1 184,0,72,0,0,0 184,0,72,0,0,0 184,0,72,0,0,0Python代码如下: # data.…

关于c#静态构造函数

http://baike.baidu.com/view/2634573.htm?fraladdin 在百科上看到C#的新特性静态构造函数,其中提到静态构造函数“不能继承” 今天做了个试验,发现实际上静态构造函数是可以继承的,代码如下: using System; using System.Collec…

Python语言数据类型-----数字和字符串

Python语言的数字类型 整数类型 浮点数类型 复数类型 整数类型与数学中的整数类型概念一致,没有取值范围。 十进制数为 1010,99,-217 十六进制为 0x9a, -0x89 (0x,0X开头表示16进制数) 二进制为 0b010, -0B101(0b,0B开头的表示二进制数) 八进制为 0o123, -0O456(…

深度观察|工业物联网的应用场景和市场潜力

来源:readwrite编译:郭仁贤从人力资源到数字技术,物联网(IoT)改变了我们与周围世界互动的方式。在每一次的挑战和新的风险中,我们生活中最个人化的领域也迎来了新的机遇。物联网数字产业真正颠覆的是农业、…