神经网络的可解释性综述

报道:人工智能前沿讲习  

作者:知乎—机器学习小谈

地址:https://zhuanlan.zhihu.com/p/368755357

本文以 A Survey on Neural Network Interpretability 读后感为主,加上自身的补充,浅谈神经网络的可解释性。

论文:https://arxiv.org/abs/2012.14261

本文按照以下的章节进行组织:

  1. 人工智能可解释性的背景意义

  2. 神经网络可解释性的分类

  3. 总结

01

人工智能可解释性的背景意义

1.1 什么是可解释性

Interpretability (of a DNN) is the ability to provide explanations in understandable terms to a human. F Doshi-Velez & B Kim, 2017

  • 解释(Explanations),是指需要用某种语言来描述和注解

理想情况下,严谨的数学符号-逻辑规则是最好的解释(D Pedreschi et al., 2019)。实际上人们往往不强求“完整的解释”,只需要关键信息和一些先验知识

  • 可解释的边界(Explainable Boundary),是指可解释性能够提供解释的程度

来自XAI的:对于不同的听众,解释的深度也有所不同,应该是需求而定。例如:为什么你这么聪明?因为我喜欢吃鱼。为什么吃鱼会聪明?因为鱼类富含DHA。为什么DHA聪明?...... 因为根据不同的人群,我们的可解释的工作也不一样。例如给大众解释吃鱼能够聪明就行了,因为吃鱼能够聪明我们很多人已经从小到大耳熟能详了。如果我们给专业人士解释DHA为什么会是大脑聪明,我们身边很多人也答不出来,这已经远超出我们计算机这个领域了。当然,可解释的这种边界越深,这个模型的能力也越强。

  • 可理解的术语(Understandable Terms),是指构成解释的基本单元

不同领域的模型解释需要建立在不同的领域术语之上,不可能或者目前难以用数学逻辑符号来解释。例如计算机视觉中的image patches,NLP中的单词等。而可理解的术语可以理解为计算机跟我们人类能够沟通的语言。以前我们很多研究关于人类跟计算机表达的语言例如计算机指令,现在是反过来计算机根据现有的模型给我们解释

1.2 为什么需要可解释性

  • 高可靠性的要求

a)神经网络在实践中经常有难以预测的错误(进一步的研究是对抗样本攻击与防御),这对于要求可靠性较高的系统很危险

b)可解释性有助于发现潜在的错误;也可以通过debug而改进模型

  • 伦理/法规的要求

AI医疗:目前一般只作为辅助性的工具,是因为一个合格的医疗系统必须是透明的、可理解的、可解释的,可以获得医生和病人的信任。

司法决策:面对纷繁复杂的事实类型,除了法律条文,还需要融入社会常识、人文因素等。因此,AI在司法决策的事后,必须要给出法律依据和推理过程。

  • 作为其他科学研究的工具

科学研究可以发现新知识,可解释性正是用以揭示背后原理。

02

神经网络可解释性的分类

2.1 按照逻辑规则解释(Rule as Explanation)

图左是一颗关于判断西瓜好坏的决策树,经过DFS后,我们可以抽取出右图的规则。而对于神经网络,我们是否也可以类似决策树这样做呢?

答案是肯定的。

第一种方法是分解法,遍历所有特征的排列组合

分解法最简单,但是缺点也是显而易见的,就是时间复杂度太高,虽然KT算法有所优化,但是指数形式的复杂度还是难以投入实际使用。于是我们引入第二种方法:教育法[1]

DecText-决策树抽取器,主要采用经过黑箱子的数据来抽取黑箱子的规则,并且与其他决策树不同的是,该方法除了使用标记数据还可以使用未标记数据以及随机数据,只要经过神经网络黑箱子都可以获得标签。对比仅用训练集,由于传统决策树进行生成叶子比生成其根的可信度还要低(因为能用于划分界限的数据越来越少)。所以DecText有一个优势就是可以利用更多的无标记数据甚至随机数据进行补充。但是一般论文也不会提及到自身设计的大多数缺点。例如,这里我认为有两大缺点。一、无标记数据或者随机数据其实有很多是超过解释的意义,例如人脸识别,如果我们倒入一些不及格的人脸甚至随机的图像,决策树也会对这些图像进行开枝散叶,降低了真正解释人脸的枝叶的占比。二、决策树不能表达太深的网络,决策树越深,性能会急剧下降,可解释性也越差。

Tree Regulartion[2]提出了树正则的方法,来抑制了树的深度。

树正则通过引入深度损失正则项,在优化时候会抑制树的深度。而树的深度则是通过一个简单的预估网络进行预估,需要的参数就是主网络的参数。

2.2 按照语义进行解释

类比人类开始对细胞解释的时候,无法一下子直接从细胞本身理解这个细胞的类别或者功能,但是可以从细胞群或者组织(例如表皮细胞组织)来从宏观角度了解细胞的作用。神经网络亦是如此。例如卷积神经网络,浅层的卷积网络往往关注更基础的图像信息例如纹理、颜色等,而越往上层则越能抽象出更丰富的语义,例如人脸识别的眼睛、鼻子等。其中经典代表就是计算机视觉中的经典方法-可视化[3]

可视化的方法非常多,比如说有一个华人的博士就可视化了CNN,把每一层都展示得非常清楚,只需要在网页上点击对于的神经元,就可以看到工作流程。右边是一位维也纳的小哥,本来搞unity3D特效开发的,他把整个CNN网络用3d的形式可视化了出来。

cnn_visual

featuremap_layout

另外一种主动的按照语义进行解释的代表作:可解释卷积神经网络[4](Interpretable convolutional neural networks.)与传统的卷积神经网络不同的是,ICNN的每一个卷积核尽量只代表一种概念,例如,传统的卷积核对猫的头或者脚都有较大的激活值,而ICNN只能选择最大的一种。

2.3 通过示例解释

这种方法容易理解,是一种直观方法:寻找和待解释的样本最“相似”的一个训练样本,典型的代表作 Understanding black-box predictions via inflfluence functions,[5]

2.4 按照属性解释

按照属性解释目前内容上最。如前面提及到,决策树等透明模型难以模仿复杂的神经网络,那怎么解决呢?针对此问题研究的代表作有:Why should i trust you?: Explaining the predictions of any classififier[6]

由于LIME不介入模型的内部,需要不断的扰动样本特征,这里所谓的样本特征就是指图片中一个一个的像素了。但如果LIME采样的特征空间太大的话,效率会非常低,而一张普通图片的像素少说也有上万个。若直接把每个像素视为一个特征,采样的空间过于庞大,严重影响效率;如果少采样一些,最终效果又会比较差。所以针对图像任务使用LIME时还需要一些特别的技巧,也就是考虑图像的空间相关和连续的特性。不考虑一些极小特例的情况下,图片中的物体一般都是由一个或几个连续的像素块构成,所谓像素块是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块,我们称之为超像素。

下面提供一些主动干预型的方法,如Dual-net[7]

其他的还有:用意想空间的对话系统[8]

这种解释的类型是最有深度而且也是用户最容易理解的。但是对AI模型和训练难度也更高了。目前这方面的研究屈指可数。

03

可解释性总结

参考

“Extracting Decision Trees From Trained Neural Networks”. SIGKDD. July 23-26,2002 https://dl.acm.org/doi/10.1145/775047.775113M. Wu, S. Parbhoo, M. C. Hughes, R. Kindle, L. A. Celi, M. Zazzi, V. Roth, and F. Doshi-Velez, “Regional tree regularization for interpretability in deep neural networks.” in AAAI, 2020, pp. 6413–6421. https://arxiv.org/abs/1908.04494K. Simonyan, A. Vedaldi, and A. Zisserman, “Deep inside convolutional networks: Visualising image classification models and saliency maps,” arXiv preprint arXiv:1312.6034, 2013.Q. Zhang, Y. Nian Wu, and S.-C. Zhu, “Interpretable convolutional neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.P. W. Koh and P. Liang, “Understanding black-box predictions via influence functions,” in Proceedings of the 34th International Conference on Machine Learning-Volume 70, 2017.M. T. Ribeiro, S. Singh, and C. Guestrin, “Why should i trust you?: Explaining the predictions of any classifier,” in Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, 2016.M. Wojtas and K. Chen, “Feature importance ranking for deep learning,” Advances in Neural Information Processing Systems, vol. 33, 2020.Open Domain Dialogue Generation with Latent Images Z Yang, W Wu, H Hu, C Xu, Z Li - arXiv p

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484251.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大数据技术原理与应用-概述

一.大数据概述 (一)大数据概念 1.技术支撑:存储、计算、网络。 2.数据产生方式 第一阶段:运营式系统阶段第二阶段:用户原创内容阶段第三阶段:感知式系统阶段(物联网的实现普及) 3.大数据的特性(4V) 快速化(variety) 处理速度…

突破性进展!上海光机所成果登上《Nature》封面!

来源:中国科学院上海光学精密机械研究所中国科学院上海光学精密机械研究所强场激光物理国家重点实验室,利用自行研制的具有国际领先综合性能的超强超短激光装置,在基于激光加速器的小型化自由电子激光研究方面取得突破性进展。研究团队通过显…

爬取今日头条财经版块新闻

使用jupyter编辑, etree爬取 进入头条财经新闻网页,无法获取原网页内容,在查看各个请求中发现一个url里包含新闻信息.信息都在data里 import requests from lxml import etree import json url "https://www.toutiao.com/api/pc/feed/?categorystock&utm_sourcetout…

计算机网络(九)-物理层(补充)-傅里叶变换-信道复用

一.几个术语 1.码元------在使用时间域(时域)的波形表示数字信号时,代表不同离散数值的基本波形。 2.调制------把数字信号转换为模拟信号的过程。 3.解调------把模拟信号转换为数字信号的过程。 4.双绞线水晶头:从左到右分别为橙白橙(发送)、绿白蓝、蓝白绿、…

硅光芯片:突破“摩尔定律”曙光初现

来源:中国军网讲叙人:江天,国防科技大学前沿交叉学科学院研究员作者:王握文、任永存、朱晰然它是在硅基平台上将光电子和微电子融合起来的一种新技术它显示出的优异性能,为芯片研发“换道超车”带来希望它发展方兴未艾…

计算机网络(十)-数据链路层-差错控制

一.差错控制 1.1 差错: 噪声引起 全局性:由于线路本身电气特性所产生的随机噪声(热噪声),是信道固有的,随机存在。解决办法:提高信噪比来减小或避免干扰。局部性:外界特定的短暂原因所造成的的冲击噪声,是产生的差错…

第八篇!95后天才少年曹原再发Nature!

来源:自科在线编辑:nhyilin2021年7月21日,“石墨烯驾驭者“曹原作为第一作者和通讯作者在国际顶尖学术期刊 Nature 发表了题为:Pauli-limit violation and re-entrant superconductivity in moir graphene 的研究论文。这是这位95…

计算机网络(十一)-数据链路层-流量控制

一.流量控制 1.1 较高的发送速度和较低的接收能力的不匹配,因此流量控制也是数据链路层的一项重要工作。 1.2 数据链路层的流量控制是点对点的,而传输层的流量控制是端到端的。 1.3 数据链路层流量控制手段:接收方收不下就不回复确认。 传…

加强原始创新和基础研究的前提:三项破解之策

来源:国家智库 作者:刘益东,系中国科学院自然科学史研究所研究员世界科技史证明,谁拥有了一流创新人才、拥有了一流科学家,谁就能在科技创新中占据优势。当前,我国科技发展正进入以原始创新、基础研究为主…

计算机网络(十二)-信道划分介质访问控制-信道复用

一.传输数据的两种链路 点对点链路:两个相邻节点通过一个链路相连,没有第三者。应用PPP协议,常用于广域网。广播式链路:所有主机共享通信介质。早期的总线以太网、无线局域网、常用于局域网。典型的拓扑结构:总线型、星型(逻辑总…

深度学习领域有哪些瓶颈?

来源:知乎 编辑:深度学习与计算机视觉深度学习近年来成为计算机领域最耀眼的明星,衍生出许多实际的应用,主要是在推理与决策等方面取得了突破。然而深度学习如何在超越图像、语音及自然语言处理方面做出更多成绩,比如…

Codeforces Round #462 (Div. 2), problem: (C) A Twisty Movement (求可以转一次区间的不递增子序列元素只有1,2)...

题目意思&#xff1a; 给长度为n&#xff08;n<2000&#xff09;的数字串&#xff0c;数字只能为1或者2&#xff0c;可以将其中一段区间[l,r]翻转&#xff0c;求翻转后的最长非递减子序列长度。 题解&#xff1a;求出1的前缀和&#xff0c;2的后缀和&#xff0c;以及区间[i,…

计算机网络(十三)-数据链路层-动态分配信道

一.动态分配信道 也称动态媒体接入控制/多点接入&#xff0c;特点是信道并在用户通信时固定分配给用户。 轮询访问介质访问控制: -令牌传递协议随机访问介质访问控制:所用用户可随机发送信息&#xff0c;发送信息时占全部宽带。 -ALOHA协议 -CSMA协议 -CSMA/CD协议 -CSMA/CA协…

元宇宙大热后将陷低潮, 虚实互联网更准确, 2030前后才可能全面热启

作者&#xff1a;DCCI*未来智库、未来实验室专家胡延平来源&#xff1a;今日头条3个判断、3个野心、技术要件6个瓶颈&#xff1b;虚实互联网这个概念元宇宙信徒听起来有些扎心但真实恰当......扎克伯格称Facebook要从社交转型为一家元宇宙公司的专访瞬间刷屏&#xff0c;将去年…

python28 excel读取模块xlrd

安装&#xff1a; pip install xlrd 简单使用&#xff1a; import xlrdbook xlrd.open_workbook(rC:\Users\dinghanhua\Desktop\yqqapi.xlsx) # 打开excel print("the number of sheets:",book.nsheets) # sheet数量 print("sheet_names:",book.sheet_nam…

计算机网络(十四)-CSMA/CD协议

一.CSMA/CD协议 载波监听多点接入/碰撞检测CSMA/CD。 1.1 CS&#xff1a;载波侦听/监听&#xff0c;每一个站在发送数据之前以及发送数据时都要检测一下总线上是否有其他计算机在发送数据。 1.2 MA&#xff1a;多点接入&#xff0c;表示多计算机以多点接入的方式连接在一根总…

机器人流程自动化(RPA)系统原理及特点

来源&#xff1a;OFweek机器人编者按机器人流程自动化&#xff08;RPA&#xff09;系统是一种应用程序&#xff0c;它通过模仿最终用户在电脑的手动操作方式&#xff0c;提供了另一种方式来使最终用户手动操作流程自动化。可迅速实现业务提效&#xff0c;将重复性劳动进行自动化…

计算机网络(十五)-数据链路层-CSMA/CA协议

一.CSMA/CA协议 载波监听多点接入/碰撞避免CSMA/CA 主要在无线局域网中使用。 1.1 工作原理 发送数据前&#xff0c;先检测信道是否空闲。空闲则发出RTS&#xff0c;RTS包括发送端的地址、接收端的地址、下一份数据将持续发送的时间等信息&#xff1b;信道忙则等待。接收端收…

自动驾驶中的机器学习

出品&#xff1a;CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;作者&#xff1a;Denis Chikurtev译者&#xff1a;马超 责编&#xff1a;晋兆雨以下为译文&#xff1a;近年来&#xff0c;自动驾驶技术技术的发展速度非常快。预计达到完全自动驾驶L5的程度是指日可待的…

计算机网络(十六)-轮询访问介质访问控制

介质访问控制 1.几种协议 信道划分介质访问控制(MAC)协议&#xff1a; 基于多路复用技术划分资源。网络负载重&#xff1a;共享信道效率高&#xff0c;且公平。网络负载轻&#xff1a;共享信道效率低。 随机访问MAC协议&#xff1a; 用户根据意愿随机发送信息&#xff0c;…