AI黑箱:我们要用AI解释AI?

来源:亿欧

概要:AI算法对人类生活的影响越来越大,但它们内部的运作往往是不透明的,人们对这种技术的工作方式也愈加感到担忧。


AI算法对人类生活的影响越来越大,但它们内部的运作往往是不透明的,人们对这种技术的工作方式也愈加感到担忧。MIT科技评论曾经发表一篇题为“人工智能中的黑暗秘密”的文章,警告说:“没有人真正知道先进的机器学习算法是怎样工作的,而这恐将成为一大隐忧。”由于这种不确定性和缺乏问责制,纽约大学AI Now Institute的一份报告建议负责刑事司法、医疗保健、社会福利和教育的公共机构不应该使用AI技术。


输入的数据和答案之间的不可观察的空间通常被称为“黑箱”(black box)——名称来自飞机上强制使用的飞行记录仪“黑匣子”(实际上是橙色的,而非黑色),并且经常在空难事故后用于向调查人员提供有关飞机当时运作情况的数据。在人工智能领域,这个术语描述了AI技术如何在“暗处”运作的景象:我们提供数据、模型和架构,然后计算机给出答案,同时以一种看似不可能的方式继续学习——显然对于我们人类来说,这太难理解了。


黑箱没有什么可怕的


在医疗领域,这个问题尤其被关注。AI被用于区分哪些皮肤病变是癌变,从血液中识别早期癌症,预测心脏疾病,确定人和动物的哪些化合物可以延长寿命,等等。但是,对黑箱的这些担忧是不必要的。AI的透明程度并不亚于医生一直以来的工作方式——在许多情况下,AI甚至是一种进步,它增强了医院的能力,对病人和整个医疗系统都有积极的作用。毕竟,对于新技术来说,AI的黑箱问题并不是一个新问题:人类智能本身就是一个黑箱,而且一直都是。


让我们来看一个人类医生做诊断的例子。病人可能会问医生她是如何做出诊断的,医生可能会说出一些她用来得出结论的数据。但她真的能够解释她是如何、以及为什么得出这个结论吗,她从哪些研究中得到哪些具体数据,她从所受的教育或导师那里得到了什么影响,她从自己以及同事的共同经验中得到哪些隐性知识,以及所有这些的结合如何引导她得出那个诊断?当然,她可能会说出引领她往某个特定方向走的某些指示,但这也会有猜测的成分,有跟随直觉的成分。即使没有,我们也仍然不知道有没有什么其他因素是她自己甚至没有意识到的。


如果使用AI进行同样的诊断,我们可以从该患者的所有可用信息中获取数据,以及在不同时间和从其他无数同类患者身上匿名收集的数据,用以做出最有力的基于证据的决策。这是一种与数据直接相关的诊断,而不是基于有限数据的人类直觉,或者相对少的局部患者的诊断经验总结。


但是,我们每天都必须在很多我们并不完全了解的领域做决策——并且通常都非常成功——从预测政策对经济的影响到天气预报,再到我们最初接触大部分科学的方式。我们要么认为这些决策非常简单,要么接受它们过于复杂以至我们无法解决,更不用说完全解释它们了。这就像AI的黑箱:人类的智慧能够针对一个给出的结论进行推理和论证,但无法解释我们得出一个特定结论的复杂、隐含的过程。


试想一下一对夫妻因某个明确的原因(例如,不忠)而离婚这个问题——在现实中,有许多完全看不见的、错综复杂的原因、影响和事件共同促成了这一结果。为什么这一对夫妇选择分手,而另一对类似情况的夫妇却没有?即使是处于这些关系中的人也无法完全解释这个问题。这是一个黑箱。


AI的黑箱更多是一个特征,而不是一个bug


具有讽刺意味的是,与人类智能相比,人工智能实际上更加透明。与人类的思维不同,人工智能可以——也应该——被审问和被解释。例如检查和改进模型的能力,揭示深度神经网络中的知识差距,必须要构建的调试工具,以及通过脑机接口增强人类只能的潜在能力,等等,有许多技术可以帮助解释人工智能,而这些解释AI的方式无法用于解释人脑。在这个过程中,我们甚至可以更多地了解人类智能的运作方式。


也许批评者们担忧的真正原因不是我们无法“看到”AI的推理过程,而是当AI变得愈加强大时,人类的心智就变成了限制因素。他们担心的是,在未来,我们需要利用AI去理解AI。


在医疗领域以及其他领域,这意味着我们很快就会看到一个新类别的专业人士的出现,他们自己不必去做即时的决策,而是管理一个AI工人去做决策——就像商用飞机的驾驶员在恶劣的天气条件下使用自动驾驶仪降落一样。医生将不再“主导”初始诊断;相反,他们需要确保AI系统对患者的诊断是相关的和易于理解的,并监督AI在何时以及如何提供更多的说明和解释。未来的医生办公室很可能有多名计算机助理,包括医生方面的和病人方面的,以及来自外部的数据输入。


当这种情况成为现实时,显然,所谓的人工智能“黑箱”将更多是一种特征,而不是一个bug——因为它相比人类的大脑更能够理解和解释决策的过程。这并没有否定或忽视对AI进行监督的需求,只是说与其担心黑箱,我们更应该关注机会,从而更好地应对这样一个未来:AI不仅增强人类智能和人类直觉,而且甚至可以启发人之本质。


不要为了可解释性牺牲AI的能力


当前的AI系统可能会发生一些故障,例如使自动驾驶汽车遭遇事故,或在用于司法时对黑人判处相比白人更长的刑期。我们会知道这些,是因为AI已经在这些方面出现了错误。但是,这并不意味着我们应该坚持AI需要解释它在任何情况下如何做决策,包括欧盟的“一般数据保护条例”(GDPR)也如此要求。


要求可解释性听起来不错,但实现它可能需要让AI人为地变蠢。机器学习有如此强大的使用前景,缩减AI的能力可能意味着无法诊断疾病、无法发现气候变化的重要原因,等等。充分利用机器学习的能力意味着必须依赖那些现在无法向人类大脑解释的结果。


机器学习,特别是深度学习,可以将数据分析成数以千计的变量,将它们排列成非常复杂而敏感的加权关系数组,然后通过基于计算机的神经网络反复运行这些数组。要想理解这些运行的结果,例如为什么系统认为有73%的几率患上糖尿病,或者在象棋中走这步棋有84%的几率能导致最终胜利,这就需要理解这些成千上万的变量之间的关系,这些变量是通过大量的神经网络计算得出的。我们的大脑根本无法掌握这么多的信息。


可解释性是工具:我们用这些工具来达成目标。通过机器学习,可解释性能够帮助开发人员debug。可解释性也可以用来判断一个结果是否基于不应该计数的因素(例如性别,种族等,取决于具体情况)来评估责任。但是,我们可以通过其他方法来实现预期的效果,而不用约束机器学习系统的能力。


一个很有前景的工具是优化(optimization)。例如,在20世纪70年代石油危机期间,美国政府决定将限速降至55英里/时,从而优化高速公路。同样,政府也可以决定对自动驾驶汽车进行优化。


AI系统需要对针对某个目的的优化及其结果保持透明,特别是对我们希望它们支持的一些关键值保持透明。但是不一定要求算法是透明的。如果一个系统没有达到它的目标,就需要对它进行调优。如果达到了目标,可解释性就不是必要的。


通过将AI的可解释性问题视为优化问题,我们可以将争论集中在真正重要的问题上:我们想从一个系统中得到什么,我们愿意放弃什么来得到它?


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。由互联网进化论作者,计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/497038.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

1053 Path of Equal Weigh(甲级)

1053 Path of Equal Weight (30分) Given a non-empty tree with root R, and with weight W ​i ​​ assigned to each tree node T ​i ​​ . The weight of a path from R to L is defined to be the sum of the weights of all the nodes along the path from R to any l…

美媒盘点DARPA的自然仿生项目

转自:“国防科技要闻”(ID:CDSTIC)作者:军事科学院军事科学信息研究中心 袁政英为了提高无人机蜂群效能,美空军已经开展对蝙蝠的研究。而DARPA的“生物技术办公室”也在试验一系列仿生项目,以获…

1110 Complete Binary Tree(甲级)

1110 Complete Binary Tree (25分) Given a tree, you are supposed to tell if it is a complete binary tree. Input Specification: Each input file contains one test case. For each case, the first line gives a positive integer N (≤20) which is the total number…

Thumbnails使用方法(图片处理工具类)

我们在java开发时,使用Thumbnails工具类能帮助我们对图片进行很好的处理,Thumbnails对图片的操作进行了很好的封装,往往很复杂的步骤能用一行代码就完成。 Thumbnails支持: 指定大小进行缩放 按照比例进行缩放 不按照比例&#…

浙江将建设超级高速公路,全面支持自动驾驶

来源:科技日报作者:江耘将建设的超级高速公路将具备智能、快速、绿色、安全的四大要素。浙江省要建设全国首条超级高速公路的说法于近日得到了官方证实。记者了解到,将建设的超级高速公路是已经分段批复的杭甬复线高速公路——杭绍甬高速公路…

Java消息服务~自动分配的消息头

消息头的值由JMS提供者来设置,开发者setJMSXxx()分配的值忽略。 JMSDestination 消息头使用一个Topic 或 Queue 对象来标识目的地。 Topic destination (Topic) message.getJMSDestination(); JMSDeliveryMode 在JMS 中,传送模式有两种类型&#xff1…

员工辞职的十大原因!

美国企管顾问史密斯(Gregory Smith),日前在《CEO Refresher》杂志上指出,根据他多年的顾问经验,员工辞职的十大原因为: 1、员工的工作量过重,造成他们必须在晚上或周末加班。 2、公司…

1115 Counting Nodes in a BST(甲级)

1115 Counting Nodes in a BST (30分) A Binary Search Tree (BST) is recursively defined as a binary tree which has the following properties: The left subtree of a node contains only nodes with keys less than or equal to the node’s key. The right subtree of …

Codeforces Round 917 (Div. 2)(A~D)(又是数学题)

A - Least Product 题意&#xff1a; 思路&#xff1a;若有奇数个负数&#xff0c;则不需要任何操作。若存在0&#xff0c;也不需要任何操作。其余情况将任意一个数改为0即可。 #include <bits/stdc.h> using namespace std; void solve() {int n;cin >> n;int …

权威发布:新一代人工智能发展白皮书(2017)

来源&#xff1a;机器人大讲堂指导单位、专家顾问及编写人员顾 问潘云鹤 中国工程院院士指导单位工业和信息化部信息化和软件服务业司指导委员会谢少锋 工信部信软司司长李冠宇 工信部信软司副司长徐晓兰 中国电子学会副理事长兼秘书长张宏图 中国电子学会总部…

Python 的 Gevent --- 高性能的 Python 并发框架

From&#xff1a;http://www.xuebuyuan.com/1604603.html Gevent 指南(英文)&#xff1a;http://sdiehl.github.io/gevent-tutorial Gevent 指南(中文)&#xff1a;http://xlambda.com/gevent-tutorial Gevent 指南(中文)下载地址&#xff1a;http://download.csdn.net/downloa…

AJAX Control Toolkit 控件学习(转自csdn山巅)

AJAX Control Toolkit 控件学习 2006-1-16 ToggleButton 关联ASP.NET CheckBox控件 RoundedCorder 造就圆角框 PasswordStrength TextBox中输入数据长度&#xff0c;以及限制&#xff1b;非常智能&#xff0c;有提示图 DropShadow 造就了照片的背影效果。 ScrollManag…

高通首次推出AI引擎 打包所有软硬件算力

来源&#xff1a;智东西作者&#xff1a;明天2月22日消息&#xff0c;高通宣布推出人工智能引擎&#xff08;AI Engine&#xff09;&#xff0c;让人工智能在终端侧&#xff08;如智能手机&#xff09;上的应用更快速、高效。该AI Engine包括软硬件两部分&#xff0c;在高通骁龙…

Java消息服务~开发者分配的消息头

生产者传送该消息之前在Message 对象上设置 JMSReplyTo 有些情况下&#xff0c;一个JMS消息生产者可能会要求消费者对一条消息做出应答。JMSReplyTo 消息头包含了一个javax.jms.Destination&#xff0c;标明了JMS 消费者应该应答的地址。请注意&#xff1a;如果某条消息头属性…

基金小窍门:如何判断基金的赚与赔

基金申购的时候&#xff0c;除了货币型基金&#xff0c;都有申购费,一般为申购金额的1.5%。 赎回的时候有赎回的手续费&#xff0c;一般为赎回金额的0.5%; 你只要记住两个单位净值就可以了&#xff1a;申购当日的基金单位净值&#xff08;记做x&#xff09;&#xff0c…

python Lambda 表达式

来源:http://www.cnblogs.com/jydeng/p/4145188.html 一、lambda函数 1、lambda函数基础&#xff1a; lambda函数也叫匿名函数&#xff0c;即&#xff0c;函数没有具体的名称,而用def创建的方法是有名称的。如下&#xff1a; """命名的foo函数"""…

一文详解「群体机器人」中的「实体进化」到底是什么?

原文来源&#xff1a;frontiers作者&#xff1a;Nicolas Bredeche、Evert Haasdijk、Abraham Prieto「雷克世界」编译&#xff1a;嗯~阿童木呀、KABUDA本文概述了适用于机器人群体&#xff08;robot collectives&#xff09;在线分布式进化的进化机器人技术&#xff0c;即实体进…

Java消息服务~JMSReplyTo示例

在下面的例子中&#xff0c;首先创建两个Queue&#xff0c;发送者给一个Queue发送&#xff0c;接收者接收到消息之后给另一个Queue回复一个Message&#xff0c;然后再创建一个消费者来接受所回复的消息 import javax.jms.Connection; import javax.jms.JMSException; impo…

prototype.js1.5平面结果导读图

转载于:https://www.cnblogs.com/zjypp/archive/2007/10/16/2319458.html

NumPy的详细教程

来源&#xff1a;http://blog.csdn.net/lsjseu/article/details/20359201 用 Python 做科学计算(PDF源码)&#xff1a;https://download.csdn.net/download/freeking101/10959832用 Python 做科学计算&#xff1a;基础篇、手册篇、实战篇&#xff1a;http://old.sebug.net/pap…