人工智能应用需要高可信性(180806)

640?wx_fmt=png

来源:科学网

摘要:近日,“Rekognition”却闹了一个大乌龙:28名美国国会议员被它识别成了罪犯。


小编搞了大半辈子测试和容错,对这方面消息比较敏感。最近看到新闻,商业巨头亚马逊2016年推出图像识别AI系统“Rekognition”,还积极向美国警方推销以帮助其办案。不过近日,“Rekognition”却闹了一个大乌龙:28名美国国会议员被它识别成了罪犯。


640?wx_fmt=jpeg


这一错误也让发起这项测试、反对警方使用“Rekognition”的美国公民自由联盟(ACLU)抓到把柄,他们表示,测试结果引起了民众对警方使用该系统的严重担忧。7月26日,ACLU在其网站披露:该组织对“Rekognition”进行了测试,结果系统错误地将28名国会议员识别为曾因犯罪而被捕的人员。


    所以,人工智能应用被吹得热热闹闹,场景令人振奋,但是,真要付诸应用,人们对这些系统信任度存在疑问,可能产生严重后果。怎么能提供这些系统的高可信性呢?这就要深入到每一个具体系统,进行科学分析。本月IEEE Spectrum 2018/8发表一篇文章,“MAKING MEDICAL AI TRUSTWORTHY”,很有参考价值。


医药工业领域是人工智能系统应用的理想之地。医学检验、医生的面谈和过程被成文为患者病历,存为电子格式。AI系统可以摘要这些数据,从而决定较好和性价比较高的治疗方案。现在许多研究都在建造这种系统,许多文章描述关于分析纪录、扫描图像、产生患者健康的诊断和预言。譬如下图所示一个低分辨率的反映心脏跳动的心动图,用AI程序分离,取出最相关的部分,然后用解剖学的理解去进行诊断。


640?wx_fmt=jpeg 

这类文章很多,但是,这些系统很少能进入医院里实际应用。


为什么会这样?匹兹堡大学的医学研究专家和物理学家Shinjini Kundu说:问题在于信任方面,你有可行的技术,但你怎么能得到人们的信任而使用之?


许多医用AI系统是个黑盒子,输入数据,得出答案。医生们搞不懂它为什么要这么处理。所以,Kunda研究AI对医学图像的分析与解释。她从对医学图像,譬如核磁共振图像,机器学习开始,从而发现医生感兴趣的模式。


Kunda最近用AI分析膝盖核磁共振图像(MRI),分析三年内会发展为骨关节炎的可能性。她用“生长模型化”技术,用AI产生一个新图像,一个保证会发病的图像。Kunda解释说,他们开发了一个黑盒子分类器,去产生一个图像,显示支持其诊断的模式。


人眼无法根据下图的MRI图像判断患者三年内是否会得关节炎,譬如上左图不会,但上右图就会得关节炎。而AI程序进行统计分析可以得出几倍方差范围内得这种病的概率。


640?wx_fmt=jpeg


AI产生的图像基于MRI扫描软骨的微妙变化,这些变化可能是医生们没有注意到的。这帮助人们去理解过去治关节炎的过程为什么没注意到。


旧金山加州大学助理教授、心脏病专家Rima Arnaout训练一个神经网络去分类超声波心电图,在分辨微小而低分辨率图像方面比心脏病专家精确多了。下一步将用该图像信息去识别解剖结构和诊断心脏疾病和缺陷。


但是,Arnaout说:“我不会去做自己无法信服的诊断。”她用两个技术去搞懂她的分类器是怎么做出决定的。在封闭试验中,他考察测试图像的部分变化如何改变AI的回答;用显著图,她跟踪神经网络的最后回答返回到原图,去发现什么像素权重最高。这两技术说明图像的那些部分对AI做出结论最重要,正和专家看重的结构相重合。


    微软一位骨干研究人员Rich Caruana十年来一直致力于一项研究,就是让机器学习模型不但是智能的,而且是可以理解的。他用AI拿医院的电子病历去预计患者的结果。他发现即使是高度精确的模型也隐藏着严重的缺陷。他引用他对肺癌患者的数据集,训练机器学习模型去区分该入院的高危患者和可在家恢复的低危患者。该模型发现有心脏病的人较少死于肺炎,可以安心地算作低危人群。他解释说,诊断有肺炎的心脏病患者其所以结局较好,不是因为他们低危险,而是如果他们的呼吸困难早就进了急诊,从而得到治疗。模型发现的这种关联性是正确的。但是,假如我们用这种关联性去干预卫生保健,我们可能伤害甚至杀死某些患者。由于这些麻烦的发现,他正在研究清楚显示变量相关的机器学习模型,让它判断模型不但统计意义上精确,而且医学上可用。


所以,人工智能应用需要应用领域专家的深入分析、严格的测试过程、有效的容错技术,才能保证人工智能应用系统的安全可靠,人们才能放心使用。


中国科学院,计算技术研究所,研究员 闵应骅 


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/494841.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

暑假集训中期测试 Problem D: 装箱问题2 (并查集)

Description 有很多个棱长为1的正方体货物整齐地堆在一堆。不过有一些是悬空的, 大概是粘上去的吧。。。 给出这些货物的相邻关系,求最小的长方体(或正方体)能装下这些货物的集装箱的体积,(集装箱棱长方向与…

s3cmd安装及使用

一、安装 1.下载安装包。 这里我们使用s3cmd-1.0.0.tar.gz安装包 2.解压安装包 tar xzvf s3cmd-1.0.0.tar.gz 3.移动路径 mv s3cmd-1.0.0 /usr/local/s3cmd 4.创建软链接 ln -s /usr/local/s3cmd/s3cmd /usr/bin/s3cmd 5.执行配置命令(按提示输入相应密码等) s3cmd -…

二叉树——堆

二叉树顺序存储结构 理解堆之前先理解一下二叉树的顺序存储结构。普通的二叉树并不适合顺序存储,因为可能会造成大量的空间浪费。只有完全二叉树适合顺序结构存储。显示中我们通常把堆使用顺序结构的数组来存储,需要注意的是这里的堆和操作系统中虚拟进程…

hive函数大全:11大类、109个函数

磨刀不误砍柴工&#xff0c;学完函数再sql 目录 一、关系运算 1. 等值比较: 2. 不等值比较: <> 3.小于比较: < 4. 小于等于比较: < 5. 大于比较: > 6. 大于等于比较: > 7. 空值判断: IS NULL 8. 非空判断: IS NOTNULL 9. LIKE比较: LIKE 10. J…

open AI 在DOTA 5v5 比赛中战胜职业选手

来源&#xff1a;AI科技大本营摘要&#xff1a;去年&#xff0c;OpenAI 在 DOTA 的 1v1 比赛中战胜了职业玩家 Dendi&#xff0c;而在距离进阶版 OpenAI Five 系统战胜人类业余玩家不过一个月的时间&#xff0c;今天凌晨&#xff0c;它又以 2:1 的战绩再次完成对人类高级玩家的…

C/C++程序从源代码到可执行程序的流程

对于一个C/C编写的程序&#xff0c;从源代码到可执行程序的过程通常是由IDE来完成的&#xff0c;一般分为四个步骤&#xff1a;预处理、编译、汇编、链接&#xff0c;下面就来详细说一下这四个步骤。 预处理&#xff1a; 主要是对其中的伪指令和特殊符号进行处理&#xff1a; …

Python 两种装饰器

目录 带参数的装饰器&#xff08;函数&#xff09; 类装饰器 装饰器(Decorators)是 Python 的一个重要部分。简单地说&#xff1a;他们是修改其他函数的功能的函数。他们有助于让我们的代码更简短&#xff0c;也更Pythonic&#xff08;Python范儿&#xff09;。 带参数的装…

如何体现机器智能和群体智能的关系,2018新版互联网大脑模型绘制

作者&#xff1a;刘锋 计算机博士 互联网进化论作者2018年新的这一版&#xff0c;也是互联网大脑模型图的第五个版本&#xff0c;距离第一版的发布已经有10年时间&#xff08;2008年&#xff09;&#xff0c;距离上一版第四版也有1年时间&#xff0c;在这一版中主要解决了如何…

Python可变传参: *args和**kwargs

args是参数的数组&#xff0c;kwargs就是当你传入keyvalue是存储的字典。 请看例子&#xff1a; def test(a,*args,**kwargs): print "a: ",a print "args: ",args print "kwargs: ",kwargs test(1,2,3,d4,e5) 输出结果&#xff1a; a: 1 args: …

7/7 第7篇 函数名与函数指针

第7篇 函数名与函数指针 一 通常的函数调用 一个通常的函数调用的例子&#xff1a; //自行包含头文件 void MyFun(int x); //此处的申明也可写成&#xff1a;void MyFun( int ); int main(int argc, char* argv[]) { MyFun(10); //这里是调用MyFun(10);函数 return 0; }…

全球互联正在创造一个知识极大丰富和隐私终结的时代

来源&#xff1a;资本实验室摘要&#xff1a;据预测&#xff0c;到2020年&#xff0c;全球物联网连接设备将超过500亿个&#xff0c;会产生600泽字节的信息。这么庞大的数据量&#xff0c;将如何影响并改变我们的生活和工作&#xff1f;聚焦前沿科技创新与传统产业升级据预测&a…

大数据计算引擎:impala对比hive

目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划&#xff1a; 数据流&#xff1a; 内存使用&#xff1a; 调度&#xff1a; 容错&#xff1a; 适用面&#xff1a; Impala相对于Hive所使用的优化技术 Impala的优缺点 Impala与Hive的异同 数据存储 …

从外部调用Django模块

import os import sys sys.path.insert(0,/data/cloud_manage) from django.core.management import setup_environ import settings setup_environ(settings)from common.monitor import Monitor from django.db import connection, transaction 前提就是&#xff0c;要新建一…

泡沫破裂之后,强化学习路在何方?

作者&#xff5c;侯宇清、陈玉荣来源&#xff5c;智能单元编辑&#xff5c;Debra一、深度强化学习的泡沫2015 年&#xff0c;DeepMind 的 Volodymyr Mnih 等研究员在《自然》杂志上发表论文 Human-level control through deep reinforcement learning[1]&#xff0c;该论文提出…

常见的设计模式--单例模式

设计模式 设计模式&#xff08;Design Pattern&#xff09;是一套被反复使用、多数人知晓的、经过分类的、代码设计经验的总结。使用设计模式的目的是为了代码可重用性、让代码更容易被他人理去解、保证代码可靠性。 设计模式使代码编写真正工程化&#xff1b;设计模式是软件工…

一篇文章搞懂数据仓库:维度表(设计原则、设计方法)

目录 1、什么是维度表&#xff1f; 2、维度表设计原则 &#xff08;1&#xff09;维度属性尽量丰富&#xff0c;为数据使用打下基础 &#xff08;2&#xff09;给出详实的、富有意义的文字描述 &#xff08;3&#xff09;区分数值型属性和事实 &#xff08;4&#xff09;…

javascript 键值转换

for (var i 0; i < headerFields.length; i) {fieldToIndex[headerFields[i]] i;} 转载于:https://www.cnblogs.com/EasonSun/archive/2012/08/03/2621661.html

Github项目:AI消除马赛克实战

目录 1、原理 2、准备工作 3、消除马赛克 4、效果对比 1、原理 该算法利用线性盒滤波器分别处理每个块的事实。对于每个块&#xff0c;它将搜索图像中的所有块像素化以检查直接匹配。 对于大多数像素化图像&#xff0c;Depix能够找到单个匹配结果。它假设这些是正确的。然…

C++继承一览

继承的概念及定义 继承机制是面向对象程序设计是代码可以复用的重要手段&#xff0c;它允许程序员在保持原有类特性的基础上进行扩展&#xff0c;增加功能&#xff0c;这样产生的类称为派生类。继承呈现了面向对象程序设计的层次结构&#xff0c;体现了由简单到复杂的认知过程。…

人工智能能否复制人脑引争论 美媒:目前AI仍存在局限性

来源&#xff1a;网易智能摘要&#xff1a;人们应用人工智能技术&#xff08;AI&#xff09;的所有领域&#xff0c;包括无人驾驶汽车、机器人医生、超过10亿中国公民的社会信用评分系统等&#xff0c;当前都取决于一场关于如何让AI做其不能做的事的辩论。8月6日报道称&#xf…