哈佛医学院解析:触发医学深度学习系统受到「对抗攻击」的诱因有哪些?

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

原文来源:arXiv

作者:Samuel G. Finlayson、Isaac S. Kohane、Andrew L. Beam

「雷克世界」编译:EVA


对抗样本的发现引起了人们对深度学习系统的实际部署的关注。在本文中,我们认为,就货币激励和技术脆弱性(monetary incentives and technical vulnerability)而言,医学领域可能特别容易受到对抗攻击的影响。为此,我们概述了医疗保健经济及其针对欺诈所创立的激励措施,我们将对抗攻击扩展到三个流行的医学成像任务,我们还提供了具体的例子以说明这些攻击可以被实际执行的方法和原因。


对于我们每一个具有代表性的医学深度学习分类器,白盒和黑盒攻击都是有效的,而且是人类难以察觉的。我们强烈建议在临床环境中使用深度学习系统,并鼓励对特定领域的防御策略进行研究。


在过去六年里,深度学习已经改变了计算机视觉,并且已经在大量面向消费者的产品中得到了应用。令许多人感到兴奋的是,这些方法将继续扩大范围,而且新的工具和产品将通过深度学习的使用得到改善。深度学习的一个特别令人兴奋的应用领域是在临床应用中。近期有许多备受瞩目的深度学习例子在放射学、病理学和眼科学任务中取得了与人类医生同等的地位。


在某些情况下,这些算法的性能超过了大多数个体医生在进行面对面比较时的能力。这导致一些人推测,医学成像的整个专业,如放射学和病理学,可能会被彻底改造或完全消失。此外,在2018年4月11日,人们朝着这个未来迈出了重要的一步:美国食品和药物管理局(the U.S. Food and Drug Administration, FDA)宣布批准了第一个计算机视觉算法,该算法可以在没有人类临床医生介入的情况下被用于医学诊断。


640?wx_fmt=png

图1:对抗样本的概述:通过添加一个精心设计的干扰,能够将一张模型正确归类为良性的图像转换为网络100%确信为恶性的图像


与医学深度学习的进步并行的是,所谓“对抗样本”的发现揭示了即使是最先进的学习系统也存在漏洞。对抗样本——被设计为会导致错误分类的输入——已经迅速成为机器学习社区中最受欢迎的研究领域之一。虽然人们对对抗样本的许多兴趣来源于它们能够阐明当前深度学习方法中可能存在的局限性的能力,但对抗样本还是受到了关注,因为它们可能对在虚拟和物理环境中部署这些算法造成网络安全威胁。然而,在以往的研究中,科学家们尚未彻底解决在医学背景下发生对抗攻击的可能性。


考虑到美国医疗保健的巨大成本,将昂贵的人类“赶出圈子”并用一种极其廉价和高度精确的深度学习算法取代他或她,似乎是一种明智的做法。这种做法看起来尤其诱人,鉴于最近的一项研究发现,医生和护理人员的薪酬是美国医疗保健成本相对于其他发达国家而言较高的主要驱动因素之一。


然而,考虑到目前这些算法的脆弱性,医学成像任务广泛自动化的实现过程中存在一个未被重视的缺点:如果我们认真地考虑将人类医生完全“赶出圈子”(现在在一个设置中至少有通过美国食品和药物管理局的法律制裁,后续可能会有更多的行动),我们也不得不考虑对抗攻击可能会如何为欺诈和危害带来新的机会。事实上,即使在循环过程中有人类存在,任何利用机器学习算法进行诊断、决策或赔偿的临床系统都可能受到对抗样本的操纵。


640?wx_fmt=png

图2:对抗样本生成的特征结果。显示在每幅图像左下角的百分比表示模型指定该图像患病的概率。绿色=模型在该图像上是正确的。红色=模型不正确。可以看出,在每种情况下,人类不可感知的变化足以使分类器对错误的分类100%自信


在本文中,我们认为,医疗保健尤其容易受到对抗攻击的影响,并且存在巨大的诱因去激励潜在的不良行为者实施这些攻击。我们将以往的对抗样本研究结果扩展到三种以最先进的医学分类器为模型的医学深度学习系统中,并且我们提供了关于医学中对抗攻击可能性范围的观点。由于医疗保健系统很复杂,而且管理过程可能显得错综复杂,人们可能难以想象这些攻击是如何实施的。


因此,为了在实际案例中对危害的抽象可能性进行具象化,我们描述了一个展望,在其中,许多任务已经通过深度学习实现完全自动化,并给出可能由对抗攻击所导致的欺诈行为的具体例子。我们的目标是提供使对抗攻击成为威胁的医疗管道的不同特征的背景,同时证明这些攻击在真实的医学深度学习系统中的实际可行性。我们希望,对医学中对抗样本潜在危害认识的增强能够鼓励机器学习社区致力于解决方案的研究,使这些技术能够安全地部署在医疗保健领域。


可以说,使用深度学习改善医疗保健和医学的发展前景是非常令人兴奋的。我们之所以这么乐观是因为,如果这些技术能够得以明智地实施,就可以改善结果并降低成本。有鉴于此,不出意外地,数十家私营公司和大型医疗中心已经开始努力在临床实践环境中部署深度学习分类器。随着这种发展趋势的推进,医学深度学习算法将不可避免地在已经拥有数十亿美元的医疗信息技术行业中占据优势。然而,医疗保健经济的大规模发展也为欺诈行为带来了重大发展机遇和诱因。


在这项研究中,我们概述了对抗样本之所以能够在医疗领域造成不成比例的巨大威胁的系统性和技术性原因。我们也证明了我们所认为的第一个在医疗系统上执行对抗性攻击的例子。我们希望我们的研究结果有助于促进计算机科学家和医疗专业人士之间对于对抗样本威胁的讨论研究。对于机器学习研究人员,我们建议对那些设计用以确保攻击不可行或至少可以追溯识别的基础设施和算法解决方案进行研究。对于医疗服务提供者、付款人和政策制定者,我们希望这些实际案例可以激发人们有意义的讨论,以探讨这些算法究竟应该如何融入临床生态系统,尽管他们目前很容易受到此类攻击。


原文链接:https://arxiv.org/pdf/1804.05296.pdf


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/495841.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Git 详解 和 廖雪峰 Git 教程

转载:廖雪峰 git 教程:https://www.liaoxuefeng.com/wiki/896043488029600 GitHub 秘籍:https://github.com/tiimgreen/github-cheat-sheet/blob/master/README.zh-cn.md Git Community Book 中文版:http://gitbook.liuhui998.c…

ASP.NET MVC: 构建不带 Web 窗体的 Web 应用程序(转载)

我 从事专业开发迄今为止已有 15 年,在此之前,我利用业余时间从事开发至少也有 10 年了。与我这一代的大多数人一样,我是从 8 位计算机起步,然后转用 PC 平台的。随着计算机的复杂性日益增加,我编写的应用程序涵盖了从…

CompletableFuture详解~thenAcceptBoth

使用BiConsumer处理两个阶段的结果 上面的例子还可以通过BiConsumer来实现: static void thenAcceptBothExample() {String original "Message";StringBuilder result new StringBuilder();CompletableFuture.completedFuture(original).thenApply(String::toUpp…

2018人工智能前沿报告:深度学习的应用和价值

来源: 199IT互联网数据中心摘要:报告重点强调了前沿AI技术的应用范围之广,以及经济潜力之盛,也提到了发展中的一些局限和挑战。报告包含400个应用案例,横跨19个行业的9种业务功能。报告重点强调了前沿AI技术的应用范围…

CompletableFuture详解~thenCombine

使用BiFunction处理两个阶段的结果 如果CompletableFuture依赖两个前面阶段的结果, 它复合两个阶段的结果再返回一个结果,我们就可以使用thenCombine()函数。整个流水线是同步的,所以getNow()会得到最终的结果,它把大写和小写字符…

PDB

PDB Program Database是目前最新的Debug信息格式。目前为此已经出现了两个版本,一个是用于Visual studio6.0的PDB20,另一个是用于Visual studio.Net(2002 or 2003)的PDB70。然后后者并不会兼容前者,所以visual studio6.0将不能使用最新的PDB7…

跟我学Telerik公司的RadControls控件(四)

朋友们、同行们通过前面《跟我学Telerik公司的RadControls控件》系列三篇的学习,你一定会内心有一种涌动,有种相见(RadControls)恨晚的感觉。那就和晓军一起加入学习RadControls控件的行列,为IT的朋友提供更加明了化的…

puppeteer( Nodejs 版 selenium )快速入门

From:https://www.cnblogs.com/CyLee/p/9310839.html puppeteer 官网:https://pptr.dev/ Puppeteer 中文文档 (与官方同步更新):https://segmentfault.com/a/1190000015913821 Puppeteer 中文文档 :https…

硅谷人眼中的2018年十大前沿科技预测

来源: 和米资本近日,由斯坦福大学的顶级学术研究团队、美国国防部高级研究计划局、硅谷最具创新力和影响力的创业公司以及和米资本一起精心策划,共同探讨技术将如何重新塑造行业和社会等问题,分析预测了2018年全球十大前沿科技的未…

CompletableFuture详解~thenCompose

组合 CompletableFuture 我们可以使用thenCompose()完成上面两个例子。这个方法等待第一个阶段的完成(大写转换), 它的结果传给一个指定的返回CompletableFuture函数,它的结果就是返回的CompletableFuture的结果。 有点拗口,但是我们看例子…

WinForm始终置顶并获取焦点

使一个Winform始终置顶很简单,只要将这个Form的TopMost属性设置为True即可,但是强制让其获取焦点就比较麻烦了。 最开始的想法在Deactivate事件(Form处于非活动状态时)中,加入如下代码: this.Activate();//…

麦肯锡AI应用报告:深度学习是蓝海还是深坑?

来源:网络大数据AI的价值并不在模型自身,而在于公司怎样用好它们。麦肯锡出品,一份深度学习领域的分析报告,包含400个应用案例,横跨19个行业的9种业务功能。报告重点强调了前沿AI技术的应用范围之广,以及经…

pyppeteer:比 selenium 更高效的爬虫利器

API 接口文档:API Reference:https://miyakogi.github.io/pyppeteer/reference.html pyppeteer github 地址:https://github.com/miyakogi/pyppeteer pyppeteer 英文文档地址:https://miyakogi.github.io/pyppeteer/ pyppeteer…

CompletableFuture详解~anyOf

当几个阶段中的一个完成,创建一个完成的阶段 下面的例子演示了当任意一个CompletableFuture完成后, 创建一个完成的CompletableFuture. 待处理的阶段首先创建, 每个阶段都是转换一个字符串为大写。因为本例中这些阶段都是同步地执行(thenAp…

HTML 中表单form 的相关知识

在Javascript 中&#xff0c;页面上的每一对<form> 标记都解析为一个对象&#xff0c;即form 对象。 可以通过document.forms 获取以源顺序排列的文档中所有form 对象的集合。 如果一个表单对象定义如下&#xff1a;<form name"frm1" method"post"…

全球机器学习领域顶尖的16家公司

来源&#xff1a;网络大数据 作者&#xff1a;Andy Patrizio摘要&#xff1a;机器学习是众多公司颇感兴趣的一个新兴领域。本文介绍了几大领先的机器学习公司&#xff0c;包括老牌技术厂商和后起之秀。机器学习是与人工智能一同急剧发展的领域。IDC预测&#xff0c;人工智能和…

突破淘宝对于 selenium 检测

From&#xff1a;https://blog.csdn.net/qq_42196922/article/details/89400988 多加一行代码&#xff0c;突破淘宝模拟登录滑块&#xff1a;http://www.imooc.com/article/285729 爬虫自动化&#xff1a;https://www.jianshu.com/p/b3b92f327374 selenium 跳过 webdriver 检…

CompletableFuture详解~allOf

当所有的阶段都完成后创建一个阶段 上一个例子是当任意一个阶段完成后接着处理&#xff0c;接下来的两个例子演示当所有的阶段完成后才继续处理, 同步地方式和异步地方式两种。 static void allOfExample() {StringBuilder result new StringBuilder();List messages Array…

AIX操作命令记录中

1.重启命令shutdown -Fr 2.查看各分区的使用情况df -sg 3.按占用空间大小降序列出/var文件夹下所有目录的空间占用情况du /var/ | sort -nr | more 4.按占用空间大小降序列出/var文件夹下所有目录和文件的空间占用情况du -a /var/ | sort -nr | more转载于:https://www.cnblogs…

18年你需要了解的15个人工智能统计数据

来源&#xff1a;网络大数据人工智能(AI)每天都在以惊人的速度增长&#xff0c;并且与此同时&#xff0c;围绕着各行业的统计数据也在发生变化。该技术在简化医疗保健行业工作流程方面取得了巨大成功&#xff0c;减少了教育部门行政任务的工时&#xff0c;同时也降低了制造业的…