CVPR 2023 | 数据驱动的解释对分布外数据具有鲁棒性吗?

论文链接: https://arxiv.org/abs/2303.16390
代码链接: https://github.com/tangli-udel/DRE

01. 研究背景:数据驱动的解释对分布外数据具有鲁棒性吗?

近年来,将黑盒机器学习(ML)模型用于高风险应用的趋势日益明显。模型可解释性的缺乏可能会在医疗健康、刑事司法以及其他领域造成严重后果。与此同时,机器学习模型不可避免地会遭遇到超出其训练分布范围的未知数据分布。一个平均水平上表现出色的模型可能因为自然因素、子集群偏移、伪相关性和对抗攻击而在分布外(OOD)数据上发生灾难性的失败。例如,一个肿瘤检测模型可能会错误地预测来自使用不同数据获取协议或设备制造商的医院的样本。因此,跨数据分布的可靠解释对于机器学习模型的安全部署至关重要。然而,现有的研究主要集中在可解释方法在分布内的可靠性,而忽视了解释对于分布变化的鲁棒性。

我们针对不同的可解释方法对此问题进行了实证研究。图1中定性地展示了Grad-CAM[1]方法的解释结果。我们观察到,由于机器学习模型的黑盒属性,分布的偏移会进一步掩盖其决策过程。如图所示,现有方法训练出的模型即使预测正确,其在进行解释时不仅会突出目标对象,也会突出不相关元素(如树枝)。这些伪相关性会导致不同数据分布上的解释不一致,并最终产生在分布外数据上不可靠的解释。这种现象与人们的先验知识相悖,即最具区分性的特征应该是不变的(invariant)。

图1 Terra Incognita[2]数据集分布内和分布外数据的Grad-CAM解释。与现有方法不同,我们的模型(DRE)的解释在不同的分布下始终突出最具区分性的特征。需要指出的是,GroupDRO[3]和IRM[4]是为能够跨分布准确预测而特别设计的方法。

02. 方法介绍:如何开发对分布外数据鲁棒的解释?

获得对分布外数据鲁棒的解释并不容易。

一方面,现有关于分布外泛化的研究主要局限于数据增强、分布对齐、元学习以及不变学习。然而,在没有对解释施加约束的情况下,模型仍会不加选择地吸收训练数据中发现的所有关联,包括伪相关[4]。

另一方面,为了约束模型的解释,现有方法依赖于人工标注或数据增强之间的一对一映射[5]。然而,它们通常不存在于自然发生的分布偏移中。此外,由于标注者的主观性,获得真实解释标注的成本极高,甚至是不可能的。

2.1 问题表述

2.2 分布解释一致性

直观上,混合解释作为伪标签来指导混合样本的解释学习,无需人工标注。并且,分布之间的混合实现了简单但有效的跨分布转换。需要注意的是,g(⋅) 不是固定的,它涵盖了基于梯度的解释方法,例如Grad-CAM和Input Gradient。

图2 分布鲁棒解释(DRE)方法的总览。

03. 实验结果:分布鲁棒解释能否提升模型的泛化能力?

我们在广泛的任务中对DRE进行了评估,包括图像和科学数据的分类与回归任务。我们将DRE与最先进的基准模型进行了分布外解释鲁棒性与泛化性能的比较,并对DRE的关键组成部分进行了消融研究。

3.1 图像分类


图3 对VLCS数据集中的Bird类(左)和Chair类(右)图片的Grad-CAM解释。使用现有方法训练的模型,不仅关注于对象,还关注伪相关性,特别是在分布外数据上这种情况更为严重。相反,我们的模型减少了对伪相关性(例如,背景像素)的依赖,并在分布外数据上做出了一致的解释。

Terra Incognita[2]数据集(约11K图像,10个类别)包含四个子数据集:Location 100、38、43和46。每个子数据集表示野外的一个相机陷阱位置,并可以被视为一个不同的分布。这些数据集中的每个图像都包含一个单一的动物类别(例如,土狼),但具有不同的照明、背景、视角等。

VLCS[7]数据集(约25K图像,5个类别)由四个子数据集组成:Caltech101、LabelMe、SUN09和VOC2007。每个子数据集可以被视为一个不同的分布。这些数据集中的每个图像都包含一个单一的图像类别(例如,汽车),并具有不同的风格和背景。

对于每一个数据集,我们逐个地把每一个分布设置为测试集,其他分布作为训练集。从每个训练集中,我们按照80%与20%的划分来分割数据,其中80%的数据用于训练,而20%的数据用于验证及模型的选择。

表1 在Terra Incognita和VLCS数据集上对出分布外数据解释和预测性能进行比较。我们突出显示了最好的结果和次优的结果,体现了我们方法的优越性。

图3中定性地展示了我们的解释的优越性。我们在表1中定量地展示了两个数据集所有分布上的结果。结果表明,我们的DRE方法能在分布外数据上取得最佳的解释一致性与保真度。同时,分布鲁棒的解释也提升了模型的分布外泛化性能。

3.2 科学数据回归

城市土地数据集(Global National Total Amounts of Urban Land v1,以下简称Urban Land)[8]将全球的土地分为997,022个方格区域。每个方格中都有九种地形、人口和历史城市化率的属性数据。该任务是使用过去40年的数据来预测2010年的城市化率。全球被分为九个大陆区域,每个区域可以看作是一个独特的分布。同样的,我们逐个地把每一个分布设置为测试集。

表2 在Urban Land数据集上对短期城市化预测(2000-2010)的分布外解释和预测性能进行比较。0.01的残差表示估计和观测到的建成土地比例之间的一百分点差异。

我们在表2中展示了在Urban Land数据集所有分布上的结果。结果表明,我们的DRE方法能在分布外数据上取得最佳的科学一致性(Scientific Consistency),即与领域专家的判断真值一致。同样的,分布鲁棒的解释也提升了模型的分布外泛化性能。

04. 结语

我们的贡献包括:

  1. 我们对在自然出现的分布偏移下,数据驱动的解释的鲁棒性进行了全方位的研究。
  2. 我们提出了一个端到端的、与模型无关的学习框架——分布鲁棒解释(DRE)。它充分利用了分布间的信息,为解释学习提供了监督信号,而无需人工注释。
  3. 在包括图像和科学数据上的分类和回归等广泛任务中的实证结果显示,我们的模型在面对分布外(OOD)数据时,其解释和预测的鲁棒性都优于其他模型。

参考文献
[1] Selvaraju et al. Grad-cam: Visual explanations from deep networks via gradient-based localization. ICCV 2017.
[2] Beery et al. Recognition in terra incognita. ECCV, 2018.
[3] Sagawa et al. Distributionally robust neural networks. ICLR, 2019.
[4] Arjovsky et al. Invariant risk minimization. ArXiv, 2019.
[5] Rieger et al. Interpretations are useful: penalizing explanations to align neural networks with prior knowledge. ICML, 2020.
[6] Zhang et al. mixup: Beyond empirical risk minimization. ICLR, 2018.
[7] Fang et al. Unbiased metric learning: On the utilization of multiple datasets and web images for softening bias. ICCV, 2013.
[8] Gao et al. Mapping global urban land for the 21st century with data-driven simulations and shared socioeconomic pathways. Nature communications, 2020.
 

美国特拉华大学计算机和信息科学系招收AI/ML/CV方向博士生
招生信息

学校:University of Delaware
院系:Computer & Information Sciences
研究方向:Machine Learning, Scientific Machine Learning, and Computer Vision.
开始时间:2024年春季或秋季
可选研究课题

Out-of-distribution generalization;
Explainable machine learning;
Domain adaptation/generalization;
Foundation models.
申请要求

计算机,电子,或数学相关专业本科或以上学历;
良好GPA记录,专业排名靠前比如前20%;
本科同学不要求有论文,但最好有机器学习相关研究经历;
托福85分以上,免GRE成绩。
申请方式
有兴趣同学请发送下列材料到  xipeng@udel.edu,邮件主题/简历命名格式:博士申请+姓名

CV;
本科与研究生成绩单,以及专业排名情况;
托福或雅思成绩,GRE成绩;
其他材料比如已(将)发表论文,报告,GitHub主页等。
导师介绍:
Dr. Xi Peng joined the University of Delaware (UD) in 2019. He received the PhD degree in Computer Science from Rutgers University in 2018. Dr. Peng is holding three positions at UD:

Assistant Professor, Department of Computer & Information Sciences (CIS)
Resident Faculty, Data Science Institute (DSI)
Affiliate Faculty, Delaware Environmental Institute (DENIN)
实验室主页:
Deep-REAL (Deep Robust & Explainable AI Lab)
https://deep-real.github.io/
作者:李唐

  关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/106115.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

详解Spring-ApplicationContext

加载器目前有两种选择:ContextLoaderListener和ContextLoaderServlet。 这两者在功能上完全等同,只是一个是基于Servlet2.3版本中新引入的Listener接口实现,而另一个基于Servlet接口实现。开发中可根据目标Web容器的实际情况进行选择。 配…

Android:事件分发机制(二)

这篇主要是第一篇回顾之后,补充一些上一篇没写到的两个点。 第一个的切入点是这个。【处理层叠的view,想要执行下一层的view的点击事件】其背后的原理。 处理层叠的view,要执行下一层的view的点击事件 我们知道,方法是将上一层的…

CentOS 7 编译安装Boost

1、前提条件 linux平台/CentOS 7 下要编译安装Boost除gcc和gcc-c之外,还需要两个开发库:bzip2-devel 和python-devel ,因此在安装前应该先保证这两个库已经安装。 安装指令: yum install bzip2 bzip2-devel bzip2-libs python-devel Cent…

zookeeper源码学习笔记(一)

一、缘起 1、CP还是AP 作为一个在大数据行业工作了7~8年的老兵,在被问到zookeeper和CAP时,竟然有些恍惚,AP还是CP? 看了一些博文,答案几乎都是CP? zookeeper的实现中,P是一定的&…

低代码提速应用开发

低代码介绍 低代码平台是指一种能够帮助企业快速交付业务应用的平台。自2000年以来,低代码市场一直充斥着40大大小小的各种玩家,比如国外的Appian、K2、Pega Systems、Salesforce和Ultimus,国内的H3 BPM。 2015年以后,这个市场更是…

2023年厦门市高等职业院校技能竞赛软件测试竞赛规程

2023年厦门市高等职业院校技能竞赛 软件测试竞赛规程 一、赛项名称 赛项名称:软件测试 竞赛形式:团体赛 赛项专业大类:电子信息 二、竞赛目的 (一)检验教学成效 本赛项竞赛内容以《国家职业教育改革实施方案》为设计方…

Docker逃逸---procfs文件挂载

一、产生原因 将宿主机/proc目录挂载进了容器,而该目录内的/proc/sys/kernel/core_pattern文件是负责进程奔溃时内存数据转储的,当第一个字符是| 管道符时,后面的部分会以命令行的方式进行解析并运行,攻击者可以将恶意文件写入该…

如何使用 Python 中 Pandas 进行数据分析?

Pandas是Python中一个常用的数据分析库,它提供了丰富的数据结构和工具,可以轻松地进行数据分析和处理。下面是一些使用Pandas进行数据分析的示例: 1、加载数据 在进行数据分析之前,我们需要加载数据。Pandas提供了多种方法来加载…

VM设置共享文件夹方法

sudo mount -t fuse.vmhgfs-fuse .host:/ /mnt/hgfs -o allow_other 主要是设置完了需要执行上面这个命令 主机与VMware虚拟机共享文件夹:解决虚拟机找不到共享文件夹问题 - 知乎

【Python数据分析工具】

文章目录 概要整体架构流程技术名词解释 概要 数据分析是一种通过收集、处理、分析和解释大量数据,以发现有价值信息、洞察趋势、制定决策并解决问题的过程。在现代科技和互联网的推动下,数据分析变得日益重要。它不仅仅是对数字和图表的简单解释&#…

代码随想录算法训练营第23期day21| 235. 二叉搜索树的最近公共祖先 、701.二叉搜索树中的插入操作、450.删除二叉搜索树中的节点

目录 一、(leetcode 235)二叉搜索树的最近公共祖先 二、(leetcode 701)二叉搜索树中的插入操作 三、(leetcode 450)删除二叉搜索树中的节点 一、(leetcode 235)二叉搜索树的最近公…

(※)力扣刷题-字符串-实现 strStr()(KMP算法)

28 实现 strStr() 实现 strStr() 函数。 给定一个 haystack 字符串和一个 needle 字符串,在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存在,则返回 -1。 示例 1: 输入: haystack “hello”, needle “ll” 输出: 2 示例…

网站上传文件2M限制的一种解决办法

网站上传文件2M限制的解决办法。原因是php读取的初始化文件是php安装目录下的etc/php.ini文件,将修改过但是不起作用的/etc/php.ini文件复制到php安装目录下的etc/子目录,然后重启apche或者云服务器,在php.ini里修改过的参数才能生效。 主要…

Python多种方法实现九九乘法表

你好,我是悦创。 九九乘法表是一种常见的算术学习工具,通常用于帮助学生记住乘法的基本运算。以下是使用Python实现九九乘法表的几种方法: 1. 使用两个嵌套循环 for i in range(1, 10):for j in range(1, i 1):print(f"{j}x{i}{i * …

MacOS ventura跳过配置锁

Macbook pro 2021跳配置锁 1.什么是配置锁? 配置锁顾名思义就是美国一些企业和公司向苹果工公司定制采购的机器,这些机器一般供应内部员工使用,这种机器和正常机没有什么区别,也是无锁三网机器,功能和正常机器一摸一…

如何用精准测试来搞垮团队?

测试行业每年会冒出来一些新鲜词:混沌工程、精准测试、AI测试…… 这些新概念、新技术让我们感到很焦虑,逼着自己去学习和了解这些新玩意,担心哪一天被淘汰掉。 以至于给我这样的错觉,当「回归测试」、「精准测试」这两个词摆在一…

解决git在window11操作很慢,占用很大cpu的问题

【git在window11操作很慢,占用很大cpu,最后也执行失败】 在谷歌输入:git very slow in window 11。通过下面链接终于找到了解决方案: https://www.reddit.com/r/vscode/comments/sulebx/slow_git_in_wsl_after_updating_to_window…

怒刷LeetCode的第26天(Java版)

目录 第一题 题目来源 题目内容 解决方法 方法一:动态规划 第二题 题目来源 题目内容 解决方法 方法一:有限状态自动机 方法二:正则表达式 第三题 题目来源 题目内容 解决方法 方法一:从最后一位向前遍历 方法二…

测试除了点点点,还有哪些内容呢?

今天和一个网友讨论了一下关于互联网行业中测试的情况,希望能够了解现在的互联网行业主要的测试工作内容。小编根据以往的工作经历和经验情况,来做一个总结和整理。 1、岗位分类 现在的岗位划分主要是分为两大类:测试工程师 和 测试开发工程…

matlab相机标定实验

实验原理 1. 相机标定坐标系 相机的参数对目标的识别、定位精度有很大的影响,相机标定就是为了求出相机的内外参数。标定中有3个不同层次的坐标系:世界坐标系、相机坐标系和图像坐标系(图像物理坐标系和图像像素坐标系)。世界坐…