多视角数据的不确定性估计:全局观的力量

论文标题:Uncertainty Estimation for Multi-view Data: The Power of Seeing the Whole Picture

中文译名:多视角数据的不确定性估计:全局观的力量

原文地址:Uncertainty Estimation for Multi-view Data: The Power of Seeing the Whole Picture

OUTLINE

1.Introduction

2.Related Work

一、Introduction

1. 不确定性的意义

可靠的不确定性估计对于在医学影像诊断或自动驾驶等许多领域部署深度学习模型至关重要。即使有了准确的预测,领域专家仍然对模型的可信度提出质疑。例如,当模型的预测与领域专家的意见相矛盾时,模型预测的不确定性可以帮助确定模型的可靠性并证明模型的使用

2. 关于SNGP

SNGP是一种提高深度分类器不确定性量化的简单方法,它能够保持模型的准确率和潜能。对于残差模型,SNGP只需对其进行2个修改:

1. 对隐藏的残差层使用光谱归一化

2. 使用高斯过程替换全连接输出层

SNGP的核心思想是,通过对网络进行一些简单的修改,提高深度分类器的距离感知能力。(距离感知是指,模型预测的概率值如何反映测试样本和训练数据的距离。SNGP使用一种简单的方法,将高斯过程行为添加到深度分类器中,且保持其预测的准确性。)

优点:

1. 它可以广泛应用于基于残差的结构,例如ResNet, DenseNet, BERT

2. 它是一种单模型方法,不依赖于多个代理的均值。因此,SNGP与单个基于结论的网络有相似的潜能,而且很容易scale到大的数据集上

3. 它有很强的域外检测能力(?),因为它有距离感知特点。

缺点:

1. SNGP预测结果的不确定性使用Laplace approximation计算,SNGP后验的不确定性与高斯过程不同

2. SNGP训练时需要在每个世代开始前,需要对协方差进行清空。这给训练过程添加了一点复杂度。这一点可以使用keras的回调函数实现。

3. P.S.域外检测

对于分类,以二分类为例,假设给定了两个类目,训练出一个分类器,把数据映射到一个空间,能通过一条线把他们给区分开,如果样本落在线的一侧,则认为是正类,另一侧则是负类。简单到线性分类器、SVM之类的,复杂到各种深度学习,都类似于这个逻辑。

而所谓的域外检测,可以理解为,把正类样本尽可能映射到一个封闭的空间内,例如一个圈内,此时,处于这个圈内的就是正类,圈外的就是负类,此时圈外的内容不管来的是什么,模型见没见过都关系不大,因为圈内的模型是见过的,而且比较稳定。

所以所需关注的,无非就是这两个点:

1. 尽可能拿到覆盖面广且明确的样本,尤其是正样本,甚至有些这个领域的数据集已经直接干掉负样本,只给正样本了。

2. 有一个高效的表征和分类方案。
现有的研究大多就是这两个方向,而前者更倾向于业务和一些数据增强操作,发论文不是那么容易放的上台面,所以现在绝大部分论文在研究后者。

4. 关于MGP

在没有噪声视图的情况下,单峰模型可以在训练域附近产生准确和自信的预测。然而,对于噪声视图,即使接近训练域的样本,预测也变得不确定。现有的多视图分类器(例如TMC),检测域外(OOD)样本的能力同样有限。

为此,提出了多视图高斯过程(MGP),这是一个定制的框架,为了多视图/模态内在不确定性估计。

具体来说,MGP由一个专门的高斯过程(GP)专家组成,每个视图的预测由专家积(PoE)汇总,通过在再现核希尔伯特空间(RKHS)中测量训练集和测试样本之间的距离来捕获不确定性。在处理噪声方面具有更强的鲁棒性和更好的OOD数据检测能力

SNGP:https://f.daixianiu.cn/csdn/4891298843106058.html#%E4%BC%98%E7%82%B9

二、Related Work

1. Uncertainty Estimation with GP

GP的不确定性估计由于其对域移的高度敏感性而成为不确定性估计的金标准之一。

在深度学习模型中实现GP的常见方法之一将GP置于提取特征的输出层之上。特征通常是从确定性深度神经网络、贝叶斯神经网络或图数据中提取的。

类似地,MGP建立在这些方法之上,并且可以与各种特征提取器结合使用。然而,与上述所有研究不同,这些研究是针对单峰数据设计的,但MGP是一个多视图GP。其他利用核学习进行不确定性估计的变体包括深度GP和RBF网络。

2. Multi-view Learning 

多视图和多模式学习通过利用描述相同事件或对象的多个数据源来实现各种下游任务。(多个源:比如人物识别可以用脸、指纹等作为不同源的输入;多个特征子集:比如图像表示可以用颜色、文字等作为不同特征表述。)

尽管在多视角和多模态学习方面有着广泛的研究,但大多数研究并不主要针对不确定性估计。

3. P.S.协同训练

协同训练:多视角学习算法中的一种,是基于分歧的方法,其假设每个数据可以从不同的角度(view)进行分类,不同角度可以训练出不同的分类器,然后用这些从不同角度训练出来的分类器对无标签样本进行分类,再选出认为可信的无标签样本加入训练集中。由于这些分类器从不同角度训练出来的,可以形成一种互补,而提高分类精度;就如同从不同角度可以更好地理解事物一样。

典型相关分析CCA:https://blog.csdn.net/xq151750111/article/details/121618194

4. Multi-view Uncertainty Estimation

目前针对多视角、多模态不确定性估计的研究很少。

混合正态-逆伽马分布的多模态回归产生了有希望的不确定性估计和真实数据预测。然而,这种方法是为回归而设计的,这与分类的方法不同。

可信多视图分类器(TMC),它通过使用Dempster的组合规则将来自不同视图的证据组合在一起。然而,Dempsterd组合规则忽略了对冲突观点的预测,这是一个不希望看到的特性,尤其是在高风险应用中。此外,实验表明,TMC对OOD样本过于自信

Dempster的组合规则:数分基础

5. P.S.TMC

现有的多视角方法通常假定每个视角具有相同的值,或者会为每个视角学习固定的权重因子。这两种方法的基本假设是需要每个视角的数据具有相同的质量和重要性,但实际中往往不能达到,即每个视角的质量因样本而异

使用量化不确定性分析方法可以评估预测结果的可信度,但现有的方法通常只能应用于单一视角的数据。

提出了一种新的多视角分类方法:基于动态证据融合的可信多视角分类(TMC)。模型不像之前的方法那样利用不同视角所产生的特征,而是在证据level上利用多视角,从而产生稳定、合理的不确定性估计,提高分类的可靠性和鲁棒性。

TMC论文:https://readpaper.com/paper/4616914669063380993

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/873737.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python用selenium网页模拟时xpath无法定位元素解决方法2

有时我们在使用python selenium xpath时,无法定位元素,红字显示no such element。上一篇文章写了1种情况,是包含iframe的,详见https://blog.csdn.net/Sixth5/article/details/140342929。 本篇写第2种情况,就是xpath定…

类和对象:赋值函数

1.运算符重载 • 当运算符被⽤于类类型的对象时,C语⾔允许我们通过运算符重载的形式指定新的含义。C规定类类型对象使⽤运算符时,必须转换成调⽤对应运算符重载,若没有对应的运算符重载,则会编译报错;(运算…

数据旋律与算法和谐:LLMs的微调交响

论文:https://arxiv.org/pdf/2310.05492代码:暂未开源机构:阿里巴巴领域:模型微调发表:ACL 2024 这篇论文《How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition》深入…

【BUG】已解决:raise KeyError(key) from err KeyError: (‘name‘, ‘age‘)

已解决:raise KeyError(key) from err KeyError: (‘name‘, ‘age‘) 欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 欢迎来到我的主页,我是博主英杰,211科班出身,就职于医疗科技公司,热衷分享知识&#xf…

python学习(不是广告)是我自己看了这么多课总结的经验

入门 首先推荐的是林粒粒的python入门学习 在你看完这套Python入门教程后: 想继续巩固基础 👉 想学习Python数据分析 👉 想学习Python AI大模型应用开发 👉 进阶 入门之后就是进阶使用python实现 1.办公效率化 2.数据分析&am…

信弘智能与图为科技共探科技合作新蓝图

本期导读 近日,图为信息科技(深圳)有限公司迎来上海信弘智能科技有限公司代表的到访,双方共同探讨英伟达生态系统在人工智能领域的发展。 在科技日新月异的今天,跨界合作与技术交流成为了推动行业发展的重要驱动。7月…

GraphRAG+ollama+LM Studio+chainlit

这里我们进一步尝试将embedding模型也换为本地的,同时熟悉一下流程和学一些新的东西 1.环境还是用之前的,这里我们先下载LLM 然后你会在下载nomic模型的时候崩溃,因为无法搜索,无法下载 解决办法如下lm studio 0.2.24国内下载…

Qt 遍历Combbox下拉框的内容并进行判断

一共用到两个函数&#xff1a; 1、count()&#xff1b;用于计算当前Combox中一共有几个item。 2、itemText(int i)&#xff1b;参数 i 是需要查看item的索引。 用来查看当前item的text&#xff08;文本信息&#xff09;。 for(int i 0; i < ui->comboBox_displayDev-&g…

C++学习笔记-用const修饰的类成员函数

在C编程中&#xff0c;const关键字扮演着多重角色&#xff0c;其中之一就是用于修饰类的成员函数&#xff0c;以表明该函数不会修改类的任何成员变量&#xff08;无论是数据成员还是静态成员&#xff09;。使用const成员函数可以提高代码的可读性和安全性&#xff0c;特别是在多…

Ubuntu 24.04 LTS Noble安装Docker Desktop简单教程

Docker 为用户提供了在 Ubuntu Linux 上快速创建虚拟容器的能力。但是&#xff0c;那些不想使用命令行管理容器的人可以在 Ubuntu 24.04 LTS 上安装 Docker Desktop GUI&#xff0c;本教程将提供用于设置 Docker 图形用户界面的命令…… Docker Desktop 是一个易于使用的集成容…

mybatis-sql实战总结

mybatis-sql实战总结 动态条件查询怎么List遍历集合进行拼接&#xff1f; 动态条件查询 动态条件查询总结 注意点&#xff1a; 1.可以用where 11 也可以用 防止出现后面没有条件的情况 2.模糊查询用concat拼接 A.SSTRING10 like concat(#{adAccEntrie.sstring10},‘%’) 3. 对于…

Python正则表达式中的分组

表达式中的分组 它是可以通过" () “来进行分组&#xff0c;更专业的表达就是捕获组&#xff0c;每个完整的” () “可以分为一组&#xff0c;同时&#xff0c;” () “中还可以嵌套” () "&#xff0c;即组之间还可以存在更小的组 概念 1、当我们在一个正则表达式…

最短路径算法——A*算法

A*算法是静态路网中求解最短路径最有效的直接搜索算法&#xff0c;也是解决许多搜索问题的有效算法&#xff0c;广泛应用于机器人路径搜索、游戏动画路径搜索等。它是图搜索算法的一种。 A*算法是一种启发式的搜索算法&#xff0c;它是基于深度优先算法(Depth First Search, D…

pgsql-使用dump命令制作数据库结构、数据快速备份bat脚本

一、背景 通过pgsql的dump命令可以快速的做数据库表结构、表数据的备份&#xff0c;随着业务不断的增加单库单实例已经不能满足业务需要。技术人员是比较懒惰的&#xff0c;每次敲相同命令或是无脑的复制黏贴操作感觉都是对精神的一种摧残&#xff0c;解决摧残的方法就是把命令…

脑肿瘤有哪些分类? 哪些人会得脑肿瘤?

脑肿瘤&#xff0c;作为一类严重的脑部疾病&#xff0c;其分类复杂多样&#xff0c;主要分为原发性脑肿瘤和脑转移瘤两大类。原发性脑肿瘤起源于颅内组织&#xff0c;常见的有胶质瘤、脑膜瘤、生殖细胞瘤、颅内表皮样囊肿及鞍区肿瘤等。其中&#xff0c;胶质瘤作为最常见的脑神…

dict 之ai学习

我的代码&#xff1a; k["name","age","job"] v1["zhangsan",25,"programmer"] v2["lisi",33,"worker"] v3["wangwu",55,"scientist"] s4dict(zip(k,v1,v2,v3)) for key,valu…

Java 零基础自学,如何系统全面地自学 Java 语言?

粉丝问&#xff1a;他只是一个普通人&#xff0c;初识Java&#xff0c;真的很想学好它。但是现在却只是在网上课堂上看Java基础课程&#xff08;入门知识&#xff0c;面向对象&#xff0c;常用类&#xff0c;异常等等&#xff09;看着看着就发现一头雾水&#xff0c;没有方向&a…

nodejs学习之process.env.NODE_ENV

简介 process对象是 Node 的一个全局对象&#xff0c;提供当前 Node 进程的信息。它可以在脚本的任意位置使用&#xff0c;不必通过require命令加载。该对象部署了EventEmitter接口。 process.env 属性返回包含用户环境的对象 使用 pnpm init新建index.js const { env } r…

【C++】类和对象(二)

个人主页 创作不易&#xff0c;感谢大家的关注&#xff01; 文章目录 ⭐一、类的默认成员函数&#x1f48e;二、构造函数⏱️三、析构函数&#x1f3dd;️ 四、拷贝构造函数&#x1f384;五、赋值运算符重载&#x1f3e0;六、取地址运算符重载&#x1f389;const成员 ⭐一、类…

系统架构设计师教程 第3章 信息系统基础知识-3.7 企业资源规划(ERP)-解读

系统架构设计师教程 第3章 信息系统基础知识-3.7 企业资源规划&#xff08;ERP&#xff09; 3.7.1 企业资源规划的概念3.7.2 企业资源规划的结构3.7.2.1 生产预测3.7.2.2 销售管理&#xff08;计划&#xff09;3.7.2.3 经营计划&#xff08;生产计划大纲&#xff09;3.7.2.4 …