Uncertainty-Aware Mean Teacher(UA-MT)

Uncertainty-Aware Mean Teacher

  • 0 FQA:
  • 1 UA-MT
    • 1.1 Introduction:
    • 1.2 semi-supervised segmentation
    • 1.3 Uncertainty-Aware Mean Teacher Framework
  • 参考:

0 FQA:

Q1: 不确定感知是什么意思?不确定信息是啥?
Q2:这篇文章的精妙的点在哪?
Q3:MC dropout可以用在分类上面吗?因为原文是用在分割上面的。
Q4:mc dropout是放在哪里? 放在教师上还是学生上?为什么?
Q5: 怎么保留低不确定性,和怎么利用高不确定性的呢
Q6: **不确定图是啥? 怎么生成的? **

A2: 概括来看,这篇文章就是改进了一下无标签的一致性损失函数。 这篇文章的精妙点在于,通过教师的mc dropout来估计每个目标预测的不确定性,在估计不确定性的指导下,计算一致性损失时过滤掉不可靠的预测,只保留可靠的预测。 让学生从教师的可靠的知识中学习,增加教师知识的可靠性。 其实就是多输出几次结果,然后取均值的感觉,然后避免网络的误差。
A3:理论上感觉是可以的,因为mc dropout 就相当于多推理几次,可能不同的点在于如何计算不确定性图。因为分割是体积,而分类是分类结果。
A4: 通过mc 让
教师更加确信自己教的知识
,学生也会学的更好。
A6: 其实也没有啥不确定性图,只不过是为了掩饰mc 之后出来的东西。其实就是多了一个计算熵值的步骤。有了这个map 看起来更加花里胡哨。

1 UA-MT

论文完整标题:Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation

代码:https://github.com/yulequan/UA-MT

1.1 Introduction:

本文提出了一种新的基于不确定性的半监督学习框架(UA-MT),通过额外利用未标记的数据从3D MR图像中分割左心房。和Mean Teacher模型一样,该方法鼓励分割预测在相同输入的不同扰动下保持一致。
具体地说,本文建立了一个教师模型和一个学生模型,学生模型通过最小化标注数据上的分割监督损失和所有输入数据上的与教师模型预测输出的一致性损失进行优化。
但未标注的输入中没有提供ground truth,教师模型中的预测目标可能不可靠且有噪声。在这方面,我们设计了(UA-MT)框架,学生模型通过利用教师模型的不确定性信息,逐渐从有意义和可靠的目标中学习。除了生成目标输出,教师模型还通过Monte Carlo Dropout 估计每个目标预测的不确定性。在估计不确定性的指导下,计算一致性损失时过滤掉不可靠的预测,只保留可靠的预测(低不确定性)。因此,学生模型得到了优化,得到了更可靠的监督,并反过来鼓励教师模型生成更高质量的目标。

image.png

1.2 semi-supervised segmentation

半监督分割:EMA:
有监督损失,无监督一致性损失;

在这里插入图片描述

1.3 Uncertainty-Aware Mean Teacher Framework

如果没有未标记输入中的注释,教师模型的预测目标可能不可靠且有噪声。因此,我们设计了一种不确定性感知方案,使学生模型能够逐渐从更可靠的目标中学习。给定一批训练图像,教师模型不仅生成目标预测,还估计每个目标的不确定性。然后通过一致性损失来优化学生模型,该模型在估计不确定性的指导下仅关注置信目标

Uncertainty Estimation:受贝叶斯网络中不确定性估计的启发,我们使用蒙特卡罗 Dropout 来估计不确定性
在随机 dropout 下对教师模型执行 T 次随机前向传递,并为每个输入量输入高斯噪声。
因此,对于输入中的每个体素,我们获得一组softmax概率向量:{pt}_t *T。我们选择 预测熵 作为近似不确定性的度量,因为它有一个固定的范围[8]。
采用
预测熵
,作为度量方式来近似获取到不确定性:UAMT 算法过滤掉分割预测中不确定值较高的像素,仅保留可信的像素作为学生模型学习的目标

image.png
其中 ptc 是第 t 次预测中第 c 个类别的概率。请注意,不确定性是在体素水平上估计的,整个体积** U 的不确定性**是 {u} ∈ RH×W ×D。

Uncertainty-Aware Consistency Loss.:在估计不确定性 U 的指导下,我们过滤掉相对不可靠**(高不确定性)的预测,并仅选择某些预测作为学生模型学习的目标。特别是,对于我们的半监督分割任务,我们将不确定性感知一致性损失 Lc 设计为教师和学生模型的体素级均方误差(MSE)损失**,仅用于最确定的预测:

过滤掉高不确定性的,也就是熵大于某个值的。熵值越大,不确定性越高。

在这里插入图片描述

式中,I(·)为指示函数; f ′ v 和 fv 分别是教师模型和学生模型在第 v 个体素处的预测; uv 是第 v 个体素处的估计不确定性 U; H是选择最确定目标的阈值。
通过我们在训练过程中的不确定性感知一致性损失,学生和教师都可以学到更可靠的知识,从而减少模型的整体不确定性。

参考:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/702978.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java面试——锁

​ 公平锁: 是指多个线程按照申请锁的顺序来获取锁,有点先来后到的意思。在并发环境中,每个线程在获取锁时会先查看此锁维护的队列,如果为空,或者当前线程是等待队列的第一个,就占有锁,否则就会…

停止一个正在运行的线程的正确姿势

1、使用退出标志,使线程正常退出,也就是当run方法完成后线程终止。 2、使用stop方法强行终止,但是不推荐这个方法,因为stop和suspend及resume一样都是过期作 废的方法。 3、使用interrupt方法中断线程。 class MyThread extend…

线性代数的几何意义简单总结

矩阵的意义 矩阵既可以理解为一组(列)基向量,也可以理解为线性变换。 某个向量左乘矩阵表示向量在用新的基向量表示对应在原始坐标系下的坐标,也可以视为经过线性变换后的坐标。 原始基向量都是单位矩阵,其他矩阵都…

284.【华为OD机试真题】二叉树的广度优先遍历(二叉树的构建和层次遍历—JavaPythonC++JS实现)

🚀点击这里可直接跳转到本专栏,可查阅顶置最新的华为OD机试宝典~ 本专栏所有题目均包含优质解题思路,高质量解题代码(Java&Python&C++&JS分别实现),详细代码讲解,助你深入学习,深度掌握! 文章目录 一. 题目-二叉树的广度优先遍历二.解题思路三.题解代码P…

idea 2018.3永久简单激活。激活码

1.打开hosts文件将 0.0.0.0 account.jetbrains.com 添加到文件末尾 C:\Windows\System32\drivers\etc\hosts 2.注册码: MNQ043JMTU-eyJsaWNlbnNlSWQiOiJNTlEwNDNKTVRVIiwibGljZW5zZWVOYW1lIjoiR1VPIEJJTiIsImFzc2lnbmVlTmFtZSI6IiIsImFzc2lnbmVlRW1haWwiOiIiLCJsaW…

AutoSAR(基础入门篇)11.2-存储处理与Block

目录 一、NVRAM Block NVRAM Block的类型 二、Fee Block 三、Ea Block 四、总结 同通信的PDU一样,存储功能也需要一些特殊的数据结构来存放和管理我们的NV数据(NV data) 一、NVRAM Block NVRAM Block的作用类似于IPDU,但它们两仅仅只是作用上相似,其功能实现是完全…

数据结构知识点总结-线性表(1)-线性表的定义、基本操作、顺序表表示

线性表 定义 线性表是具有相同数据类型的N(N>0)个元素的有限序列,其中N为表长,当N0时线性表是一张空表。 线性表的逻辑特征:每个非空的线性表都有一个表头元素和表尾元素,中间的每个元素有且仅有一个直…

有趣的CSS - 弹跳的圆

大家好,我是 Just,这里是「设计师工作日常」,今天分享的是用css写一个好玩的不停弹跳变形的圆。 《有趣的css》系列最新实例通过公众号「设计师工作日常」发布。 目录 整体效果核心代码html 代码css 部分代码 完整代码如下html 页面css 样式页…

Leetcode题解20.有效的括号

题目 给定一个只包括 (,),{,},[,] 的字符串 s ,判断字符串是否有效。 有效字符串需满足: 左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。每个右括号都有一个对应的相同类型…

亿道丨三防平板电脑厂家丨三防平板PDA丨三防工业平板:数字时代

在当今数字化时代,我们身边的世界变得越来越依赖于智能设备和无线连接。其中,三防平板PDA(Personal Digital Assistant)作为一种功能强大且耐用的数字工具,正在引领我们进入数字世界的全新征程。 三防平板PDA结合了平板…

RabbitMQ消息堆积

消息堆积是指在消息队列中,因为生产消息的速度超过消费消息的速度,导致大量消息在队列中积压的现象。在RabbitMQ中,处理消息堆积的策略通常包括以下几个方面: 增加消费者数量(水平扩展):通过增加…

【Elasticsearch专栏 07】深入探索:Elasticsearch的倒排索引如何进行模糊查询和通配符查询

文章目录 Elasticsearch的倒排索引如何进行模糊查询和通配符查询01 模糊查询(Fuzzy Query)02 通配符查询(Wildcard Query)03 查询性能优化04 总结 Elasticsearch的倒排索引如何进行模糊查询和通配符查询 Elasticsearch的倒排索引…

LeetCode 0235.二叉搜索树的最近公共祖先:用搜索树性质(不遍历全部节点)

【LetMeFly】235.二叉搜索树的最近公共祖先:用搜索树性质(不遍历全部节点) 力扣题目链接:https://leetcode.cn/problems/lowest-common-ancestor-of-a-binary-search-tree/ 给定一个二叉搜索树, 找到该树中两个指定节点的最近公…

2024全国水科技大会暨减污降碳协同增效创新与实践论坛(八)

召集人:王洪臣 中国人民大学环境学院教授 姚 宏 北京交通大学教授 为大会征集“绿色低碳污水厂案例”,欢迎各相关单位积极报名! 一、会议背景 生态环境部、国家发展和改革委员会等七部门印发《减 污降碳协同增效实施方案》中明确提出推进水…

Linux下minishell项目的编写

项目目标 1.编写函数打印初始界面以及显示输入的命令(由于程序一直执行,需要在循环内执行) 2.编写接收用户输入的命令的函数 3.编写使命令与功能匹配的函数 4.将界面输入的字符串分割为命令以及传入函数的数据 5.完成minishell的基本功能…

【C++】C++对C语言的关系,拓展及命名空间的使用

文章目录 📝C简述C融合了3种不同的编程方式:C和C语言关系是啥呢?C标准 🌠C应用🌠C语言优点第一个C程序 🌠命名空间🌠命名空间的使用命名空间的定义 🌠怎么使用命名空间中的内容呢&am…

测试C#使用ViewFaceCore实现图片中的人脸遮挡

基于ViewFaceCore和DlibDotNet都能实现人脸识别,准备做个遮挡图片中人脸的程序,由于暂时不清楚DlibDotNet返回的人脸尺寸与像素的转换关系,最终决定使用ViewFaceCore实现图片中的人脸遮挡。   新建Winform项目,在Nuget包管理器中…

【深度学习】微调ChatGlm3-6b

1.前言 指令微调ChatGlm3-6b。微调教程在github地址中给出,微调环境是Qwen提供的docker镜像为环境。 镜像获取方式:docker pull qwenllm/qwen:cu117 github地址:https://github.com/liucongg/ChatGLM-Finetuning 2.微调过程 github地址中的教…

Excel工作表控件实现滚动按钮效果

实例需求:工作表中有多个Button控件(工作表Form控件)和一个ScrollBar控件(工作表ActiveX控件,名称为ScrollBar2),需要实现如下图所示效果。点击ScrollBar控件实现按钮的滚动效果,实际…

2024.2.25 在centos8.0安装docker

2024.2.25 在centos8.0安装docker 安装过程比较简单,按顺序安装即可,简要步骤: 一、更新已安装的软件包: sudo yum update二、安装所需的软件包,允许 yum 通过 HTTPS 使用存储库: sudo yum install -y …