【论文阅读】通过3D和2D网络的交叉示教实现稀疏标注的3D医学图像分割(CVPR2023)

目录

  • 前言
  • 方法
    • 标注
    • 3D-2D Cross Teaching
    • 伪标签选择
      • Hard-Soft Confidence Threshold
    • Consistent Prediction Fusion
  • 结论

论文:3D Medical Image Segmentation with Sparse Annotation via Cross-Teaching between 3D and 2D Networks
代码:https://github.com/hengcai-nju/3d2dct

前言

问题1:医学图像分割通常需要大量且精确标注的数据集。但是获取像素级标注是一项劳动密集型的任务,需要领域专家付出巨大的努力,这使得在实际临床场景中获取具有挑战性。
可行的方向:稀疏的标注,与传统弱监督标记(比如边界框和乱码)相比具有若干优势,因为它保留了精确的表姐
问题2:监督信号稀缺性
解决方案:提出了使用3D和2D网络交叉教学的框架,鲁棒的从稀疏标注中学习。
具体怎么解决:生成伪标签来增加监督信号。
伪标签怎么生成:看后文
怎么知道生成的伪标签可不可用:伪标签选择
方法:提出两种伪标签选择策略,硬-软置信度阈值和一致标签融合
效果:在MMWHS dataset中优于SOTA的半监督学习方法,与全监督方法的上界相当。

方法

标注

考虑一个3D图像标注一个标签,它的限制:

  1. 目标必须在标注的切片上可见,如果多分类,大多数情况下目标很难都在一张图片中可见。
  2. 切片间可能变化大,单个切片的信息不足以训练一个性能很好的分割模型。
    要求:1. 目标可见 2. 标注的两个切片之间变化很大,才能获得更多信息。
    标注方法:十字标注法。Cross Annotation
    在这里插入图片描述

3D-2D Cross Teaching

在这里插入图片描述
(大家可以忽略,我在锻炼我提出问题的能力)只看这个图,可以提出很多问题:
M 2 D 1 M_{2D_1} M2D1, M 2 D 2 M_{2D_2} M2D2 M 3 D M_{3D} M3D一看就是模型,它们是什么结构,(2D的模型有一个切片标注了,可以用作半监督分割模型或者few-shot中的1-shot,不知道对不对),那么3D那个就是输出和伪标签比较计算loss吗。为什么3D输出的也能监督2D的。这两个怎么权衡?其中的 P a c c P_{acc} Pacc是什么为什么生成2个3D输出,MIX是什么操作?为什么MIX?可能那个2D的猜错了,它是2D和3D相互监督,只有两个Loss。
这个框架包含3个网络,一个3D网络,两个2D网络。 3D和2D网络之间的不同是内在的它们的结构决定的,两个2D网络的不同源自于它们在不同的平面的切片上训练网络。
3D样本直接作为3D网络的输入,在两个方向上切片得到横向切片和冠状切片作为2D网络的输入,它们的预测值为 P P P。选择之后作为伪标签。
为了增加监督信号,我们混合了选择的伪标签和稀疏的真是标签一起监督。
Y ^ = M I X ( Y , P ) \hat{Y}=MIX(Y,P) Y^=MIX(Y,P)
用稀疏的真实标签替换掉伪标签中相应的部分。
因为3D网络比2D网络强大,所以如果3D网络预测结果的置信度大于两个2D的伪标签,这个体素就不应该计算Loss。
使用M去表示体素对损失计算的贡献,如果第i个位置体素的损失不应该被计算就为0,其他对于真实标注就是1,对于伪标签是w,其中w是0-0.1的斜坡函数。
在这里插入图片描述

伪标签选择

Hard-Soft Confidence Threshold

因为监督信号有限,所以3D网络预测得到的标签信号噪声大,直接用作2D网络的伪标签,会造成性能的退化。设置一个置信度去选择更有可能准确的体素。
问题:可能会过滤掉置信度低的正确的体素。
想法:如果知道预测的准确度,我们可以设置比准确度低一点的置信度来利用更多有用的体素信息。
问题:不知道3D网络预测和真是真实标签的准确度。
想法:使用伪标签的准确度利用稀疏标签和那一部分的预测值计算准确度。训练的时候实际准确度 R a c c R_{acc} Racc,伪标签的准确度 P a c c P_{acc} Pacc与训练样本是有关联的。
在这里插入图片描述
I I I指示函数(是1否0),不太理解我以为是只计算标注的那两个图片上的。yi前面 Y ^ \hat{Y} Y^的元素, p ^ i \hat{p}_i p^i是对第i个体素的one-hot预测。
Soft置信度 t s t_s ts有较低的值,Hard置信度 t h t_h th有较高的值。对于可靠的预测置信度高,用Soft置信度选择伪标签,目的:保留置信度低的体素,筛选掉特别不确定的体素减少错误监督带来的影响。
在不可靠。在不可靠的预测中,只有置信度高于硬阈值的体素才能被选为伪标签。设置硬阈值是为了从不可靠的预测中选择高质量的体素。软硬置信度阈值策略实现了增加监控信号和降低标签噪声之间的平衡。

Consistent Prediction Fusion

用两个2D网络的输出的一致的部分作为3D网络的伪标签。
因为两个2D网络是在不同平面的切片上训练的,它们学习区分不同平面的前景和背景。两个网络输出一致的部分更有可能正确。

结论

在本文中,我们将稀疏注释扩展到交叉注释,以适应更一般的真实临床场景。
我们从两个平面标记切片,这扩大了注释的多样性。
为了更好地利用交叉注释,我们从半监督分割的角度来看待这个问题,我们提出了一种新的交叉教学范式,它对3D和2D网络的预测施加了一致性。
此外,为了实现鲁棒的交叉监督,我们提出了新的策略来选择可信的伪标签,是三维网络的软硬阈值和2D网络的一致预测融合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/97193.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

95、Spring Data Redis 之使用RedisTemplate 实现自定义查询 及 Spring Data Redis 的样本查询

Spring Data Redis 之使用RedisTemplate 实现自定义查询 Book实体类 原本的接口,再继承我们自定义的接口 自定义查询接口----CustomBookDao 实现类:CustomBookDaoImpl 1、自定义添加hash对象的方法 2、自定义查询价格高于某个点的Book对象 测试&a…

【JavaEE】线程安全的集合类

文章目录 前言多线程环境使用 ArrayList多线程环境使用队列多线程环境使用哈希表1. HashTable2. ConcurrentHashMap 前言 前面我们学习了很多的Java集合类,像什么ArrayList、Queue、HashTable、HashMap等等一些常用的集合类,之前使用这些都是在单线程中…

Amber中的信息传递——章节1.1-第二部分

Amber中的信息传递在实操中共分为预备程序、模拟程序和分析程序三个部分,具体相关文件如下: 1. 预备程序 **LEaP:**是在 Amber 中创建新系统或修改现有系统的主要程序。 它有命令行程序 tleap 和图形用户界面 xleap 两种形式。它结合了 Ambe…

【ARM CoreLink 系列 4 -- NIC-400 控制器详细介绍】

文章目录 1.1 ARM NIC-400(Network interconnect)1.1.1 NIC-400 系统框图1.1.2 NIC-400 Network Interconnect1.2 NIC-400 特点1.2.1 QoS-400 Advanced Quality of Service1.2.2 QVN-400 QoS Virtual Networks1.2.3 TLX-400 Thin Links1.3 NIC-400 Top1.4 NIC-400 Terminology1…

RabbitMQ之Fanout(扇形) Exchange解读

目录 基本介绍 适用场景 springboot代码演示 演示架构 工程概述 RabbitConfig配置类:创建队列及交换机并进行绑定 MessageService业务类:发送消息及接收消息 主启动类RabbitMq01Application:实现ApplicationRunner接口 基本介绍 Fa…

使用华为eNSP组网试验⑸-访问控制

今天练习使用华为sNSP模拟网络设备上的访问控制,这样的操作我经常在华为的S7706、S5720、S5735或者H3C的S5500、S5130、S7706上进行,在网络设备上根据情况应用访问控制的策略是一个网管必须熟练的操作,只是在真机上操作一般比较谨慎&#xff…

『力扣每日一题14』:消失的数字

昨天忙过头,等想起来已经 12 点多了,于是乎断更了。在这里先跟广大读者说声抱歉,并且稍后我会再更一篇。 一、题目 数组nums包含从0到n的所有整数,但其中缺了一个。请编写代码找出那个缺失的整数。你有办法在O(n)时间内完成吗&…

微服务技术栈-Gateway服务网关

文章目录 前言一、为什么需要网关二、Spring Cloud Gateway三、断言工厂和过滤器1.断言工厂2.过滤器3.全局过滤器4.过滤器执行顺序 四、跨域问题总结 前言 在之前的文章中我们已经介绍了微服务技术中eureka、nacos、ribbon、Feign这几个组件,接下来将介绍另外一个组…

using 语句 - 确保正确使用可释放对象

using语句块的几种用法。 1、using 语句可确保正确使用 IDisposable 实例&#xff1a; var numbers new List<int>(); using (StreamReader reader File.OpenText("numbers.txt")) {string line;while ((line reader.ReadLine()) is not null){if (int.Try…

Android源码下载

文章目录 一、Android源码下载 一、Android源码下载 AOSP 是 Android Open Source Project 的缩写。 git 常用命令总结 git 远程仓库相关的操作 # 查看 remote.origin.url 配置项的值 git config --list Android9.0之前代码在线查看地址&#xff1a;http://androidxref.com/ …

【LeetCode高频SQL50题-基础版】打卡第2天:第11-15题

文章目录 【LeetCode高频SQL50题-基础版】打卡第2天&#xff1a;第11-15题⛅前言 员工奖金&#x1f512;题目&#x1f511;题解 学生们参加各科测试的次数&#x1f512;题目&#x1f511;题解 至少有5名直接下属的经理&#x1f512;题目&#x1f511;题解 确认率&#x1f512;题…

使用python利用merge+sort函数对excel进行连接并排序

好久没更新了&#xff0c;天天玩短视频了。现在发现找点学习资料真的好难。 10.1期间偶然拿到一本书 本书是2022年出版的&#xff0c;看了一下不错&#xff0c;根据上面的案例结合&#xff0c;公司经营整合案例&#xff0c;分享一下。 数据内容来源于书中内容&#xff0c;仅供…

docker部署Vaultwarden密码共享管理系统

Vaultwarden是一个开源的密码管理器&#xff0c;它是Bitwarden密码管理器的自托管版本。它提供了类似于Bitwarden的功能&#xff0c;允许用户安全地存储和管理密码、敏感数据和身份信息。 Vaultwarden的主要特点包括&#xff1a; 1. 安全的数据存储&#xff1a;Vaultwarden使…

手机投屏电脑软件AirServer5.6.3.0最新免费版本下载

随着智能手机的普及&#xff0c;越来越多的人喜欢用手机观看视频、玩游戏、办公等。但是&#xff0c;有时候手机屏幕太小&#xff0c;不够清晰&#xff0c;也不方便操作。这时候&#xff0c;如果能把手机屏幕投射到电脑上&#xff0c;就可以享受更大的视野&#xff0c;更流畅的…

【javaweb】学习日记Day11 - tlias智能管理系统 - 文件上传 新增 修改员工 配置文件

目录 一、员工管理功能开发 1、新增员工 postman报错500的原因 &#xff08;1&#xff09;Controller类 &#xff08;2&#xff09;Service类 &#xff08;3&#xff09;Mapper类 2、根据ID查询 &#xff08;1&#xff09;Controller类 &#xff08;2&#xff09;Serv…

第11章 Redis(一)

11.1 谈谈你对Redis的理解 难度:★★★ 重点:★★ 白话解析 对Redis的理解无非从三个方面去说一说:背景,是什么,特性。 背景:数据直接存磁盘太慢了,虽然MySQL用到了BufferPool等缓存,但是为了保证数据不丢失,MySQL采用的RedoLog依然要直接写磁盘。所以,数据的存储就…

基于小波神经网络的网络流量预测算法matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022A 3.部分核心程序 ........................................................... %% 总流量数据 input(:,1)dat…

如何保证 RabbitMQ 的消息可靠性?

项目开发中经常会使用消息队列来完成异步处理、应用解耦、流量控制等功能。虽然消息队列的出现解决了一些场景下的问题&#xff0c;但是同时也引出了一些问题&#xff0c;其中使用消息队列时如何保证消息的可靠性就是一个常见的问题。如果在项目中遇到需要保证消息一定被消费的…

(高阶) Redis 7 第18讲 RedLock 分布式锁

🌹 以下分享 RedLock 分布式锁,如有问题请指教。🌹🌹 如你对技术也感兴趣,欢迎交流。🌹🌹🌹 如有对阁下帮助,请👍点赞💖收藏🐱‍🏍分享😀 问题 分布式锁问题从(高阶) Redis 7 第17讲 分布式锁 实战篇_PJ码匠人的博客-CSDN博客 这篇文章来看,…

redis学习(二)——redis常见命令及基础数据类型

数据类型 基础数据类型 字符串 String abcMap集合 Hsah {name:“zhangsan”,age:18}列表 List [a, b, c, d]Set集合 Set {a,b,c}有序Set集合 SortSet {a:1,b:2,c:3} 特殊数据类型 GEO 地理坐标 {A:(100.2,35.1)}BitMap 位图&#xff0c;只存储0和1 01101011101HyperLog 基数…