SelfReg-UNet:解决UNet语义损失,增强特征一致性与减少冗余的优化模型

SelfReg-UNet:解决UNet语义损失,增强特征一致性与减少冗余的优化模型

    • 提出背景
    • 拆解
      • 类比:整理书架
      • 语义一致性正则化
      • 内部特征蒸馏
      • 为什么 UNet 会有语义损失?

 


提出背景

论文:https://arxiv.org/pdf/2406.14896

代码:https://github.com/ChongQingNoSubway/SelfReg-UNet

  1. UNet架构的核心优势:UNet通过编码器和解码器的结合,有效地将图像中的语义信息转化为精细的分割掩模,这对医学图像分割至关重要。

  2. 引入视觉变换器(ViT):为了克服传统卷积神经网络(CNN)在处理图像长距离依赖性方面的局限,研究者开始使用ViT。ViT通过自我关注机制提升了模型对远程信息的处理能力,但在处理局部细节上存在不足。

  3. 混合模型的发展:为了结合CNN和ViT的优点,研究者开发了混合UNet模型,这些模型既能捕获广泛的依赖关系,也能关注局部细节,但增加了计算复杂性和模型参数。

  4. 跳跃连接的创新:如Att-Unet和Unet++等变体通过改进跳跃连接来优化信息流,例如引入注意力机制或使用新的连接方式,以期过滤掉不相关的特征并提高分割精度。

  5. 监督不对称和特征冗余问题:研究发现,现有UNet模型中存在的监督不对称和特征冗余问题可能导致语义信息的损失。为此,我们提出了语义一致性正则化和内部特征蒸馏策略,旨在通过更精确的监督和特征信息的有效传递来解决这些问题。

UNet语义损失主要指在医学图像分割任务中,网络由于训练或结构限制而未能正确理解或保留图像中的重要语义信息,导致分割结果与真实情况存在偏差。

具体来说,这种损失通常表现为分割精度低下,错分和漏分现象,尤其是在图像中具有相似纹理或密集重叠的结构时更为明显。

例如,在进行肿瘤分割的任务中,UNet可能因为语义损失而将肿瘤周围的正常组织错误地识别为肿瘤组织(错分),或者没有完全覆盖实际的肿瘤边界(漏分)。

这种情况往往是由于网络在编码过程中丢失了部分重要的局部信息,或者解码过程中未能正确重建这些关键信息导致的。

在这里插入图片描述
这张图展示了医学图像分割领域中UNet架构的应用和分析。图中包括三个部分:

  1. UNet架构(图a):
    • 展示了UNet的整体结构,包括输入图像、通过多个编码器层的处理,中间的瓶颈层,随后是解码器层和最终的输出分割图像。
    • 这种架构特别强调了编码器和解码器之间的跳跃连接,这有助于保留重要的空间信息,以提高分割的准确性。

UNet结构组成:

  • 输入:展示了一个输入的医学图像示例。
  • 编码器部分:由四个编码器块(E1, E2, E3, E4)构成,每个块包含两个CNN/Transformer层。这些块负责逐步降低图像的空间分辨率,同时增加特征维度,以提取越来越抽象的特征。
  • 瓶颈部分(B):位于编码器和解码器之间,通常是特征提取和变换的核心部分,负责进一步处理特征。
  • 解码器部分:包括四个解码器块(D1, D2, D3, D4),功能与编码器相反,逐步恢复图像的空间分辨率并减少特征维度,以重构图像。
  • 跳跃连接:跳跃连接将编码器中的特征直接连接到解码器的相应层,这有助于恢复图像的精细结构,因为它允许网络利用浅层特征来精确地分割图像。
  • 输出分割:最终的输出示例,显示了分割后的图像,其中不同的颜色代表不同的组织或结构。

虽然每个块理论上包含两层,但图示中只显示了每个块的最后一层,以简化视觉表示。这有助于清晰地理解UNet的高层结构和数据流动方式,而不混淆过多的层级细节。

这样的结构设计使UNet特别适用于各种图像分割任务,特别是在医学图像处理领域,其中精确的分割至关重要。

  1. 注意力图(图b):

    • 展示了在不同编码器和解码器层中,使用ViT和CNN结合的UNet模型产生的注意力图。这些图显示了模型在处理输入图像时如何聚焦于图像的关键区域。
    • 注意力机制帮助模型更有效地处理图像中的信息,尤其是在重要的特征上,以提高分割的准确度。
  2. 特征相似性矩阵(图c):

    • 比较了在浅层(左侧矩阵)和较深层(右侧矩阵)特征之间的相似性。深层特征展示了更加集中和一致的自相似性,说明模型在深层提取的特征更加专注于主要的图像内容。
    • 这种分析有助于了解不同层次上特征的表达和重要性,对优化模型结构和改进算法性能至关重要。

总体而言,这张图说明了UNet模型在处理医学图像分割任务时如何聚焦和提取关键特征,以及通过不同方法(如ViT和CNN结合使用)改进信息处理。

拆解

这部分论文介绍了UNet在医学图像分割中学习特征的方法及其面临的问题,并提出了两种解决策略。

类比:整理书架

有一个书架满载着各种书籍,这些书籍代表不同的数据或特征。你的目标是整理这个书架,使得相关的书籍靠近彼此,而不相关的书籍被适当地隔开。同时,你还想去掉那些重复的或者几乎不被阅读的书籍,以便为更有用的书籍腾出空间。

增强特征一致性 对应于将相似主题或内容的书籍放在一起。在UNet中,这意味着保证网络学习到的特征在不同层次和位置上保持一致性,从而确保在图像分割中能够正确识别和标记图像的各个部分。

减少冗余 对应于去除重复的书籍或很少被查看的书籍。在UNet中,这意味着减少不必要的、重复的特征表示,这些表示可能不会为最终的任务(如图像分割)增加任何额外的信息价值。通过去除这些冗余特征,模型能够更加高效地运作,同时避免过拟合,并提升处理速度和性能。

通过这种方式,优化后的模型(如SelfReg-UNet)就像是一个被精心整理过的书架,不仅容易找到所需的信息,而且还有效地利用了空间,去除了不必要的元素。

这样的系统不仅能更快地找到所需信息,还提高了整体的功能性和效率。

改善UNet在处理医学图像分割时出现的语义丢失和特征冗余问题。

语义一致性正则化

  1. 语义一致性正则化 (Semantic Consistency Regularization, SCR)
    • 目的: 解决UNet中编码器和解码器之间的监督不对称问题。
    • 方法: 使用具有最多语义信息的特征图(例如D1层观察到的)对其他所有层提供额外的监督。
    • 逻辑: 由于解码器中的D1层对地面真实分割区域有准确的理解,利用这一层的特征来增强其他层的学习,减少语义丢失。
    • 技术细节: 使用平均池化和随机通道选择操作对特征进行对齐,并通过L2范数作为距离度量。

内部特征蒸馏

  1. 内部特征蒸馏 (Internal Feature Distillation, IFD)
    • 目的: 解决深层特征中的冗余问题。
    • 方法: 从浅层特征向深层特征传递信息,使用Lp范数惩罚来引导更深层特征学习有用的上下文信息。
    • 逻辑: 通过增强深层特征对上下文信息的敏感度,来提高模型的整体性能和精确度。
    • 技术细节: 将通道划分为上半部和下半部,以此划分作为边界来确保浅层和深层具有相同数量的特征。
  • 将SCR和IFD的损失与交叉熵和Dice损失相结合,通过调整平衡参数λ1和λ2来优化模型性能。

这些解决策略形成了一个链条,从监督不对称和特征冗余两个角度出发,通过SCR和IFD两种技术相结合来优化UNet模型的性能。

每种策略针对UNet在医学图像分割中面临的具体问题提出了针对性的解决方案,互为补充,共同提升模型的准确性和效率。

在这里插入图片描述
这张图展示了论文中提到的两种操作方法:语义一致性正则化(Semantic Consistency Regularization, SCR)和内部特征蒸馏(Intra-Feature Distillation, IFD)。

这两种方法都是为了优化UNet在处理医学图像分割时的特征表示。具体说明如下:

(a) 语义一致性正则化 (SCR)

  • 操作步骤

    1. 随机通道选择:从输入的特征图 ( F m ( l ) ) ( F^{(l)}_m ) (Fm(l)) 中随机选择特定通道。
    2. 平均池化:对选择的特征图进行空间维度的平均池化,从而减少特征图的空间维度。
    3. L2-范数:对处理后的特征图进行L2范数计算,以获得最终的特征表示 ( F f i n a l ) ( F_{final} ) (Ffinal)
  • 目的:这一步骤通过随机选择通道并进行平均池化,从而提取最具代表性和语义一致的特征,用于增强整个网络的语义一致性。

(b) 内部特征蒸馏 (IFD)

  • 操作步骤

    1. 通道划分:将输入的特征图 ( F ) 在通道维度上均等分为上半部 ( F t o p ) ( F_{top} ) (Ftop) 和下半部 ( F b o t t o m ) ( F_{bottom} ) (Fbottom)
    2. L2-范数:分别对上半部和下半部的特征图进行L2范数处理,以提取和强化特征。
  • 目的:通过将特征图分割为两部分并独立处理,这种方法旨在减少特征冗余,并通过蒸馏技术从浅层特征向深层特征传递有价值的信息,促进模型学习更为精确和有用的特征表示。

这两种方法都是针对UNet架构中存在的特征冗余和监督不对称问题提出的解决方案,旨在通过改进特征处理和优化信息流,提高模型对医学图像的分割精度和效率。

为什么 UNet 会有语义损失?

UNet架构在处理医学图像分割时面临特征一致性和冗余的两大问题,主要由以下几个方面引起:

  1. 网络深度和特征抽象
  • 深度与抽象:UNet通过其多层编码器和解码器结构进行深度特征抽象。在向下采样过程中,尽管模型可以捕获广泛的上下文信息,但同时可能会丢失关键的局部信息,如边缘和纹理细节。这种信息的丢失在编码器到解码器的信息重建过程中可能导致不一致性。
  • 信息重建的挑战:在解码器阶段,模型试图重建图像的细节,依赖于编码器阶段提取的特征。如果这些特征已经丢失了必要的信息,解码器重建的图像可能与原始图像在语义上不一致。
  1. 跳跃连接和特征利用
  • 跳跃连接的局限:虽然跳跃连接旨在改善特征一致性,通过将编码器中的高分辨率特征直接与解码器中的对应特征相连接,但这种方法也存在局限。如果跳跃连接传递的特征本身包含冗余或不相关的信息,那么这些问题将直接影响到最终的分割结果。
  • 特征冗余:随着网络深度的增加,许多高级特征可能会开始表现出相似性,尤其是在处理大量相似图像或图像区域时。这种高级特征的相似性可能导致特征冗余,即多个通道或特征图可能包含重复的信息,从而增加了计算负担且没有提供额外的洞察力。
  1. 训练数据和标签质量
  • 数据和标签的质量:UNet的性能高度依赖于训练数据的质量和标签的准确性。如果训练数据中存在标签错误或质量不一,可能导致模型学习到错误或不一致的特征表示,进而影响模型的泛化能力和实际应用的准确性。
  1. 网络设计和优化
  • 设计选择和优化策略:UNet的架构设计和训练策略,如损失函数的选择、正则化方法以及优化算法,都会对特征的一致性和冗余有显著影响。不当的设计选择可能导致模型对某些特征过度依赖,而忽略了其他重要特征。

解决这些问题通常需要在模型设计时考虑更精细的特征管理策略,例如通过改进的跳跃连接设计、引入注意力机制或使用先进的正则化技术来提高特征的有效性和减少不必要的冗余。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/35194.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

c++内存管理_复习

new与placement new new: 先调用operator new(大小),而operator new()会调用malloc尝试分配内存,失败则调用_callnewh()来释放内存,直至分配成功 可以设置分配失败的处理函数:将写好的处理函数作为参数传入set_new_han…

Vue3 使用 Vue Router 时,params 传参失效

前言: 在写项目的时候,使用了 vue-router 的 params 进行传参,但是在详情页面中一直获取不到参数。原因:Vue Router 在2022-8-22的那次更新后,使用这种方式在新页面上无法获取! 正文: 在列表页进…

虚拟机装入kali linux

VMware 首先需要先安装VMware Workstation Pro可以根据这篇文章来下载VMware 下载kali linux Installer Images VS Virtual Machines Installer Images(安装镜像)Virtual Machines(虚拟机) 直接访问硬件,定制内核…

Matlab|【防骗帖】考虑时空相关性的风电功率预测误差建模与分析

目录 1 主要内容 2 部分程序 3 下载链接 1 主要内容 这个程序《考虑时空相关性的风电功率预测误差建模与分析》画的图片非常漂亮,和原文献基本一致,但是实际上内容并未实现出来,主要就是利用现有的风电预测的数据和结果做了相关的图&#…

【数据结构】(C语言):链表

链表: 基本单位是节点。节点至少两部分:数据,下一个数据的地址。头指针head,始终指向链表的第一个节点。若没有节点,则headNULL。链表在内存中是非连续的。不能使用索引(下标)查找元素。只能从…

解决:Xshell通过SSH协议连接Ubuntu服务器报“服务器发送了一个意外的数据包,received:3,expected:20”

下图所示: 日志也基本看不出来问题在哪,只是说断开了连接大概是验证失败。有幸在某论坛评论区找到了原因,是因为我的xshell版本太低了而服务器的ssh版本太高,高版本的ssh默认屏蔽了一部分不太安全的算法导致建立连接的时候验证失败…

C++ 14新特性个人总结

variable templates 变量模板。这个特性允许模板被用于定义变量,就像之前模板可以用于定义函数或类型一样。变量模板为模板编程带来了新的灵活性,特别是在定义泛化的常量和元编程时非常有用。 变量模板的基本语法 变量模板的声明遵循以下基本语法&am…

解决Vue+Vite打包后Leaflet的marker图标不显示的问题

前言 用Leaflet写关于WebGIS的开发,用Vite或者webpack打包,打包后会找不到图标,如下所示。 直言的说,笔者去网上搜了搜,其实收到一个比较好是答案。网址如下。 (完美解决~)关于VueLeaflet添加…

eslint 与 prettier 的一些常见的配置项(很详细)

目录 1、eslint 常见配置项(语法规范) 2、 prettier 常见的配置项(格式规范) 代码规范相关内容看小编的该文章,获取对你有更好的帮助 vsCode代码格式化(理解eslint、vetur、prettier,实现格式…

IDEA启动报错:Abnormal build process termination...

一、问题描述 因为项目需要,同时打开了两个idea,突然发现一个启动的时候报错,有点莫名其妙,刚还好好的,为啥就不能用了,一顿百度找方法,试了各种方法,像重新安装jdk、重启系统发现都…

TensorFlow开源项目

欢迎来到 Papicatch的博客 文章目录 🍉TensorFlow介绍 🍉主要特点和功能 🍈多语言支持 🍈灵活的架构 🍈分布式训练 🍈跨平台部署 🍈强大的工具链 🍈丰富的社区和生态系统 &a…

Vue3基础使用

目录 一、创建Vue3工程 (一)、cli (二)、vite 二、常用Composition API (一)、setup函数 (二)、ref函数 (三)、reactive函数 (四)、setup注意事项 (五)、计算属性 (六)、watch (七)、watchEffect函数 (八)、生命周期 1、以配置项的形式使用生命周期钩子 2、组合式…

【机器学习-10】 | Scikit-Learn工具包进阶指南:Scikit-Learn工具包之支持向量机模块研究

🎩 欢迎来到技术探索的奇幻世界👨‍💻 📜 个人主页:一伦明悦-CSDN博客 ✍🏻 作者简介: C软件开发、Python机器学习爱好者 🗣️ 互动与支持:💬评论 &…

高考填报志愿攻略,5个步骤选专业和院校

在高考完毕出成绩的时候,很多人会陷入迷茫中,好像努力了这么多年,却不知道怎么规划好未来。怎么填报志愿合适?在填报志愿方面有几个内容需要弄清楚,按部就班就能找到方向,一起来了解一下正确的步骤吧。 第…

入局AI手机 苹果公布Apple Intelligence

日前,苹果WWDC 2024如期召开。在这持续1个小时44分钟的开发者大会上,苹果在前一个小时里更新了iOS、iPadOS、MacOS等操作系统,而且还首次更新了visionOS。余下的时间全部留给了苹果的“AI大礼包”——Apple Intelligence(苹果智能…

mysql是什么

mysql是什么 是DBMS软件系统,并不是一个数据库,管理数据库 DBMS相当于用户和数据库之间的桥梁,有超过300种不同的dbms系统 mysql是关系型数据库,关系型数据库存储模型很想excel,用行和列组织数据 sql是一门编程语言…

关于ip地址的网页无法访问navigator的gpu、媒体、蓝牙等设备的解决方法

在使用threejs的WebGPURenderer渲染器时,发现localhost以及127.0.0.1才能访问到navigator.gpu,直接使用ip会变成undefined,原因是为了用户的隐私安全,只能在安全的上下文中使用,非安全的上下文就会是undefined,安全上下…

谷歌云(GCP)4门1453元最热门证书限时免费考

谷歌云(GCP)最新活动,完成免费官方课程,送4门最热门考试免费考试券1张(每张价值200刀/1453元),这4门也包括最近大热的AI/ML考试,非常值得学习和参加,活动7/17截止 谷歌云是全球最火的三大云计算厂商(前两名AWS, Azure…

MySQL索引优化解决方案--索引失效(3)

索引失效情况 最佳左前缀法则:如果索引了多列,要遵循最左前缀法则,指的是查询从索引的最左前列开始并且不跳过索引中的列。不在索引列上做任何计算、函数操作,会导致索引失效而转向全表扫描存储引擎不能使用索引中范围条件右边的…