具有不确定性感知注意机制的肺结节分割和不确定区域预测| 文献速递-深度学习结合医疗影像疾病诊断与病灶分割

Title

题目

Lung Nodule Segmentation and UncertainRegion Prediction With an Uncertainty-Aware Attention Mechanism

具有不确定性感知注意机制的肺结节分割和不确定区域预测

01

文献速递介绍

肺结节分割在肺癌计算机辅助诊断(CAD)系统中至关重要,提供了关键信息,如结节大小、形状和其他重要医学特征。然而,在深度学习方法的通用训练和测试范式中,每个结节图像数据仅有一个由一名放射科医生勾画的注释掩模。因此,网络每次只能提供结节区域的单一预测。然而,在临床实践中,不同的放射科医生可能会针对肺结节提供各种分割注释,这是由于他们不同的培训和临床经验所致。因此,基于单一注释的传统方法无法反映临床经验的多样性,限制了深度学习方法的应用。

解决影像科医生之间注释变化问题的一个直接方法是为每个肺结节图像结合多个注释。然而,这会带来另一个问题:多个注释不可避免地会带来不确定性和冲突,因为放射科医生可能会以不同方式对同一区域进行注释。为了克服这个问题,Kohl等人在2018年提出了概率U-Net,利用条件变分自动编码器将多个分割变体编码为低维潜在空间。通过从该空间中采样,网络可以影响相应的分割图。基于这项研究,胡等人提出将地面真实不确定性与概率U-Net相结合,可以提高预测不确定性估计、样本准确性和样本多样性。这些方法依赖于潜在空间和在该空间中的随机样本。因此,这些方法只能通过多次预测提供不确定区域。

Abstract

摘要

Radiologists possess diverse training andclinical experiences, leading to variations in the segmentation annotations of lung nodules and resulting insegmentation uncertainty. Conventional methods typically*select a single annotation as the learning target or attemptto learn a latent space comprising multiple annotations.**However, these approaches fail to leverage the valuableinformation inherent in the consensus and disagreementsamong the multiple annotations. In this paper, we propose an Uncertainty-Aware Attention Mechanism (UAAM)that utilizes consensus and disagreements among multipleannotations to facilitate better segmentation. To this end,we introduce the Multi-Confidence Mask (MCM), which com bines a Low-Confidence (LC) Mask and a High-Confidence(HC) Mask. The LC mask indicates regions with low segmen tation confidence, where radiologists may have differentsegmentation choices. Following UAAM, we further designan Uncertainty-Guide Multi-Confidence Segmentation Network (UGMCS-Net), which contains three modules: a Feature Extracting Module that captures a general feature ofa lung nodule, an Uncertainty-Aware Module that producesthree features for the annotations’ union, intersection, andannotation set, and an Intersection-Union ConstrainingModule that uses distances between the three features tobalance the predictions of final segmentation and MCM.To comprehensively demonstrate the performance of ourmethod, we propose a Complex-Nodule Validation on LIDCIDRI, which tests UGMCS-Net’s segmentation performanceon lung nodules that are difficult to segment using common methods. Experimental results demonstrate that ourmethod can significantly improve the segmentation performance on nodules that are difficult to segment usingconventional methods.

影像科医生具有不同的培训和临床经验,导致肺结节分割注释的差异,从而产生分割的不确定性。传统方法通常选择单个注释作为学习目标,或者尝试学习包含多个注释的潜在空间。然而,这些方法未能充分利用多个注释之间的共识和分歧中蕴含的宝贵信息。在本文中,我们提出了一种不确定性感知注意机制(UAAM),利用多个注释之间的共识和分歧来促进更好的分割。为此,我们引入了多置信度蒙版(MCM),其中包括低置信度(LC)蒙版和高置信度(HC)蒙版。LC蒙版指示具有低分割置信度的区域,放射科医生可能具有不同的分割选择。在UAAM之后,我们进一步设计了一个不确定性引导的多置信度分割网络(UGMCS-Net),其中包含三个模块:一个特征提取模块,捕获肺结节的通用特征,一个不确定性感知模块,产生注释的并集、交集和注释集的三个特征,以及一个交集-并集约束模块,使用三个特征之间的距离来平衡最终分割和MCM的预测。为了全面展示我们方法的性能,我们提出了在LIDC IDRI上进行复杂结节验证,测试UGMCS-Net在使用常规方法难以分割的肺结节上的分割性能。实验结果表明,我们的方法可以显著改善对使用传统方法难以分割的结节的分割性能。

Method

方法

NetworkIn Figure 3, we present the architecture of the UncertaintyGuided Multi-Confidence Segmentation Network (UGMCSNet). The network takes the lung nodule CT image as inputs,and produces two outputs: a predicted Multi-Confidence Mask(MCM) and a final segmentation X**S. The MCM combinespredicted union ∪(X) and intersection ∩(X). The learningtargets of the network are the annotation set GT , as well astheir Union Mask ∪(**GT ) and Intersection Mask ∩(GT ). Theinput images and their corresponding masks have dimensionsof 50 × 50 pixels, obtained through cropping from the LIDCIDRI dataset with official annotations. Before being fed intothe network, the input images and masks are resized todimensions of 3 × 64 × 64 pixels.

在图3中,我们展示了不确定性引导的多置信度分割网络(UGMCS-Net)的架构。该网络以肺结节CT图像作为输入,并产生两个输出:预测的多置信度掩码(MCM)和最终分割XS。MCM结合了预测的并集∪(X)*和交集∩(X)。网络的学习目标是注释集GT,以及它们的并集掩码∪(GT )和交集掩码∩(GT )。输入图像及其相应的掩码的尺寸为50×50像素,通过从LIDC IDRI数据集中裁剪获得,带有官方注释。在输入网络之前,输入图像和掩码被调整大小为3×64×64像素。

Conclusion

结论

This paper introduces the Uncertainty-Aware AttentionMechanism (UAAM), which leverages the consensus ordisagreements among multiple annotations to improve segmentation and identify regions with low segmentation confidence. UAAM captures features from the Multi-ConfidenceMask (MCM), a combination of a Low-Confidence (LC)Mask and a High-Confidence (HC) Mask. Based on UAAM,we further design an Uncertainty-Guide Segmentation Network (UGMCS-Net), which contains a Feature ExtractingModule*, an Uncertainty-Aware Module, and an IntersectionUnion Constraining Module*. These modules together learnvaluable information from the consensus or disagreementsamong multiple annotations, providing regions with high andlow segmentation confidences, and a segmentation result thatcan balance all possibilities. Besides the traditional validationmethod, we propose a Complex-Nodule Validation on LIDCIDRI, which tests UGMCS-Net’s segmentation performanceon the lung nodules that are difficult to segment by U-Net.Experimental results demonstrate that our method can significantly improve the segmentation performance on nodules withpoor segmentation by U-Net.

本文介绍了一种不确定性感知注意机制(UAAM),利用多个注释之间的共识或分歧来改善分割,并识别具有低分割置信度的区域。UAAM从多置信度掩码(MCM)中捕获特征,该掩码是低置信度(LC)蒙版和高置信度(HC)蒙版的组合。基于UAAM,我们进一步设计了一个不确定性引导的分割网络(UGMCS-Net),其中包含一个特征提取模块、一个不确定性感知模块和一个交集-并集约束模块。这些模块共同从多个注释之间的共识或分歧中学习有价值的信息,提供具有高和低分割置信度的区域,以及可以平衡所有可能性的分割结果。除了传统的验证方法外,我们提出了在LIDC IDRI上进行的复杂结节验证,该验证测试UGMCS-Net在U-Net难以分割的肺结节上的分割性能。实验结果表明,我们的方法可以显著改善U-Net对于分割困难结节的分割性能。

Figure

图片

Fig. 1. (A). Uncertainty caused by multiple annotations. HC is highconfidence mask, which is the intersection of the annotation set. LC isLow-Confidence mask, which is the difference between the annotationset’s union and intersection. Multi-Confidence mask is the combinationof LC and HC. (B). Hounsfield unit kernel estimations in HC and LC ofLIDC-IDRI.

图1. (A). 多个注释引起的不确定性。HC代表高置信度蒙版,即注释集的交集。LC代表低置信度蒙版,即注释集的并集与交集之间的差异。多置信度蒙版是LC和HC的组合。(B). LIDC-IDRI中HC和LC的Hounsfield单位核估计。

图片

Fig. 2. Overview of Uncertainty-aware attention mechanism. The difference between union and intersection masks is the low-confidence mask,which guides the learning of low-certainty features. The intersectionmask is the high-confidence mask, which guides the learning of highcertainty features. The annotation set guides the learning of a plausiblesegmentation, which is a balance between all annotations.

图2. 不确定性感知注意机制 概述。并集掩码与交集掩码之间的差异是低置信度掩码,指导低确定性特征的学习。交集掩码是高置信度掩码,指导高确定性特征的学习。注释集指导了一个合理分割的学习,这是所有注释之间的平衡。

图片

Fig. 3. Overview of uncertainty-guided multi-confidence segmentation network. This network contains three modules: (1) Feature extracting module,(2) Uncertainty-aware module, and (3) Intersection-union constraining module.

图3不确定性引导的多置信度分割网络概述。该网络包含三个模块:(1) 特征提取模块,(2) 不确定性感知模块,以及 (3) 交集-并集约束模块。

图片

Fig. 4. Intersection-union constraining module. It contains three featureaware attention blocks, and each block has specific feature learningpreferences.

图4. 交集-并集约束模块。它包含三个特征感知注意力块,每个块具有特定的特征学习偏好。

图片

Fig. 5. Multiple annotation fusion loss.

图5. 多注释融合损失。

图片

Fig. 6. Segmentation results of U-Net, Attention U-Net, R2U-Net,Channel U-Net, Nested U-Net, UGS-Net, and UGMCS-Net. The redboxes corresponding to the Input column indicate the features thatshould be noted or the error-prone locations of the nodules duringsegmentation. The red boxes in the UGMCS-Net column indicate thesegmentation detail of UGMCS-Net at these locations. The green boxesindicate the inadequacies in the suboptimal segmentation result. The lastcolumn is the diameter of the corresponding nodule in mm.

图6. U-Net、Attention U-Net、R2U-Net、Channel U-Net、Nested U-Net、UGS-Net 和 UGMCS-Net 的分割结果。与 输入 列相对应的红色框表示在分割过程中应注意的特征或结节的易错位置。UGMCS-Net 列中的红色框表示 UGMCS-Net 在这些位置的分割细节。绿色框表示次优分割结果中的不足之处。最后一列是相应结节的直径,以毫米为单位。

图片

Fig. 7. The predicted intersection ∩(X), predicted union ∪(X), final segmentation XS, and MCM are generated by the UGMCS-Net. Colors in MCMare used for better visualization, red for ∩(X) and blue for ∪(X). In addition, final segmentation is represented in the MCM and marked with greento facilitate comparison. Red boxes indicate areas or features of nodules that are not easily distinguishable. The last column is the diameter of thecorresponding nodule in mm.

图7. UGMCS-Net 生成了预测的交集 ∩(X),预测的并集 ∪(X),最终分割 XS 和 MCM。在MCM中,红色代表 ∩(X),蓝色代表 ∪(X),用于更好地可视化。此外,最终分割也呈现在MCM中,并用绿色标记以便比较。红色框表示结节的区域或特征不易区分。最后一列是相应结节的直径,以毫米为单位。

图片

Fig. 8. Comparison of HU value kernel density estimation of real HC,LC, and predicted HC and LC.

图8. 实际高置信度(HC)、低置信度(LC)和预测的高置信度(HC)和低置信度(LC)的HU值核密度估计的比较。

图片

Fig. 9. Visualization of different convolutional layers. The Result in each case represents the final prediction of the network. M3, M2, and M1respectively represent the visual feature maps of the third from the bottom, the second, and the first convolution layer under different networkconfigurations. Red arrows indicate areas of nodules that need attention. d represents the diameter of the corresponding nodule in mm.

图9.不同卷积层的可视化。每种情况下的 结果 表示网络的最终预测。M3、M2 和 M1 分别表示在不同网络配置下,从底部数起的第三、第二和第一卷积层的视觉特征图。红色箭头表示需要注意的结节区域。d 表示相应结节的直径,以毫米为单位。

图片

Fig. 10. Failure cases demonstration. The number below each segmen tation mask is its DSC score. The unit of DSC is the percentage.

图10. 失败案例展示。每个分割掩码下方的数字是其 DSC 分数。DSC 的单位是百分比。

图片

Fig. 11. The feature visualizations of R ′ LC and R ′ HC

图11. R ′ LC 和 R ′ HC 的特征可视化

图片

Fig. 12. Complex-nodule validation. This validation tests UGMCS-Net’s segmentation performance on the lung nodules that are difficult to segmentby U-Net by three levels. The last two masks of each CT image are the segmentation results of UGMCS-Net and U-Net respectively. The segmentationresults of U-Net are shown in black, and the UGMCS-Net are shown in red. All indicators are expressed in percentages.

图12. 复杂结节验证。此验证通过三个级别测试UGMCS-Net在U-Net难以分割的肺结节上的分割性能。每张CT图像的最后两个掩码分别是UGMCS-Net和U-Net的分割结果。U-Net的分割结果显示为黑色,UGMCS-Net显示为红色。所有指标均以百分比表示。

Table

图片

TABLE I performance comparison between our ugmcs-net and ten networks based on the u-net structure on the lidc-idridataset. ugs-net represents a preliminary version of this work in a . all indicators are expressed in percentages

表格 I:基于LIDC-IDRI数据集的UGMCS-Net和十个基于U-Net结构的网络性能比较。UGS-Net代表本工作的初步版本。所有指标均以百分比表示。

图片

TABLE II statistical analysis of u-net, attentionu-net, and ugmcs-net

表II U-Net、Attention U-Net 和 UGMCS-Net 的统计分析

图片

TABLE III performance comparison between u-net, attention u-net, ugs-net, and ugmcs-net on label1 and label2, which are presented as subscript 1 and 2

表格 IIIU-Net、Attention U-Net、UGS-Net 和 UGMCS-Net 在 Label1 和 Label2 上的性能比较,它们分别表示为下标 1 和 2

图片

TABLE IV ablation study for modules. all indicators are expressed in percentages

表格 IV模块消融研究。所有指标均以百分比表示

图片

TABLE V  the parameter quantity and computation of the model under different variants

表格 V 不同变体下模型的参数数量和计算量

图片

TABLE VI  performance comparison between different backbone

表格 VI 不同骨干网络之间的性能比较

图片

TABLE VII  performance comparison between different filter settings

表格 VII 不同滤波器设置之间的性能比较

图片

TABLE VIII performance comparison between different α settings

表格 VIII 不同 α 设置之间的性能比较

图片

TABLE IX analysis of segmentation performances in complex-nodule validation. ugmcs-8a + 8b, ugmcs-iucm, and ugmcs-netaverage dsc and iou are followed by the difference (green number) from the corresponding metric of attention u-net. all indicators are expressed in percentages

表IX 复杂结节验证中分割性能的分析。UGMCS-8a + 8b、UGMCS-IUCM 和 UGMCS-Net的平均DSC和IOU,后跟着与Attention U-Net相应指标的差异(绿色数字)。所有指标均以百分比表示。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/26837.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java Springboot网上音乐商城(源码+sql+论文)

1.1 研究目的和意义 随着市场经济发展,尤其是我国加入WTO ,融入经济全球化潮流,已进入国内外市场经济发展新时期,音乐与市场联系越来越紧密,我国音乐和网上业务也进入新历史发展阶段。为了更好地服务于市场&#xff0…

不想搭集群,直接用spark

为了完成布置的作业,需要用到spark的本地模式,根本用不到集群,就不想搭建虚拟机,hadoop集群啥的,很繁琐,最后写作业还用不到集群(感觉搭建集群对于我完成作业来说没有什么意义)&…

Cisco Packet Tracer实验(二)

二、用交换机构建 LAN 构建物件如下: 四个PC 两个交换机 一个Multi Switch多功能拓展控制器 连线必须是这个直线!!!不是虚线 最后实现效果如下: 全部的线是绿的,就表示是通的。 尝试一下,看PC…

SolidWorks对设计电脑硬件配置要求是怎么样的

SolidWorks,作为达索系统(Dassault Systemes)旗下的子公司,一直以其出色的机械设计软件解决方案而著称。它是基于Parasolid内核开发,是单核三维设计软件,面上使用比较多的版本有SolidWorks2022、SolidWorks…

Golang | Leetcode Golang题解之第149题直线上最多的点数

题目&#xff1a; 题解&#xff1a; func maxPoints(points [][]int) (ans int) {n : len(points)if n < 2 {return n}for i, p : range points {if ans > n-i || ans > n/2 {break}cnt : map[int]int{}for _, q : range points[i1:] {x, y : p[0]-q[0], p[1]-q[1]if…

4. 案例研究-接口程序

4. 案例研究-接口程序 本章通过一个案例研究, 来展示设计互相配合的函数的过程.4.1 turtle 模块 创建一个文件mypolygon.py, 并输入如下代码:import turtle bob turtle.Turtle() print(bob)# 这一句的作用是让画板停留, 等手动点击x关闭画板, 程序才结束. # 否则程序执行完毕…

8.12 面要素符号化综述

文章目录 前言面要素介绍总结 前言 本章介绍如何使用矢量面要素符号化说明&#xff1a;文章中的示例代码均来自开源项目qgis_cpp_api_apps 面要素介绍 地理空间的要素分为点、线和面&#xff0c;对应的符号也分三类&#xff1a;Marker Symbol、Line Symbol和Fill Symbol&…

c#中上传超过30mb的文件,接口一直报404,小于30mb的却可以上传成功

在一次前端实现上传视频文件时,超过30mb的文件上传,访问接口一直报404,但是在Swagger中直接访问接口确是正常的,且在后端控制器中添加了限制特性,如下 但是却仍然报404,在apifox中请求接口也是报404, 网上说: 在ASP.NET Core中,配置请求过来的文件上传的大小限制通常…

生命在于学习——Python人工智能原理(3.4)

三、深度学习 7、过拟合与欠拟合 过拟合和欠拟合是所有机器学习算法都要考虑的问题。 &#xff08;1&#xff09;基本定义 a、欠拟合 欠拟合是指机器学习模型无法完全捕获数据集中的复杂模式&#xff0c;导致模型在新数据上的表现不佳&#xff0c;这通常是由于模型过于简单…

C++进阶,一文带你彻底搞懂左右值引用以及移动语义和完美转发!

目录 一、左值引用1.左值2.左值引用3.左值引用的用途&#xff08;1&#xff09;修改实参&#xff08;2&#xff09;减少拷贝&#xff08;3&#xff09;使用左值引用可以在外部修改对象内的成员变量的值 二、右值引用1.右值&#xff08;1&#xff09;纯右值&#xff08;2&#x…

一文解答 | 代码签名证书怎么选

在当代软件开发中&#xff0c;代码签名证书对于确保软件的完整性、安全性及其可信度至关重要。它通过数字签名验证代码的来源和未被篡改的状态&#xff0c;向最终用户确保软件的可靠性。选择合适的代码签名证书既有利于保护软件开发商的声誉&#xff0c;也有助于建立用户对软件…

虚拟化 之三 详解 jailhouse(ARM 平台)的构建过程、配置及使用

嵌入式平台下,由于资源的限制,通常不具备通用性的 Linux 发行版,各大主流厂商都会提供自己的 Linux 发行版。这个发行版通常是基于某个 Linux 发行版构建系统来构建的,而不是全部手动构建,目前主流的 Linux 发行版构建系统是 Linux 基金会开发的 Yocto 构建系统。 基本环…

ChatGPT:自然语言处理的新纪元与OpenAI的深度融合

随着人工智能技术的蓬勃发展&#xff0c;自然语言处理&#xff08;NLP&#xff09;领域取得了显著的进步。OpenAI作为这一领域的领军者&#xff0c;以其卓越的技术实力和创新能力&#xff0c;不断推动着NLP领域向前发展。其中ChatGPT作为OpenAI的重要成果更是在全球范围内引起了…

go interface

package mainimport "fmt"// 接口 interface func main() {c : Chinese{} //创建一个中国人实例u : American{} //创建一个美国人实例greet(c) //中国人打招呼greet(u) //美国人打招呼 }// 接收具备SayHello接口能力的变量 func greet(s SayHello) {…

Vertical Layout 、Horizontal Layout 实验窗体自适应布局

实验目的 学习实验使用布局实现如下自适应界面 窗体邮件&#xff0c;布局设置为垂直布局 用同样的方法&#xff0c;添加groupbox&#xff0c;并右键设置为水平布局 拖入一个Horizontal Layout&#xff0c;然后拖入button&#xff0c;拖入 Horizontal Spacer 遇到一个问题&#…

如何将ai集成到radsystems项目中,在项目中引入ai

AI可以自动化重复性和低价值的任务&#xff0c;例如数据输入、文档处理、信息检索等&#xff0c;让员工能够专注于更具战略性和创造性的工作。通过引入AI驱动的聊天机器人或虚拟助手&#xff0c;可以提供24/7的客户支持&#xff0c;快速响应用户的问题&#xff0c;提高客户满意…

卡塔尔.巴林:海外媒体投放-宣发.发稿效果显著提高

引言 卡塔尔和巴林两国积极采取措施&#xff0c;通过海外媒体投放和宣发&#xff0c;将本国的商业新闻和相关信息传达给更广泛的受众。在这一过程中&#xff0c;卡塔尔新闻网、巴林商业新闻和摩纳哥新闻网等媒体起到了关键作用。通过投放新闻稿&#xff0c;这些国际化的媒体平…

CBoard开源数据可视化工具

CBoard开源数据可视化工具 文章目录 CBoard开源数据可视化工具介绍资源列表基础环境一、安装JDK二、安装Maven2.1、安装Maven2.2、配置Maven 三、安装Tomcat8四、安装MySQL5版本4.1、安装相关依赖4.2、二进制安装4.3、设定配置文件4.4、配置systemcatl方式启动4.5、访问MySQL数…

VMware安装ubuntu22.4虚拟机超详细图文教程

一 、下载镜像 下载地址&#xff1a;Index of /ubuntu-releases/22.04.4/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 二、创建虚拟机 打开VMware点击左上角文件&#xff0c;创建新的虚拟机&#xff0c;打开后如下图&#xff1a; 下一步&#xff0c;镜像文件就是…

超市陈列艺术:不仅仅是货品摆放,更是营销策略的体现

品类管理在门店落地的最直观表现就是单品的空间陈列管理&#xff0c;通过陈列细节的差异体现出门店的商品定位与策略。此文分析入木三分&#xff0c;值得学习。 在商品陈列的空间管理领域&#xff0c;不仅要考虑整体的空间陈列&#xff0c;也要对每个商品的空间陈列位置&#…