CUTS 多粒度分割 + 局部图像块对比学习：无需大量标注数据 + 多尺度病变识别 + 解决医学图像不同仪器成像差异

CUTS 多粒度分割 + 局部图像块对比学习：无需大量标注数据 + 多尺度病变识别 + 解决医学图像不同仪器成像差异

提出背景
CUTS 框架
(A) 总览
(B) 像素中心的图像块嵌入
(C) 图像内对比图像块选择
(D) 扩散凝结粗粒化
(E) 多粒度分割

解法拆解
子解法1：多粒度分割
子解法2：扩散凝结技术
子解法3：基于局部图像块的对比学习

逻辑链
多粒度分割可视化
定性分割比较

四个问题
结构性问题：使用分层解析，事物的内部层次和结构
系统性问题：使用系统动力学分析，事情内部系统的驱动和运转
关系性问题：使用互动网络分析，事物和事物之间的具体关系
趋势性问题：使用演化思维分析，事物的发展变化趋势

论文：https://arxiv.org/pdf/2209.11359

代码：https://github.com/KrishnaswamyLab/CUTS

提出背景

尽管近年来监督神经网络在图像分割方面取得了广泛成功，但在将其应用于医学图像以进行临床推断时存在一些问题。

首先，这些网络依赖于专家注释，因此需要大量标签来充分覆盖数据变异性，以产生可靠的分割结果。

其次，在一组标注图像上训练的监督网络可能无法泛化到在稍有不同的环境中收集的类似图像（训练分布外），例如在不同的患者群体或不同的设备上。

第三，即使是相同的图像，不同的使用案例也可能需要不同的分割粒度，例如，定位脑肿瘤需要比测量脑容量更精细的分割，但这种需求在不更新标签的情况下很难通过监督方法来满足。

为了解决这些问题，我们提出了一种完全无监督的框架，结合了表示学习和数据几何与拓扑的最新进展，自动分割医学图像。

无监督的方法避免了昂贵的专家注释，并减轻了跨域泛化问题。

更重要的是，我们的设计方法能够产生多层次的分割，可以在无监督的情况下潜在地针对多个感兴趣的区域。

类似以剪刀作画，通过从不同来源的材料拼接图像。

我们的技术本质上是这一过程的逆向过程，因为我们从初始图像开始，使用无监督机器学习将初始图像分割成相对同质的块集合，利用学习的潜在空间进行数据粗粒化。

尽管识别被剪刀剪成的不同纸片似乎是微不足道的，但医学图像的分割更具挑战性，因为生物结构之间的边界，如健康组织和病变组织之间，并不总是清晰分明的。

CUTS被设计为一个无监督的分割管道。

图像以像素为中心的图像块单位进行处理，这包括以图像像素为中心的固定大小的图像裁剪。

然后在这些像素为中心的图像块上训练一个卷积编码器，以图像内部对比学习和局部图像块重建为优化目标。

我们注意到，对比图像块应该来自医学图像域本身，以创建有意义的像素嵌入。

因此，我们在每张图像内使用图像相似性度量找到合适的对比图像块。

随后，学习的嵌入空间成为一种更强大的特征丰富基础，用于一种称为扩散凝聚的多尺度拓扑数据粗粒化方法，产生多层次的分割。

CUTS 框架

在这里插入图片描述

这张图详细地展示了CUTS框架（Contrastive and Unsupervised Training for multigranular medical image Segmentation）的结构和工作原理，这是一个用于医学图像无监督分割的框架。

(A) 总览

图中的(A)部分提供了CUTS框架的整体工作流程图。
从输入的医学图像开始，通过多个处理步骤，最终得到多种粒度的图像分割结果。

(B) 像素中心的图像块嵌入

在(B)部分，展示了如何将以像素为中心的图像块通过卷积编码器映射到一个高维嵌入空间。
这个过程涉及两个主要的优化目标：图像内对比学习和局部图像块重建。
输入图像经过编码器处理后，得到每个图像块的嵌入向量。
同时，进行重建操作以确保嵌入过程不丢失重要信息。

© 图像内对比图像块选择

©部分描述了如何在同一图像内选择正负图像块对。
这是基于图像块之间的接近性和结构相似性来进行的。正图像块在结构上与中心图像块相似，而负图像块在结构上有明显差异。

(D) 扩散凝结粗粒化

(D)部分介绍了扩散凝结方法，该方法用于将嵌入向量在多个粒度上进行粗粒化。
这一过程通过迭代地应用扩散操作符来进行，从而逐步优化和细化这些嵌入向量。

(E) 多粒度分割

最后，(E)部分展示了如何将这些粗粒化后的嵌入向量通过聚类分配到图像空间中，实现不同粒度的分割。
使用多尺度PHATE（MS-PHATE）技术来可视化嵌入向量，以及如何将这些向量转换为图像的具体分割结果。

整体来看，CUTS框架通过结合先进的图像处理技术和无监督学习方法，有效地处理了医学图像分割中的一些常见挑战，如标签数据的缺乏和图像间的高度异质性。

此框架不仅提高了图像分割的精确度，也为处理复杂的医学图像提供了一种可靠的技术路线。

解法拆解

CUTS (Contrastive and Unsupervised Training for multigranular medical image Segmentation) 框架的主要目的是在医学图像分析中，通过无监督学习的方式，实现对图像的多粒度分割。

这样做可以帮助医学专家在没有大量标注数据的情况下，自动识别和测量疾病相关的结构，进而改善疾病的诊断、监测和治疗。

解法涉及几个具体的子解法，它们共同构成了CUTS框架处理医学图像的完整流程：

子解法1：多粒度分割

特征：医学图像包含从微观到宏观不同层级的结构信息，需要在多个层级上进行有效分割以满足不同的临床需求。
之所以用多粒度分割子解法，是因为：医学图像中的结构复杂度高，不同的临床应用可能需要关注不同粒度的图像特征。

例如，在分析脑部MRI图像时，可能需要同时观察大脑整体结构和具体的病灶区域。

眼底疾病如糖尿病视网膜病变包含从微小的微血管异常（如微血管瘤）到更大和更明显的病变（如出血或渗出）。

CUTS可以根据这些特征的不同尺度和形态，进行有效的层次分割，识别出各种病变，而不仅限于最显著的几种。

子解法2：扩散凝结技术

特征：分割过程需要从全局和局部两个角度综合考虑，以实现从粗到细的结构识别和划分。
之所以用扩散凝结技术子解法，是因为：它能够基于数据的拓扑结构自动识别和调整粒度，有效捕捉图像中的自然分组，适用于结构辨识和细节提取。

例如，在处理视网膜眼底图像时，扩散凝结可以帮助从最初识别整个视网膜到最终详细划分出地理性萎缩区域。

CUTS中的扩散凝结技术允许算法自动调整分割的粒度，以更好地匹配数据的拓扑结构。

在糖尿病视网膜病变的情境中，这意味着算法能自动从图像中识别出边界不清的或大小不一的病变区域，并根据它们的实际结构进行精确的分割。

眼底图像的质量可能因采集设备、操作技术、患者状况等多种因素而有很大差异。

CUTS通过扩散凝结技术和局部图像块对比学习自适应地处理这些图像，增强了算法对不同图像质量和复杂性的适应能力。

子解法3：基于局部图像块的对比学习

特征：在没有足够标注数据的情况下，需要一种方法来有效学习图像内部特征的表示。
之所以用基于局部图像块的对比学习子解法，是因为：这种方法通过比较图像内部的相似和不相似区域，促使模型学习到能够区分不同生物结构的特征。

例如，通过比较肿瘤区域内部和正常脑组织的图像块，模型可以学习到区分两者的特征。

通过在图像内部进行对比学习，CUTS框架增强了模型对局部图像特征的感知能力。

这一点在识别早期或较小的糖尿病视网膜病变时尤为重要，因为这些早期病变在全局图像中可能不那么明显，但在局部对比中能被有效识别。

逻辑链

这些子解法构成了一个链条型的逻辑链：

多粒度分割首先设置一个宽泛的目标，即在不同层级上处理图像。
扩散凝结技术进一步在这些层级上细化结构，自动调整分割的粒度。
基于局部图像块的对比学习为上述技术提供了必要的图像内部特征识别能力，确保即使在无监督的情况下也能实现准确分割。

这种逻辑链确保了从大范围到细节的有效过渡，同时满足了多样化的临床需求，提高了医学图像分析的准确性和适用性。

多粒度分割可视化

在这里插入图片描述
展示了CUTS框架在不同粒度下对医学图像进行分割的结果。

此图按行展示了不同类型的医学图像（如眼底图像、大脑MRI等），每一行显示从原始图像到通过不同方法得到的多粒度分割结果：

第一列：原始图像。
第二列：使用CUTS + 光谱k-means聚类的结果。
第三至第五列：通过CUTS框架与扩散凝结技术（diffusion-P）在不同粒度水平上的分割结果。
后续列：使用多尺度PHATE（MS-PHATE）技术可视化的扩散凝结过程结果，展示了从精细到粗略的结构变化。

这些视觉结果体现了CUTS框架在捕捉不同层级结构细节方面的有效性，以及它在多粒度分割任务中的应用潜力。

定性分割比较

对比了CUTS与其他分割方法在多个数据集上的效果。

每行展示了一个特定类型的图像处理任务（如视网膜图像、脑室MRI和脑肿瘤MRI的分割），其中包括：

第一列：带有地面真实标签的图像。
后续列：展示了CUTS与其他方法（包括无监督、监督和预训练模型）的分割结果。每种方法的结果旁边用彩色曲线（通常是绿色）标出了预测边界，以与地面真实数据（红色或蓝色曲线）进行对比。
监督和预训练模型：例如UNet和SAM等，其中“+bbox”表示使用边界框而非点作为输入。

这张图的目的是展示CUTS在与其他先进方法比较时在分割准确性和细节捕捉方面的表现。

CUTS尤其在处理具有复杂结构和不明显边界的图像（如肿瘤）时表现出优越性，这是因为它能更好地处理图像内的局部特征和粒度变化。