CV | 医学影像上的图像分割模型调研【更新于20240304】

mamba相关的图像分割：VM-Unet,Manba-Unet,BRAU-Net++,MDD-Unet,EGE-Unet,U-Mamba

2024.01.01_BRAU-Net++

Paper:BRAU-Net++: U-Shaped Hybrid CNN-Transformer Network for Medical Image Segmentation

https://arxiv.org/pdf/2401.00722.pdf

2024.01.09_U-Mamba

Paper:U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation

arxiv.org/pdf/2401.04722.pdf

Code:bowang-lab/U-Mamba: U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation (github.com)

受状态空间序列模型（SSM）这一新的深度序列模型家族的启发，该模型以其处理长序列的强大能力而闻名，论文设计了一个混合 CNN-SSM 模块，它将卷积层的局部特征提取能力与以下能力集成在一起：用于捕获远程依赖性的 SSM。此外，U-Mamba 具有自我配置机制，无需人工干预即可自动适应各种数据集。

2024.02.04_VM-UNet

Paper：VM-UNet: Vision Mamba UNet for Medical Image Segmentation2402.02491.pdf (arxiv.org)

Code：JCruan519/VM-UNet: This is the official code repository for "VM-UNet: Vision Mamba UNet for Medical Image Segmentation". (github.com)

论文框架包含了：Patch Embedding layer, an encoder, a decoder, a Final Projection layer, and skip connections.

结果

2024.02.05_Swin-UMamba：基于Mamba和ImageNet预训练的医学图像分割模型

Paper:2402.03302.pdf (arxiv.org)

Code:JiarunLiu/Swin-UMamba: Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining (github.com)

总结

相比较于U-Mamba，Swin-UMamba在三种医学图像分割任务指标上可以取得平均3.58%的提升。
该篇工作通过实验验证了ImageNet预训练对基于Mamba的医学图像分割模型起到非常重要的作用，在迭代次数不变的情况下最高可为Swin-UMamba带来13.08%的DSC提升。
提出了一种变体网络Swin-UMamba，其仅需要相比于U-Mamba不到1/2的网络参数量和约1/3的FLOPs就能够实现与Swin-UMamba相近的性能。

2024.02.07_Mamba-UNet

Paper：Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation2402.05079.pdf (arxiv.org)

Code：JCruan519/VM-UNet: This is the official code repository for "VM-UNet: Vision Mamba UNet for Medical Image Segmentation". (github.com)