U-Net及其变体在医学图像分割中的应用研究综述

论文来自：中国生物医学工程学报 2022

摘 要： 医学图像分割可以为临床诊疗和病理学研究提供可靠的依据，并能辅助医生对病人的病情做出准确的判断。 基于深度学习的分割网络的出现解决了传统自动分割方法鲁棒性不强、准确率低等问题。 U-Net凭借其出色的性能在众多的分割网络中脱颖而出，研究者以U-Net为基础相继提出了多种改进变体。 以U-Net网络及其变体为主线，首先详细介绍U-Net的网络结构及常用改进方法；然后根据分割对象的不同，将U-Net变体网络进一步划分为泛用型分割网络及特定型分割网络，并就其在医学图像分割中的研究进展进行论述；最后，分析了目前研究中工作尚存在的难点与问题，并对今后的发展方向进行展望。

主要是基于Unet的变体研究

基本介绍UNet模型

2015年提出的UNet模型是我们学习语义分割必学的一个优秀模型，它兼具轻量化与高性能，因此通常作为语义分割任务的基线测试模型，至今仍是如此，其优秀程度可见一斑。UNet从本质上来说也属于一种全卷积神经网络模型，它的取名来源于其架构形状：模型整体呈现"U"形。它的出生是为了解决医疗影像语义分割问题的，但之后几年的发展，也证实了它是语义分割任务中的全能选手，或许这就是优秀网络架构的优异之处。
或许可以从以下三点解释为什么UNet在医疗影像上表现突出：

1.UNet的U形网络结构密集融合了浅层特征与深层特征；
2. 医疗影像数据量与UNet模型体量上相匹配，有效避免了过拟合；
3. 医疗影像结构简单且固定，具有较低语义信息。

U-Net网络改进
虽然 Ｕ-Net 在医学图像分割方面取得了重大突破，但还是存在着网络可延展性不理想、训练小数据集时容易过拟合等方面的不足。 根据目标对象的特性、图像模态和应用场景等因素的不同，研究人员通常在原网络的基础上有针对性地选择合适的改进方法来提高网络分割的性能。

改进方向

1. 修改跳跃连接
跳跃连接不仅能融合高低层级特征，并且有助于加快网络收敛，不同形式跳跃连接的组合能让网络不需要额外的后端处理也能取得理想的分割效果。

2. 引入新技术
提出新的注意力模块、融合模块等

3. 融合其他网络
将resNet 与U-Net结合等融合网络。

4. 网络级联

基于Ｕ-Net及其改进变体的医学图像分割

总结与展望

文中回顾了U-Net及以U-Net为基础的改进型网络在医学图像分割中的应用。 研究进展表明U-Net及其变体网络在医学图像分割中有着广阔的应用前景，分割结果优于传统方法，然而也要看到所存在的问题：

１） 医学图像数据集的规模相较于其他语义分割的数据集来说，因涉及病人隐私，采样较为困难，因而规模较小。 而 U-Net网络参数量大，在数据集规模较小时容易产生过拟合，因此需要选择合适的改进方式对网络结构进行调整。

２）== 医学图像成像和一般图像相比更为复杂，可能会存在伪影==，从而影响分割效果，需要选择恰当的预处理算法以减少伪影对分割的影响。

３） 医学图像中不乏血管、细胞等需要精细化分割的目标，可以使用密集连接、注意力机制等优化方法，从而突出对有利于分割任务的特征。

４） 上述的分割模型虽已在准确率、Iou 和 DSC等指标上均达到了较高的水平，但这毕竟是基于实验室的数据，U-Net等深度学习模型要走到实际诊疗环境中还面临着许多困难。 如训练测试所使用的数据都是经过精心挑选的，这些图像数据过于“干净”；深度学习模型对图像注解的依赖性极强，但即便是经验丰富的注解师也会在标注过程中出现主观误差。 这些问题都会对学习模型的准确率产生潜在的影响。

５） 许多网络模型结构复杂、参数量巨大，在实际的应用环境中可能难以复现。 因此，今后的工作方向应该是在保证实验室高准确率的条件下对模型做适当调整，让深度学习从理论走向临床应用之中。未来U-Net的发展会在保持编码－译码结构和
跳跃连接的基础上，与其他神经网络相结合以进一步提高医学图像分割的准确率，如：
１）图神经网络（GNN）在处理 3D数据时有着天然的优势，已有实验使用门控图神经网络实现了交互式的 3D医学图像分割，因此 U-Net可结合 GNN来更好地提取 3D特征；
２） 生成对抗网络 （GAN）能生成质量较高的图像，已有实验证明，使用GAN生成额外的训练图像对网络进行训练能在一定程度上提高分割性能。 因此，在使用 U-Net 或其变体网络分割前，使用GAN生成相应的医学图像对训练集进行扩充，可以在一定程度上解决数据集规模较小的问题。