这篇论文的主要内容是介绍了一种名为多尺度差值网络(MSNet)的自动息肉分割方法。
1,模型整体结构
整体结构包括编码器,解码器,编码器和解码器之间是多尺度差值模块模块(MSM),以及一个额外的不需要训练的LossNet提供额外的监督信息。(不需要训练也能有用效果这点说实话我很疑惑)
2,MSM模块
1)SU是MSM的基础构建块,定义为两个相邻层次特征图(FA和FB)之间的元素级差值,然后通过绝对值和卷积操作来计算。SU = Conv(|FA ⊖ FB|),其中⊖表示元素级差值操作,|·|表示取绝对值,Conv(·)表示卷积层。(利用特征差值的卷积分类模型也不少,估计是作者的灵感来源)
2)为了捕获不同尺度的息肉特征,MSM通过金字塔式地连接多个SUs,这些SUs具有不同的感受野,能够计算具有不同顺序和感受野的差值特征。
3)特征融合:
跨层次差值特征和编码器输出的特征会进行融合,然后通过一个卷积层,得到互补性增强特征CE
3,LossNet
1)LossNet在多尺度差值网络(MSNet)中扮演着重要角色,其主要作用是提供从细节到结构的全面监督,以优化分割性能。
2)LossNet使用预训练的ImageNet分类网络(如VGG-16)来提取预测结果和真实标签(ground truth)的多尺度特征。这些特征被用来计算特征层级之间的差异,从而在不同层级上提供监督信号,这有助于模型在训练过程中更好地学习到图像的细节和结构信息。
3)损失函数:除了常用的分割损失(如加权IoU损失和二元交叉熵损失)之外,LossNet通过计算预测和真实标签在不同层级的特征差异来生成额外的损失(Lf)。
4,实验结果