标题:一种具有边缘增强特点的医学图像分割网络
期刊:电子与信息学报-(2022年5月出刊)
摘要:针对传统医学图像分割网络存在边缘分割不清晰、缺失值大等问题,该文提出一种具有边缘增强特点的医学图像分割网络(AS-UNet)。利用掩膜边缘提取算法得到掩膜边缘图,在UNet扩张路径的最后3层引入结合多 尺度特征图的边缘注意模块(BAB),并提出组合损失函数来提高分割精度;测试时通过舍弃BAB来减少参数。在3种不同类型的医学图像分割数据集Glas, DRIVE, ISIC2018 上进行实验,与其他分割方法相比,AS-UNet分割性能较优。
关键字:医学图像分割;注意力机制;边缘注意;组合损失函数
一、介绍
本文基于UNet提出一种 具有边缘增强特点的医学图像分割网络(Add-andSubtract UNet, AS-UNet)。
- Add是指训练时在UNet 的基础之上增加边缘注意模块(Boundary Attention Block, BAB),;
- Subtract是指测试时舍弃 BAB。
创新点:
- AS-UNet通过掩膜边缘提取算法得到掩膜边缘图,在UNet扩张路径的最后3层引入结合多尺 度特征图的BAB,强化边缘,减少缺失值;
- 本文提出使用组合损失函数,结合基于区域的Dice损失(Dice Loss) 和基于边缘的Boundary损失 (Boundary Loss) ,在保证区域缺失值小的同时补充边缘信息,提高分割精度;
- 此外,由于组合损失函数包含了经过BAB前后的两种输出,在训练时经过前后向反馈不断更新AS-UNet中的网络参数,使得训练好的模型在测试时可以舍弃添加的BAB部分,保证分割精度的同时减少测试时参数。
二、具有边缘增强特点的医学图像分割网络 AS-UNet
2.1 网络结构
本文所提具有边缘增强特点的医学图像分割网络 AS-UNet 结构如图1所示。采用UNet网络的编码—解码结构,输入通过 UNet 得到的直接输出称为 输出1(output1)。将UNet扩张路径中 得到的特征图 分别作为输入层送入BAB。 经过BAB后采用 的上采样(Up-conv 2 2)达 到 与 相 同 的 尺 寸 , 作 为 补 充 层 传 入 的 BAB中。同理,R8经过BAB后采用 的上采样达到与 相同的尺寸,并作为补充层传入 的 BAB中。而最后一层得到的特征图 经过BAB后 则直接进行 的卷积得到输出2(output2)。此过程如式(1)所示:
(1)
其中, 表示卷积核大小为 的卷积函数, 表示卷积核大小为 的上采样函数, 表 示BAB函数。 训练时输入图像通过UNet生成输出1,同时将 通过BAB还原图像边缘细节信息,生成 输出2。将输出1和输出2分别与掩膜(Mask,即标 签(Ground Truth, GT))进行损失计算,在前后向传播中更新参数,得到最终模型。
图1 AS-UNet网络结构
2.2 边缘注意力模块
在UNet中,边缘分割模糊以及部分区域缺失 仍是最主要的不足。因此,本文所提AS-UNet网络 通过在UNet网络中引入边缘注意模块BAB以强化 边缘信息,补充缺失区域。BAB结构如图2所示。
图2 BAB结构
2.2.1 掩膜边缘提取算法
为了引入像素级别的精确边缘信息,本文通过掩膜边缘提取算法将训练图像的掩膜导出为掩膜边 缘图,以此作为边缘信息的重要补充。掩膜边缘提取算法过程可表述为:遍历掩膜的每一个像素点 ,当遍历的像素点值为0,且以该像素点为中心的九宫格内其余像素点不都为0时,将该像素点记作0,直到掩膜的所有像素点都遍历结束后,生成掩膜边缘图。图3为掩膜与经过掩膜边缘提取算法导出的掩膜边缘图。
图3 图像掩模与对应边缘图
2.2.2 注意力模块
图4 注意力模块
2.3 组合损失函数
在图像分割领域,主要采用的损失函数包括基于分布的交叉熵损失函数(Cross-Entropy Loss)以 及基于区域的Dice损失函数。
- 交叉熵损失函数单独 评估每个像素矢量的类预测,然后对所有像素求平 均值,使得图像中的像素能够被平等学习。但是,医学图像中常出现类别不均衡的问题,由此导致训练会被像素较多的类主导,对于像素较少的物体很难学习到其特征,从而降低网络的有效性。
- 而 Dice损失函数,本质上是衡量两个样本的重叠部分,虽然解决了类别不均衡的情况,但是未关注到图像的边缘信息。
由于医学图像的边缘信息尤为重要,因此本文提出结合基于区域的Dice 损失和基于边缘的Boundary 损失的组合损失函数L,在两个不同的侧重维度上进行监督。Dice损失和Boundary 损失的定义如式(4)、式(5)所示: