UNext
- 会议分析
- 摘要
- 贡献
- 方法
- 整体框架
- 1.Shifted MLP
- 2.Tokenized MLP Stage
- 实验
- 1.对比实验
- 2.消融实验
- 2.1 模块的消融实验
- 2.2 通道数的探索
- 可借鉴参考
会议分析
期刊(会议)名:
MICCAI 2022
会议信息:
属于顶会了
有代码:
UNxet
摘要
UNet 及其最新扩展(如 TransUNet)近年来一直是领先的医学图像分割方法。然而,这些网络无法有效地用于point-of-care应用中的快速图像分割,因为它们参数繁重、计算复杂且使用缓慢。为此,我们提出了 UNeXt,它是一种基于卷积多层感知器(MLP)的图像分割网络。我们以有效的方式设计了 UNeXt,其中包括早期卷积阶段和潜在阶段的 MLP 阶段。 我们提出了一个标记化的 MLP 块
,我们可以在其中有效地标记和投影卷积特征,并使用 MLP 来对表示进行建模。为了进一步提高性能,我们建议在输入 MLP 时改变输入通道,以便专注于学习局部依赖关系。在潜在空间中使用标记化 MLP 可以减少参数数量和计算复杂性,同时能够产生更好的表示以帮助分割。该网络还由各级编码器和解码器之间的跳跃连接组成。我们在多个医学图像分割数据集上测试了 UNeXt,结果表明我们将参数数量减少了 72 倍
,计算复杂度降低了 68 倍
,推理速度提高了 10 倍
,同时还获得了比最先进的医学图像更好的分割性能分段架构。
贡献
- 我们提出了 UNeXt,第一个基于卷积 MLP 的图像分割网络。
- 我们提出了一种新颖的具有轴向位移的标记化 MLP 块,以有效地学习潜在空间的良好表示。
- 我们成功地提高了医学图像分割任务的性能,同时具有较少的参数、较高的推理速度和较低的计算复杂度。
方法
整体框架
注意:
- 各层的通道数为32、64、128、160、256 而不是标准的U-Net通道数,这个是降低参数量和计算量最直接的方法;
- 前三层用的卷积模块;后两层使用的是标记的多层感知机模块;
1.Shifted MLP
先横向移动,后纵向移动,这些特征在高度和宽度上按顺序移动,以诱导网络中的窗口局部性
2.Tokenized MLP Stage
说的和做的好像有丢丢不一样,代码学习ing, 🐕😀
实验
两个共有数据集:ISIC 2018皮肤病变分割数据集和BUSI 乳腺超声数据集
损失函数:
1.对比实验
详细对比了与五种模型两个数据集上Params、GFLOPs、Inference Speed、F1-Score、IoU的指标
作为会议文章,结果分析的很少,但是有代码,要去好好学学 😀
2.消融实验
2.1 模块的消融实验
消融实验主要是1 原始UNet;2 减少通道数的UNet;3 只保留前三层的UNet(也是UNeXt的前半部分);4 3+标记的多层感知机模块; 5 4+深度分离卷积做的位置编码模块; 6 5+横向偏移标记的多层感知机; 7 5+纵向偏移标记的多层感知机; 8 Proposed
可以看出来模块的添加没有带来额外的开销,并且提升效果也很显著
2.2 通道数的探索
全是实验,没有技巧, ;之前自己做实验的时候,也是可以发现通道数的改变是降低模型开销的最直接方法
可借鉴参考
-
实时护理 Point-of-care 降低参数量和计算量的切入口
Vashist, S.K.: Point-of-care diagnostics: Recent advances and trends. Biosensors 7(4), 62 (2017)
-
代码: UNxet