Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification

摘要

1. 提出问题：

   • 针对罕见癌症组织的组织病理训练数据稀缺问题，他们提出了少样本结直肠组织图像生成方法。

2. 方法介绍：

   • 提出的方法名为XM-GAN，接受一个基准图像和一对参考组织图像作为输入，生成高质量且多样化的图像。
   • 在XM-GAN中，采用了一种新颖的可控融合块，通过密集聚合参考图像和基准图像中局部区域的相似性，产生局部一致的特征。

3. 研究贡献：

   • 他们是第一个研究结直肠组织图像中少样本生成的团队。
   • 通过广泛的定性、定量和专家（病理学家）评估，对其提出的方法进行评估。

4. 评估结果：

   • 在专家评估中，病理学家仅在55%的时间内能够区分XM-GAN生成的组织图像和真实图像。
   • 利用生成的图像作为数据增强，解决少样本组织图像分类任务，在平均准确率方面取得了4.4%的提升。

方法

Fig. 1: XM-GAN由一个CNN编码器、一个基于Transformer的可控融合块（CFB）和一个用于组织图像生成的CNN解码器组成。对于K-shot设置，一个共享编码器 $F_E$接受一个基准组织图像 $x^b$ 以及 $K-1$ 个参考组织图像 ${x_i^{ref}}_{i=1}^{K-1}$，分别输出视觉特征 $h^b$ 和$h_i^{ref}$。在CFB中，一个映射网络计算元权重，用于在交叉注意力期间生成特征重新加权的调制权重。交叉注意力得到的特征 $f_i$ 被融合并输入到解码器 (FD) 中，生成一幅图像 $\hat{x}$。

$z$为噪声，$\alpha$为控制参数

实验结果