LTGNet-超分辨率OCTA图像分割

一、摘要

二、引言

三、方法

A. Reference-based框架

B. Learnable Texture Generator

四、实验

五、总结

一、摘要

研究背景：光学相干断层血管成像(OCTA)是一种新的视网膜微血管成像方式，已广泛应用于临床。高分辨率OCT血管造影对于定性和定量地准确识别不同视网膜疾病的潜在生物标志物非常重要。

问题：OCTA的一个重要问题是在给定固定采集时间的情况下，增加视场时不可避免地会导致分辨率下降。

主要工作：为了解决这个问题，我们提出了一种新的基于参考区域的RefSR(超分辨率)框架，以保持OCT血管成像的分辨率，同时增加扫描面积。具体来说，来自正常超分辨率血管的纹理被用来训练一个可学习的纹理生成器(LTG)，该生成器被设计为根据输入生成纹理。

创新点：

1. 该方法与传统超分辨率模型的关键区别在于，在推理过程中使用的纹理是由LTG生成的，而不是从单个参考图像中搜索。

2. 由于在整个训练过程中对LTG进行了优化，因此可用的纹理空间得到了显著扩大，不再局限于单个参考图像，而是扩展到训练样本中包含的所有纹理。

3. 此外，我们提出的LTGNet在推理阶段不需要参考图像，因此不受参考图像选择的影响。

研究成果：实验和视觉结果都表明，LTGNet具有优于现有方法的性能和鲁棒性，在实际部署中具有良好的可靠性和前景。所提出的方法在实验过程中表现出上级的和强大的性能超过国家的最先进的方法。

二、引言

研究背景（问题介绍）：这种技术仍然存在一些缺点，其中之一是增加视场(FOV)时分辨率下降。其背后的机制是，由于OCTA成像技术的性质，无论扫描区域如何，b超扫描的次数是固定的。因此，b超扫描密度会随着视场的增大而降低。

研究现状：

1. 图像超分辨率（SR）是一种图像处理技术，用于恢复给定低分辨率（LR）版本的高分辨率（HR）图像，可用于提高具有大FOV的血管造影片的分辨率。但只有少数工作针对OCTA。

2. 另一方面，出现了一类新的SR方法命名为基于参考的超分辨率（RefSR），它利用来自目标域的额外信息来辅助超分辨率恢复过程。这些方法在SR任务中表现出非凡的力量，受益于目标域的信息。

三、方法

LTGNet由一个普通的RefSR（超分辨率）模型和一个LTG（可学习的纹理生成器）模型组成。

A. Reference-based框架

很明显这是一个多头注意力框架。

方法：由于很难从低频图像中直接恢复丢失的高频细节，因此采用RefSR(超分辨率)模型通过从高分辨率参考图像中提取适当的纹理来辅助高分辨恢复的过程。在识别低频图像和参考图像对中的相似图案之后，模型可以将来自参考图像的高分辨率纹理与低分辨的输入进行转移和合并。

过程：首先，将 $F^{(i)}_{LR}$ ， $F^{(i)}_{Ref \downarrow}$ ， $F^{(i)}_{Ref }$ 分别注意力机制中的Q，K，V值。通过内积来衡量两个patch的相关性，LR图像中每一个patch都搜索一个在Ref↓图像中最相关的patch用 $F^{(i)}_{Ref \downarrow}(j^*,k^*)$ 表示， $F^{(i)}_{LR}(j,k)$ 与 $F^{(i)}_{Ref \downarrow}(j^*,k^*)$ 进行内积得到 $R^{(i)}(j,k)$ ，最终得到相关性图R。同样，每个 $F^{(i)}_{Ref \downarrow}(j^*,k^*)$ 在Ref图像都搜索一个最相关的patch用 $F^{(i)}_{Ref }(j^*,k^*)$ 表示，最终得到纹理图T。定义如下：

其中，<>代指内积，LR代指低频图像，Ref代指高分辨参考图像，Ref↓代指参考图像的6x6-mm图像（频率降低）， $F^{(i)}$ 表示由编码器在尺度 $i$ 处提取的特征， $F^{(i)}_{downarrow}(j,k)$ 表示在特征图(j,k)处为中心的patch。

B. Learnable Texture Generator

可学习纹理生成器，如下图所示：

目的：生成更强大的特征纹理。

输入：将多个尺度的低频特征作为输入。

过程：首先，低频特征先由1×1卷积层处理，再馈入MSFP模块中（每个MSFP块由一个残差块和一个多尺度特征融合模块组成），其中，不同尺度的特征被上采样或下采样到相同的大小，然后堆叠在一起（拼接操作）。以这种方式，多个尺度的信息被交换和集成，以生成更强大的特征表示。最后，每个特征块由1×1卷积层处理，以产生具有所需通道数的最终生成的纹理 $\hat{T}$ 。