一、前言

  在上上周寻找改进网络框架与超参数的灵感，并跑代码查看了效果。

  最近两周，继续修改网络框架结构，并阅读了师姐的论文 ${\text{D}}^2\text{UNet}$。另外，完成了本科毕业设计的开题答辩任务，开题报告还需要进一步修改。

二、${\text{D}}^2\text{UNet}$ 阅读情况

  标题： D2UNet: Dual Decoder U-Net for Seismic Image Super-Resolution Reconstruction（D2 UNet：用于地震图像超分辨率重建的双解码器U-Net）

  期刊： IEEE Transactions on Geoscience and Remote Sensing

  创新点：在文章中提出了一个新的方法，包括三个方面：

• 1）网络： 文章提出了一个新的多任务网络 ${\text{D}}^2\text{UNet}$，包含一个编码器和两个解码器。编码器接收由 Canny 算法获得的边缘图像和低分辨率图像作为输入。两个解码器并行学习两个不同的任务。其中主要任务是恢复高分辨率地震数据，而边缘检测则是辅助任务。辅助任务可以提供丰富的形状和边界信息，从而帮助生成更准确、高质量的数据。这两个任务之间通过带有可变卷积的纹理变换模块（TWM）[25] 进行交互。TWM可以扭曲真实的边缘细节，以使其与低分辨率输入匹配，并特别适用于处理边缘和弱信号的位置。
• 2）训练数据： 为了解决训练数据不足的问题，参考[26]和[27]参考文献中提出的方法，分别生成干净的高频率和有噪声的低频率 3D 地震体成对数据。然后，使用 Canny 算法提取相应的边缘图像。最后，将有噪声的低分辨率地震图像和边缘图像作为输入，将干净的高分辨率地震图像和边缘图像作为真实标签。
• 3）损失函数： 文章使用联合损失函数，每个任务包括L1损失和多尺度结构相似性损失（MS-SSIM），这有助于提高图像的感知质量。

2.1 体系结构

  图1显示了所提出的 ${\text{D}}^2\text{UNet}$ 网络架构。输入 ${\mathbf{x}}^d$ 包括两部分：原始地震图像和边缘图像。示例如图2(a)和(b)所示。Canny边缘检测算子[28]用于从原始地震图像获得边缘图像。 ${\text{D}}^2\text{UNet}$ 网络由一个编码器和两个并行解码器组成。编码器由四个下采样块组成，每个下采样块由“最大池化层+ [卷积层+批归一化层+整流线性单元（ReLU）] × 2”组成。最大池化层使用步长为2的2 × 2内核。卷积层使用3 × 3卷积核。对于四个下采样块，特征通道分别为64、128、256、512和1024。

   ${\text{D}}^2\text{UNet}$ 包含两个并行解码器，分别称为边缘解码器和主解码器。它们都包含四个上采样块，这些块与下采样块完成相反操作。不同之处在于，上采样块通过转置卷积来扩大特征图的大小。此外，转置卷积的输出通过跳过连接与来自相同级别的下采样块的特征图连接。虽然跳跃连接可以包含更多的保真度信息，但这些中间特征在很大程度上受到输入特征的影响，并且丢失了一些高质量的图像细节。为了克服保留真实的细节和提高保真度的问题，两个解码器使用具有可变形卷积的TWM来交互。

图1. 文章提出的网络结构

图2. 输入：（a）噪声和低分辨率地震图像；（b）对应于（a）的边缘图像；（c）干净和高分辨率地震图像；（d）对应于（c）的边缘图像;

  假设含噪声的低分辨率图像和变量图像为 ${\mathbf{x}}^d=({\mathbf{x}}^s,{\mathbf{x}}^e)\in {\mathbb{R}}^{H\times W\times 2}$。输入 ${\mathbf{x}}^s$ 通过编码器得到潜在向量 $F_{5,3}^E=E({\mathbf{x}}^s)$。为了保持真实的图像边缘，我们使用边缘解码器 $D_{edge}$ 将其解码回图像空间，表示如下：
$$F_4^e=D_{edge}(F_{5,3}^E)\text{\hspace{1em}(1)}$$
  其中，边缘解码器的多级特征分别表示为： F i e , i ∈ { 1 , 2 , 3 , 4 } F_{i}^{e} ,i \in \{1,2,3,4\} Fie​,i∈{1,2,3,4}。

  主解码器 $D_{main}$ 用于生成高分辨率地震图像 ${\mathbf{x}}^m$ ，而边缘解码器 $D_{edge}$ 用于获取边缘信息和细节。$D_{main}$ 通过在多个空间层次从退化输入中提取输入特征来扭曲边缘特征 $F_i^e$ 。在TWM中，使用具有最大空间分辨率的输入特征 ${\mathbf{x}}^e$ 作为输入，可以保持低分辨率图像信息和边缘信息的最丰富的保真度。

  对于第 $i$ 分辨率级别，$F_i^e$ 和高质量特征 ${\mathbf{x}}^e$ 特征被用作 TWM 的输入，表示如下：
$$F_i^t=\text{TWM}(F_i^e,\text{Conv}({\mathbf{x}}^e))\text{\hspace{1em}(2)}$$
  其中，TWM 是纹理扭曲模块。如图 3 所示，首先连接这两个输入特征以生成偏移量。然后，将偏移量应用与可变形卷积以扭曲边缘特征以匹配输入的保真度，表示如下：
$$\begin{array}{rl}offset& =\text{Conv}(\text{Concat}(F_i^e,\text{Conv}({\mathbf{x}}^e))\\ F_i^t& =\text{DeformConv}(F_i^e,\text{offset})\end{array}\text{\hspace{1em}(3)}$$
  其中，DeformConv表示可变形卷积。

  然后，主解码器的特征 $F_{i,l}^m$ 由三个特征级联而成，包括扭曲特征 $F_i^t$ ，解码器中下采样块的特征 $F_i^t$，以及主解码器中的转置卷积特征。这个过程可以表示如下：
$$\begin{array}{rl}{F}_{1,1}^m& =\text{Concat}(F_1^t,F_{4,3}^E,\text{Deconv}(F_{5,3}^E))\\ F_{i,1}^m& =\text{Concat}(F_i^t,F_{(5-i),3}^E,\text{Deconv}(F_{(i-1),3}^m))\end{array}\text{\hspace{1em}(4)}$$
   其中，$i\ge 2$，Deconv表示转置卷积。边缘解码器的特征被用作包含丰富边缘信息的参考特征。

  主解码器共同学习地震数据的主要特征和“参考特征”。

图3. 纹理扭曲模块

  此外，在主解码器的四个上采样块中添加了一个次像素卷积层，然后连接三个残差块。次像素卷积在图像超分辨率重建精度和计算性能方面取得了重要成功[29]。因此使用次像素卷积层进行上采样。它不仅可以减少训练时间和节省GPU内存，还可以提供更多上下文信息以进一步提高图像质量[30]。在次像素卷积层之后连接了三个残差块，这有助于学习更多高频信息和细节。每个残差块由两个“卷积 + 批量归一化 + ReLU”模块组成。跳跃连接涵盖了两个卷积层。最后，使用一个1×1卷积层来减少特征通道数量，以与地面真值匹配。

2.2 损失函数

  文章的损失函数定义如下：
$$L=\mathbb{W}(L_d,{\sigma }_d)+\mathbb{W}(L_e,{\sigma }_e)\text{\hspace{1em}(5)}$$
  其中，加权算子 $\mathbb{W}$ 和可训练参数 ${\sigma }_i$ 平衡两个任务之间的训练。$L_d$ 和 $L_e$ 分别表示主解码器分支和边缘解码器分支的损失。

  在[31]之后，文章定义权重参数 $\mathbb{W}$ 如下：
W ( L i , σ i ) = 1 2 σ i L i + log ⁡ σ i , i ∈ { d , e } (6) \mathbb{W}(L_{i},\sigma_{i}) = \frac{1}{2 \sigma_{i}}L_{i} + \log \sigma_{i},i \in \{ d,e \} \tag{6} W(Li​,σi​)=2σi​1​Li​+logσi​,i∈{d,e}(6)
  其中，${\sigma }_i$ 的值用来度量与预测相关联的不确定性，对数项的作用是防止 ${\sigma }_i$ 过度增加。通过动态调整多个损失项的贡献，可以自动平衡损失。

  损失项 $L_d$ 和 $L_e$ 包括 $L_1$ 和$\text{MS-SSIM}$，表示如下：
$$\begin{array}{rl}{L}_d& =\lambda L_1({\hat{x}}^d,{\mathbf{x}}^d)+(1-\lambda )L_{\text{MS-SSIM}}({\hat{x}}^d,{\mathbf{x}}^d)\\ L_e& =\lambda L_1({\hat{x}}^e,{\mathbf{x}}^e)+(1-\lambda )L_{\text{MS-SSIM}}({\hat{x}}^e,{\mathbf{x}}^e)\end{array}\text{\hspace{1em}(7)}$$
  其中，$L_1$ 被广泛用于图像超分辨率。$\text{MS-SSIM}$ 是一种多尺度图像质量评价方法。${\hat{\mathbf{x}}}^d$ 和 ${\mathbf{x}}^d$ 分别表示低分辨率地震图像和地面真实情况。 ${\hat{\mathbf{x}}}^e$ 和 ${\mathbf{x}}^e$ 分别表示恢复的高分辨率图像和地面真实情况。$\lambda$ 是 $L_1$ 函数的权重参数，根据[23]，$\lambda$ 被设置为0.4。

  $L_1$ 损失定义如下：
$$L_1=\frac{1}{N}\sum _{i,j}|\hat{x}(i,j)-\mathbf{x}(i,j)|\text{\hspace{1em}(8)}$$
  其中，$N$表示像素的总数。$\text{MS-SSIM}$ 是一种多尺度图像质量评价方法，是 $\text{SSIM}$ 的改进版本。$\text{SSIM}$ 的定义如下：
$$L_{\text{SSIM}}(\hat{\mathbf{x}},\mathbf{x})=[l(\hat{\mathbf{x}},\mathbf{x}){]}^{\alpha }\cdot [c(\hat{\mathbf{x}},\mathbf{x}){]}^{\beta }\cdot [s(\hat{\mathbf{x}},\mathbf{x}){]}^{\gamma }\text{\hspace{1em}(9)}$$
  其中,
$$\begin{array}{rl}l(\hat{\mathbf{x}},\mathbf{x})& =\frac{2{\mu }_{\hat{\mathbf{x}}}{\mu }_{\mathbf{x}}+c_1}{{\mu }_{\hat{\mathbf{x}}}^2+{\mu }_{\mathbf{x}}^2+c_1}\\ c(\hat{\mathbf{x}},\mathbf{x})& =\frac{2{\sigma }_{\hat{\mathbf{x}}\mathbf{x}}+c_2}{{\sigma }_{\hat{\mathbf{x}}}^2+{\sigma }_{\mathbf{x}}^2+c_2}\\ s(\hat{\mathbf{x}},\mathbf{x})& =\frac{{\sigma }_{\hat{\mathbf{x}}\mathbf{x}}+c_3}{{\sigma }_{\hat{\mathbf{x}}}{\sigma }_{\mathbf{x}}+c_3}\end{array}\text{\hspace{1em}(10)}$$
  其中，$\hat{\mathbf{x}}$ 和 $\mathbf{x}$分别表示恢复的高分辨率图像和地面真实情况。$\mu$ 和 $\sigma$ 分别表示图像的平均值和标准差。例如： ${\sigma }_{\hat{\mathbf{x}}\mathbf{x}}$ 表示图像 $\hat{\mathbf{x}}$ 和 $\mathbf{x}$ 之间的协方差。$c_1,c_2$ 和 $c_3$ 表示三个常数，以避免分母过小而达不到最佳值。$l(\cdot ),c(\cdot )$ 和 $s(\cdot )$ 分别表示计算亮度或振幅、对比度和结构的函数。$\alpha ,\beta$ 和 $\gamma$ 表示这三个函数相应的权重。

  $\text{MS-SSIM}$定义如下：
$$L_{\text{MS-SSIM}}(\hat{\mathbf{x}},\mathbf{x})=[l_M(\hat{\mathbf{x}},\mathbf{x}){]}^{{\alpha }_M}\cdot \prod _{j=1}^M[c_j(\hat{\mathbf{x}},\mathbf{x}){]}^{{\beta }_j}[s_j(\hat{\mathbf{x}},\mathbf{x}){]}^{{\gamma }_j}\text{\hspace{1em}(11)}$$

  其中，$M=5$ 表示我们从五个尺度测量 $\text{SSIM}$。$\alpha =\beta =\gamma =[0.0448,0.2856,0.3001,0.2363,0.1333]$。

三、遇到的问题及解决

• 1. 工作站文件夹突然消失—未解决

  后续：安装了火绒杀毒软件，但没有发现病毒。

• 2. Matlab编辑器不显示代码（远程连接）—已解决

  在使用远程连接软件（如向日葵）连接到远程windows主机后，打开该主机上的matlab（这里测试的是R2023a版本）会出现编辑器无法显示代码的问题，这时候需要在命令行中以如下命令打开matlab（默认已将matlab加入到系统路径中）：

matlab -cefdisablegpu

  注意：每次使用都需要使用该命令。
  参考：https://blog.csdn.net/weixin_44759449/article/details/131933294

• 3. Matlab附加资源管理器无显示—未解决

  工作站上文件夹突然消失，之前生成的盐数据也不见了。在Matlab中运行文件时，提示缺少工具包—Image Processing Toolbox，下载时无法完成。

  Matlab软件本身有限制，所以无法显示内容。尝试破解方法时，没找到相关文件。

四、小结

• 1.学习可变形卷积；
• 2.下周阅读参考文献中提到可变形卷积的TWM的论文，