Abstract

们提出了一种结合超分辨方法和知识转移方法的模型。我们的模型由一个教师网络、一个去雾网络和一个超分辨率网络组成。

1. Introduction

ECNU KT团队提出了一个知识蒸馏[20]模型，即知识转移脱雾网络.KTDN首先培训教师网络.KTDN在训练除霾网络时，利用教师网络生成下采样的高级特征图，利用教师网络特征图与除霾网络特征图之间的L1损失，让除霾网络模拟教师网络。虽然KTDN在挑战中取得了很高的PSNR和SSIM，并且在MOS中排名第二，但我们发现KTDN无法捕获输入图像中的细节，并且输出相对于groundtruth更加模糊，如图1所示

图1所示。左边是知识转移去雾网络产生的输出。右边是gt。可以看出，KTDN得到了一个模糊的结果。（KTDN是knowledge transfer dehaze network）
链接：------>知识蒸馏简述看这里

我们推断用于捕获高频细节的网络可以防止结果模糊。因此，我们提出了超分辨率
知识转移除雾网络(SRKTDN)。我们的主要贡献是将超分辨率网络连接到去霾网络，以改进结果，并证明其有效性。超分辨率网络与去霾网络并行运行，将两个网络的输出串接在一起，形成一个尾块。消融研究表明，通过SSIM评价，超分辨率网络大大提高了结果，避免了结果模糊。在NTIRE2021非均匀脱雾挑战的最终测试中，我们的方法获得了20.6192的PSNR(排名第4)和0.8349的SSIM(排名第7)[6]。

2. Related Work

以往的学习方法可分为三类:基于先验的学习方法、基于物理模型的学习方法和独立于物理模型的学习方法.尽管这些基于先验的方法在常规均匀雾霾场景中效果良好，但在某些情况下，当先验和假设不合适时，结果很容易被破坏
基于先验的方法已经过时了，基于物理模型学习的方法已经不适合非均匀去雾，独立于物理模型的学习方法不适合非均匀去雾，有的网络虽然假设在均匀去雾的基础上对非均匀去雾也有理想效果，但是导致了颜色失真的问题。

3. Method

PixelShuffle是把图像从低分辨率到高分辨率
逆PixelShuffle是把图像从高分辨率到低分辨率

3.1. Network Architecture

我们提出了一种基于知识转移脱雾网络的双网络。如图3所示，在编码器之后，教师网络和去霾网络具有相同的网络结构，去霾网络的输出与超分辨率网络的输出串联在一起。教师网络用于生成编码器生成的高级特征图。我们使用数据集的groundtruth训练教师网络，让教师学习恢复真实groundtruth图像所需的高级特征映射的分布。然后利用知识转移损失使去霾网络编码器的输出与生成的特征图相似。由于教师网络能够恢复GT,如果编码器的输出相同,由于类似的网络结构,除霾网络也应该能够恢复。
倍的下采样。我们利用知识转移损失将知识从教师网的ResNet18编码器转移到去霾网的Res2Net101编码器。利用L1损耗限制消雾编码器的输出，消雾编码器可以输出与教师相似的特征图，供解码器用于恢复无雾图像。译码器。如图2所示，我们使用与KTDN相同的解码器网络架构。模型中的注意模块包含通道注意块和[28]中提出的像素注意块。输入特征映射首先通过通道注意块(CA)，然后通过像素注意块(PA)。通道注意块由一个平均池化层、一个1x1卷积层、一个ReLU层、另一个1x1卷积层和一个Sigmoid层组成，为每个通道提供相同权重的细化。像素注意力块类似于通道注意力块，但没有池化层，并且只有1个输出通道，提供逐像素的细化。CA和PA都计算生成的权值与原始输入的乘积来生成精细化的特征图，以细化重要的方面，如颜色和厚雾霾，因为重要的信息得到更高的权重。注意模块有两个卷积层和一个ReLU层，在注意块之前有一个跳过连接，另一个跳过连接贯穿整个模块，以保留以前模块的特征。
该模型使用PixelShuffle层进行上采样，这是轻量级的，并且不像转置卷积那样导致棋盘伪影。在x4和x8下采样特征映射上，编码器和解码器之间存在跳跃式连接。上采样后，x4和x8下采样特征图被连接并发送到关注模块。在教师网和除霾网的尾部是PSPNet[38]模块。PSPNet模块将不同层次的特征组合在一起，用全局特征来
细化局部区域。利用PSPNet模块学习不同感受野的上下文信息来增强结果。

抽象名词解释链接----->去雾笔记-Pixel Shuffle，逆Pixel Shuffle，棋盘效应，转置卷积

论文英文版本和带笔记的翻译链接如下：
链接：https://pan.baidu.com/s/1RfKBBqabsYAzTTcoJ45z8Q?pwd=8888
提取码：8888
–来自百度网盘超级会员V7的分享