1 论文简介

论文题目： U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation
论文代码：https://github.com/taki0112/UGATIT
论文数据集：https://github.com/znxlwm/UGATIT-pytorch
本文以倒序的方式来介绍这篇论文，首先看效果，然后分析其原理。

2 效果

Figure 2: Visualization of the attention maps and their effects shown in the ablation experiments: (a) Source images, (b) Attention map of the generator, (c-d) Local and global attention maps of the discriminator, respectively. (e) Our results with CAM, (f) Results without CAM.

Figure 3: Comparison of the results using each normalization function: (a) Source images, (b) Our results, © Results only using IN in decoder with CAM, (d) Results only using LN in decoder with CAM, (e) Results only using AdaIN in decoder with CAM, (f) Results only using GN in decoder with CAM.

3 基本框架

本文提出了一种新的无监督图像到图像转换方法，以端到端的方式结合新的注意力模块和新的可学习归一化函数。

• 注意力模块根据辅助分类器获得的注意力图，引导模型专注于区分源域和目标域的更重要的区域（帮助模型知道在哪里进行密集转换）。 与之前无法处理域之间几何变化的基于注意力的方法不同，本文的模型可以转换需要整体变化的图像和需要大形状变化的图像。
• AdaLIN 函数帮助注意力模型灵活控制形状和纹理的变化量，而无需修改模型架构或超参数。
• 实验结果表明，与具有固定网络架构和超参数的现有最先进模型相比，所提出的方法具有优越性。

模型分为生成器和判别器两部分，结构几乎一致。生成器比判别器多了AdaLIN算法实现的Decoder模块。
图1描述了网络结构，以生成器为例，输入图像通过Encoder编码阶段（下采样+残差模块）得到特征图，然后添加一个辅助分类引入Attention机制通过特征图的最大池化，经过全连接层输出一个节点的预测，然后将这个全连接层的参数和特征图相乘从而得到Attention的特征图。最后经过Decoder模块得到输出图像。

Figure 1: The model architecture of U-GAT-IT. The detailed notations are described in Section Model

本文的目标是训练一个函数 $G_{s\to t}$，该函数使用从每个域中抽取未配对的样本将图像从源域$X_s$ 映射到目标域 $X_t$：

• 该框架由两个生成器 $G_{s\to t}$和 $G_{t\to s}$ 以及两个鉴别器 $D_s$ 和$D_t$ 组成；
• 将注意力模块集成到生成器和鉴别器中；
• 判别器中的注意力模块引导生成器关注对生成逼真图像至关重要的区域；
• 生成器中的注意力模块关注与其他域不同的区域（判别器注意力模块已经引导生成器聚焦了一个域，那么生成器的注意力模块则聚焦其它的域）。

3.1 生成器

在这里，我们只解释$G_{s\to t}$和 $D_t$（见图 1），反之亦然。
符号说明：
x∈{Xs,Xt}x \in\left\{X_{s}, X_{t}\right\}x∈{Xs​,Xt​}：来自源域和目标域的样本；
$G_{s\to t}$：包括一个编码器$E_s$，一个解码器$G_t$，和一个辅助分类器${\eta }_s$；
${\eta }_s(x)$：表示$x$来自$X_s$的概率；
$E_s^k(x)$：编码器的第 $k$ 个激活映射(map)；
$E_s^{k_{ij}}(x)$：在$(i,j)$上的值；
$w_s^k$：通过使用全局平均池化和全局最大池化训练辅助分类器以学习源域的第$k$ 个特征图的权重，例如：${\eta }_s(x)=\sigma \left({\Sigma }_k{w}_s^k{\Sigma }_{ij}{E}_s^{k_{ij}}(x)\right)$；
利用 $w_s^k$，可以计算一组特定领域的注意力特征图：
$a_s(x)=w_s\ast E_s(x)=\left\{w_s^k\ast E_s^k(x)\mid 1\le k\le n\right\}$。
$n$：编码特征图的数量。

$$\begin{array}{c}\mathrm{AdaLIN}(a,\gamma ,\beta )=\gamma \cdot \left(\rho \cdot \widehat{a_I}+(1-\rho )\cdot \widehat{a_L}\right)+\beta ,\\ \widehat{a_I}=\frac{a-{\mu }_I}{\sqrt{{\sigma }_I^2+ϵ}},\widehat{a_L}=\frac{a-{\mu }_L}{\sqrt{{\sigma }_L^2+ϵ}}\\ \rho \leftarrow {\mathrm{clip}}_{[0,1]}(\rho -\tau \Delta \rho )\end{array}\text{\hspace{1em}(1)}$$
公式(1)的符号说明：

• $\gamma$和$\beta$由注意力图的全连接层动态计算;
• ${\mu }_I$ , ${\mu }_L$ 和${\sigma }_I$, ${\sigma }_L$ 分别是通道方式、层方式均值和标准差;
• $\tau$为学习速率;
• $\Delta \rho$ 表示优化器确定的参数更新向量(如梯度);
• $\rho$的值被限制在$[0，1]$的范围内，只需在参数更新步骤中设置界限即可；生成器调整该值，以便在实例规范化很重要的任务中$\rho$的值接近1，而在层归一化（LN）很重要的任务中$\rho$的值接近0。在解码器的残差块中，$\rho$的值初始化为1，在解码器的上采样块中，$\rho$的值初始化为0。

公式(1)中最核心的部分是：
$$\begin{array}{c}\rho \cdot IN+(1-\rho )\cdot LN\\ \widehat{a_I}=\frac{a-{\mu }_I}{\sqrt{{\sigma }_I^2+ϵ}}\\ \widehat{a_L}=\frac{a-{\mu }_L}{\sqrt{{\sigma }_L^2+ϵ}}\end{array}\text{\hspace{1em}(2)}$$

• 层归一化（Layer Norm，LN）：通道（channel）方向做归一化，算CHW（通道、高、宽）的均值，主要对RNN作用明显；更多的考虑输入特征通道之间的相关性，LN比IN风格转换更彻底，但是语义信息保存不足；
• 实例归一化（Instance Norm，IN）：一个通道（channel）内做归一化，算H*W的均值，用在风格化迁移；因为在图像风格化中，生成结果主要依赖于某个图像实例，所以对整个batch归一化不适合图像风格化中，因而对HW做归一化。可以加速模型收敛，并且保持每个图像实例之间的独立；更多考虑单个特征通道的内容，IN比LN更好的保存原图像的语义信息，但是风格转换不彻底。

3.2 判别器

3.3 损失函数

模型包括四个损失函数：

• 对抗损失：$L_{lsgan}^{s\to t}=\left({\mathbb{E}}_{x\sim X_t}\left[{\left(D_t(x)\right)}^2\right]+{\mathbb{E}}_{x\sim X_s}\left[{\left(1-D_t\left(G_{s\to t}(x)\right)\right)}^2\right]\right)$，保证风格迁移图像的分布与目标图像分布相匹配；
• 循环损失：$L_{\text{cycle }}^{s\to t}={\mathrm{E}}_{x\sim X_s}\left[\Vert x-G_{t\to s}\left(G_{s\to t}(x)\right)\right){\Vert }_1]$，保证一个图像$x\in X_s$，在从$X_s$到$X_t$，$X_t$到$X_s$一系列转化后，该图像能成功的转化回原始域；
• 一致性损失：$L_{\text{identity }}^{s\to t}={\mathrm{E}}_{x\sim Xt}\left[{\Vert x-G_{s\to t}(x)\Vert }_1\right]$，保证输入图像与输出图像的颜色分布相似，给定一个图像$x\in X_t$，在使用$G_{s\to t}$翻译之后，图像不应该改变；
• 分类激活映射损失：$\begin{array}{l}{L}_{cam}^{s\to t}=-({\mathrm{E}}_{x\sim X_s}\left[\log \left({\eta }_s(x)\right)\right]+{\mathrm{E}}_{x\sim X_t}\left[\log \left(1-{\eta }_s(x)\right)\right]\\ L_{cam}^{Dt}={\mathrm{E}}_{x\sim X_t}\left[{\left({\eta }_{Dt}(x)\right)}^2\right]+{\mathrm{E}}_{x\sim X_s}[\left(1-{\eta }_{Dt}{\left(G_{s\to t}(x)\right)}^2\right]\end{array}$，辅助分类器${\eta }_s$和${\eta }_{D_t}$带来的损失。

最后，联合训练编码器、解码器、判别器和辅助分类器以优化最终目标函数：
$$\underset{G_{s\to t},G_{t\to s},{\eta }_s,{\eta }_t}{\min }\underset{D_s,D_t,{\eta }_{D_s},{\eta }_{D_t}}{\max }{\lambda }_1{L}_{\text{lsgan }}+{\lambda }_2{L}_{\text{cycle }}+{\lambda }_3{L}_{\text{identity }}+{\lambda }_4{L}_{\text{cam }}$$
其中${\lambda }_1=1,{\lambda }_2=10,{\lambda }_3=10,{\lambda }_4=1000$， $L_{\text{lsgan }}=L_{\text{lsgan }}^{s\to t}+L_{\text{lsgan }}^{t\to s},L_{\text{cycle }}=L_{\text{cycle }}^{s\to t}+L_{\text{cycle }}^{t\to s},L_{\text{identity }}=L_{\text{dentity }}^{s\to t}+L_{\text{identity }}^{t\to s},L_{\text{cam }}=L_{\text{cam }}^{s\to t}+L_{\text{cam }}^{t\to s}$。