Abstract

• 基于GAN的图像转换方法存在两个缺陷：保留图像目标和保持图像转换前后的一致性，这导致不能用它生成大量不同域的训练数据。
• 论文提出了一种结构感知(Structure-aware)的图像转换网络(image-to-image translation network)。

Proposed Framework

• 为了将图像正确地转换，我们需要编码信息包含：1）相互风格信息（Mutual style）2）结构信息。
• 在我们同时优化图像转化和语义分割的假设下，通过我们的参数共享策略，语义分割子任务作为图像转化的辅助正则化。
• 框架具体过程可以参考上面的图示。
  

结构感知编码和分割子任务

• 文章认为通过训练分割子任务，可以将图像的结构化信息学习出来。

多任务网络的权重共享

• 在生成器和解析网络之间共享权值，允许生成器充分利用上下文感知的特征向量。
• 我们计算了两个网络反卷积层之间的差异，并以零矩阵为目标，通过均方误差将差建模为损失函数。给出了软分权损失函数的数学表达式：
  

循环一致性

• 循环一致性损失已被证明在防止网络在目标域内生成随机图像方面是相当有效的。
  

对抗性学习

• 网络包括两个生成对抗网络：
  

实验

Synthetic Datasets

Reality Datasets

• 从实验结果来看效果并不够好，但是这种学习方法还是值得借鉴的。

Reference

[1] Huang S W, Lin C T, Chen S P, et al. Auggan: Cross domain adaptation with gan-based data augmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 718-731.