根据真实店铺照片生成的效果图，一度以为，这就是某个日漫番剧的截图
本文转自：机器之心
随手拍张照片，顺势转换为宫崎骏、新海诚等日漫大师的手绘风格作品，这个专门生成动漫图像的 GAN，实测很好用。
尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画，但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫，才有了灵魂，张张都能成为壁纸，而整个日漫也以二维为核心。
如果有模型能将真实画面转化为日漫风格的手绘画面，那一定非常炫酷。最近机器之心发现确实有这些模型，从 CartoonGAN 到 AnimeGAN 都能生成非常有意思的图像。
这里有一个 TensorFlow 新项目，它实现了 AnimeGAN，并提供了预训练模型。也就是说，我们下载后可以直接试试生成效果。作为日漫风格的爱好者，我们很快就试用了一下新项目。
项目地址：https://github.com/TachibanaYoshino/AnimeGAN
虽然原项目给出的最佳示例很多都是街景，但我们发现各种场景也都还行，如下是我们试用的原图与生成效果。看看第一张樱花道生成效果，忽然有一种《千与千寻》的感觉。
如果只针对人物，转换效果也是非常不错的。我们尝试将新垣结衣的照片输入 AnimeGAN 模型，然后就有如下这种神奇的画风，感觉直接用到动漫里也没什么问题了。
在原 GitHub 项目中，作者还给了非常多的示例，上面只是机器之心试用的结果，你也可以来用一用。
AnimeGAN
整个项目实现的是论文「AnimeGAN: a novel lightweight GAN for photo animation」中所提方法，作者在论文中分别将 AnimeGAN 与 CartoonGAN、ComixGAN 进行对比。
从图中可以看到，AnimeGAN 在细节方面的表现要优于以上两种方法，色彩相对而言更加自然，涂抹感也没有那么强烈。最明显的是第二行的效果图，使用 AnimeGAN 生成的漫画更加接近宫崎骏的画风。
方法简介
对于这个项目的 AnimeGAN，如下所示为 AnimeGAN 所采用的生成器网络与判别器网络。看起来模型整体是比较常规地一个卷积神经网络，但它会采用实例归一化以及新型的 LReLU 激活函数。
除了架构细节上的更新外，作者还提出了以下三个新的损失函数：
灰度风格(grayscale style)loss
灰度对抗(grayscale adversarial)loss
色彩重构(color reconstruction)loss
这些损失函数能够让生成图片的风格更加接近于真实的漫画风格。
下表比较了 ACartoonGAN 与 AnimeGAN 的模型大小与推理速度。可以明显看出，AnimeGAN 是个相对轻量级的 GAN，具有更少的参数量以及更快的推理速度。
