风格迁移模型测试效果

1 模型简介

Selfie2anime模型:动漫风格,训练集主要针对人物头像;对应论文为:U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation
Hayao模型:日本漫画;
Shinkai模型:日本漫画;
CartoonGan模型:tensorflow hub 开源模型:https://systemerrorwang.github.io/White-box-Cartoonization/,对应论文为:Learning to cartoonize using white-box cartoon representations

2 模型输入

Selfie2anime模型:256∗256256*256256256,原始模型为4.7G,google实现版本为10.2M;
Hayao模型:256∗256256*256256256
Shinkai模型:384∗384384*384384384
CartoonGan模型:512∗512512*512512512,经过量化(数据格式 float32-> unit8)后部署的模型,其模型文件大小为 2M,预测时间也最短。

3 测试结果

3.1 人物头像

在这里插入图片描述

3.2 其他图像

在这里插入图片描述

3.3 分析

256∗256256*256256256 两种模型之间的相差并不大,差异表现在生成图片的整体颜色不同;256∗256256*256256256384∗384384*384384384 的模型之间整体差异不大,具体差异体现在细节上,例如人脸面部器官“眼睛”、“鼻子”上,在风景图片中相差并不大。

由于输入图片的长宽通常在 800 像素值以上,而网络的输入是固定的,因此在输入网络时需要将图片进行压缩、将图片缩小到目的尺寸(256 或者 384), 因此在缩小的过程中,难免会损失原图的细节信息,因此输入为 384∗384384*384384384 的模型效果理所当然会好很多。但 384∗384384*384384384 的图像同时也存在一定的弊端,即内存消耗较大。

3.4 内存分析

由于Shinkai 模型公布了网络结构,我们以这个模型为例来分析内存占用情况。Shinkai 模型中间最大的卷积层的图片通道数为 512,像素点的值为 float 类型,占用 4 个字节,因此这个卷积层占用的内存为:384∗384∗512∗4=301,989,888384*384*512*4=301,989,8883843845124=301,989,888 字节,约为 302M 的内存,而 256∗256256*256256256 的图片只需要申请 134M 的内存,600∗600600*600600600 的图片需要 737M 的内存,且在模型中包含多个卷积层,因此图片尺寸的增长会消耗更加大量的内存。

4 进一步说明

  • 内存分析后可知,如果模型已经固定,增加输入图片的大小,就会增加内存空间。
  • 现有的模型对接近“正方形”的图片处理效果最佳,长宽差距过大的图片则会影响生成图片的质量,因此在网络输入时,可以考虑通过设计一个裁剪框,让用户裁剪图片长宽为 1:1 的图像,最后再缩小到 384∗384384*384384384 的大小,输入网络得到结果后再放大。
  • 当不得不对“长方形”的图片进行处理时,可以考虑将长方形进行切割,切割后分别进行风格迁移,将得到的结果进行拼接,返回原图像的迁移结果。
  • 模型的内存与网络的卷积层结构参数有关,因此也可以从模型设计上进行改进,设计更小的网络。缺点:数据集较大,训练时间较长,对训练设备要求较高,且训练出的模型能减少内存占用量,却不能保证风格迁移的“效果” 会比现有的模型更好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/507519.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

黑白棋级别预测

1 当前成果 上图是对于AI级别为40级以下的对局结果统计图,横坐标是对于AI级与当前模型预测级别的差值,纵坐标是玩家的胜率。由图中可以看出,玩家胜率符合预测。当AI级别比预测级别高时,玩家胜率越来越低,反之玩家胜率会…

python3源代码是什么_如何用inspect查找python3源代码?

我们在学习的时候喜欢去写代码,或者进行代码的测试,在源代码的查看的进行的不多。大概很多是写完就放在一边,如果不是下次需要使用,也不会知道写的是否正确,还有没有可以修改或者改进的地方。所以,对于源代…

python元编程_python元编程详解(3)

今天转载一片非常精彩的文章供大家欣赏:参考文章链接.python开发者门户一个很好的学习python的网站,大家有时间可以多看看。下面正式开始今天的内容:在理解元类之前,你需要先掌握Python中的类。Python中类的概念借鉴于Smalltalk&a…

风格迁移--U-GAT-IT模型(ICLR 2020)

1 论文简介 论文题目: U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation 论文代码:https://github.com/taki0112/UGATIT 论文数据集:https://github.co…

毕业大论文到底怎么写?

本文主要写给本科生的,研究生也可以作为参考。 1 题目 题目建议控制在25字以内,能突出显示自己的主要工作即可。 “问题方法”式。比如:恶意流量检测的矩阵分解算法研究,问题是恶意流量检测,方法为矩阵分解&#xf…

麻雀优化算法_多种智能优化算法应用案例分享-附代码

1.智能优化算法应用:基于灰狼算法的Otsu图像多阈值分割智能优化算法应用:基于灰狼算法的Otsu图像多阈值分割-附代码_Jack旭的博客-CSDN博客​blog.csdn.net2.智能优化算法应用:基于灰狼算法的二维Otsu图像阈值分割智能优化算法应用&#xff1…

Transform机制(1)

本文是对李宏毅老师的课程进行了整理。 视频地址为: https://www.bilibili.com/video/BV1Wv411h7kN?p35 1 引入 Transform的应用场景 2 基本原理 Transform机制由编码器(Encoder)和解码器(Decoder)构成。 编码器…

python神经网络调节参数_神经网络进阶-用python实现一个完整的神经网络框架并在CIFAR10数据集上调参...

上一个博客中讲解了用python实现一个简单的两层神经网络,我们是把所有的网络层都直接写在了类中。但是作为一个神经网络框架,网络的结构应该是可以由使用者自定义的,这样一来也就不用为每个网络结构都重写所有代码,我们把每一层模…

CGCKD2021大会报告整理(1)--宽度学习

本文先把这次听陈俊龙老师的报告截图发出来,后面再来整理宽度学习的基本原理。

java根据逗号拆分_Excel技巧—超实用的字符串拆分小技巧

点赞再看,养成习惯;当断不断,反受其乱。微信搜索【亦心Excel】关注这个不一样的自媒体人。本文GitHub https://github.com/hugogoos/Excel已收录,包含Excel系统学习指南系列文章,以及各种Excel资料。我们每天都在Excel…

动漫变身调研报告

1 问题描述 由于手机等移动设备计算资源有限,导致目前风格迁移模型无法在手机等移动设备上实现高分辨率图像的风格转换。 2 竞品调研 为了了解已有产品中对动漫变身技术的使用情况,通过调研,我们发现了在醒图 APP (抖音&#x…

网站维护页面_营销型企业网站有哪些功能?

营销型企业网站是企业进行网络营销的一个利器,现在也越来越多企业重视做一个营销型网站。因为网站是客户和企业在网络上互相沟通的一个平台。所以营销型网站的功能也是运营人员在运营的过程中非常重视的体验,今天牛商网就和你说说营销型企业网站有哪些功…

如何写研究周报?

本文适合准备做研究的本科生或者研究生,目前还是一个初稿,请多提宝贵建议,我会及时更新。 1 为什么要写研究周报? 锻炼自己的文档整理能力;理清自己的思路;研究周报不是写给导师看的,而是写给…

python自动打卡程序_使用Python实现平台自动打卡

众所周知,人的懒惰是技术发展的一大动力。现在正处疫情期间,因为我总是忘记及时健康打卡而导致被年级群通报,故干脆写了个Python脚本来自动打卡。若之后我的身体状态、所在地等信息都没有改变的话,这个脚本就能帮我完成一个小任务…

python莫比乌斯环_有哪些完美或接近完美的构造(机械,生物,数学公式,文章,软件等等)?为什么完美?又能有什么领悟?...

分形。分形是一个几何概念。举个例子,Koch曲线。来自度娘百科由一个等边三角形开始(图1),取去掉每条边中间1/3部分,接上一个等边三角形的两个边(图2),如此重复无穷多次。最后我们得到一个面积有限,边长无限的图形。形状…

python 秒杀12306课程_Python攻破12306网站,实现2020最强抢票模式!

python版本支持2.7.10 - 2.7.15依赖库依赖若快 若快注册地址:推荐用若快,打码兔平台已经关闭项目依赖包 requirements.txt安装方法-Windows:安装方法-Linux:root用户(避免多python环境产生问题): python2 -m pip install -i pip install -i -r requireme…

coverage path planning覆盖路径规划(2021-左海民 )

如何扩展研究问题 1.1 地图已知 -> 离线算法,地图未知 -> 探索算法,地图动态 -> 动态算法 1.2 障碍物 -> 障碍物是概率值 (日常的高速路,有可能道路维护) 1.3 障碍物 -> 障碍物并未填充整个小块 1.4 将这些问题对应到实际应用…