【转】为了修复打码女神脸,他们提出二阶段生成对抗网络EdgeConnect

当图像缺失部分太多的时候,结合多阶段方法和边缘先验信息,这个 GAN 实现了高还原度的图像修复,玩法还不止于此。

在过去几年中,深度学习技术在图像修复方面取得了显着进步。然而,许多这些技术无法重建合理的结构,因为它们通常过度平滑和/或模糊。比如:

或者合成结果很好,视觉效果真实,但和原始照片却不一样。比如:

两张修复照片看起来都很正常,但原人不是长这样。深度生成模型只把生成范围限定在了「眼睛」上,而没有定位到更精细的纹理。对比一下庐山真面目:

再看看这个例子,空白区域越多,图像补全的时候就越任性(最右侧是原始图像):

以上示例皆选自论文《Image Inpainting for Irregular Holes Using Partial Convolutions》,读者可参见《心中无码:这是一个能自动脑补漫画空缺部分的 AI 项目》一文。

在用媒介还原真实世界的历史上,人们有一个共识,即边缘才是物体最具辨识度的信息。所以,在彩色照相技术出现之前,我们是通过素描、速写、黑白照片等来记录世界,并认为其足够真实和还原。

除非你是立体主义、超现实主义、印象主义、浮世绘主义、国风主义...

不知道是不是也抱着这样的想法,加拿大安大略理工大学理学院的研究者开发了一种结合边缘信息先验的图像修复方法,其可以更好地再现显示精细细节的填充区域。

生成效果如下所示,补全模型会先生成中间所示的完整边缘信息,然后结合失真信息一起生成最终的修复图像。

更好玩的是,该模型还可以帮你做精准编辑。想削掉那个山峰吗?不用再做图层和重新上色,简单画几条边缘就行了。

两位小姐姐都很美,但更喜欢黄色的皮肤,怎么办?

具体来说,作者们提出了一个二阶段生成对抗网络 EdgeConnect,它包括一个边缘生成器,然后是一个图像补全网络。边缘生成器在图像的缺失区域(规则和不规则)生成预测边缘,然后图像补全网络使用预测边缘作为先验填充缺失区域。研究者通过公开可用的数据集 CelebA、Places2 和 Paris StreetView 对模型进行端到端评估,并表明它在数量和质量上优于当前最先进的技术。

论文:EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

  • 论文地址:https://arxiv.org/pdf/1901.00212.pdf

  • 项目地址:https://github.com/knazeri/edge-connect#citation

研究者已经在 GitHub 中基于 Places2、CelebA 和 Paris-StreetView 数据集给出了全部预训练模型。

下图中展示了他们的方法和其它已有模型的对比。相比之下,EdgeConnect 修复的边缘信息精确得多,基本不会无中生有,和真实图像最接近。

图 3:和已有方法的定性结果对比。(a)原始图像;(b)添加白色掩码的图像;(c)Yu et al.;(d)Iizuka et al.;(e)本文的方法(端到端);(f)本文的方法(Canny σ = 2)

下图是方法概览。不完整的灰度图像和边缘图以及掩模是第一阶段 G1 的输入,用于预测完整边缘图。将预测的边缘图和不完整的彩色图像传递给第二阶段 G2 以执行修复任务。

其中,下图中间的蓝色显示的边缘是由边缘生成器网络所预测而补全的(对于缺失的区域)。

图 1:(左)输入缺失区域的图像。缺失的区域用白色表示。(中)计算边缘。使用 Canny 边缘检测器计算以黑色绘制的边缘(对于可用区域);而蓝色显示的边缘是由边缘生成器网络所预测而补全的(对于缺失的区域)。(右)图像修复的结果。

再看看更多的图像拼接、移除和编辑的例子吧:

图 10:使用(a)的左侧和(b)的右侧生成(c)的边缘图,最后生成(d)的拼接图。

图 11:使用 EdgeConnect 进行目标移除和图像编辑的示例。(左)原始图像。(中)使用可选边缘信息移除不想要的目标来引导图像修复。(右)最终生成图像。

定量分析

现在将注意力转向这项工作的关键假设:边缘信息有助于图像修复。表 3 显示了有和没有边缘信息的修复结果。当边缘信息被整合到修复模型中时,EdgeConnect 在每个度量上都获得了更好的分数,即使图像的大部分缺失也是如此。

表 3:有边缘信息(完整模型)和无边缘信息(仅包含 G2 阶段)的修复结果的对比。

 

研究者使用了参数σ来控制图像补全网络可用的边缘信息量。

 

对于较大的σ值,可用的边缘太少,不能保证生成的图像质量。另一方面,当σ太小时,生成太多边缘,这对于所生成图像的质量也会产生不利影响。也就是说,存在合适的最佳σ值,或者说我们只需要适当的边缘信息量。图 6 展示了修复图像的质量随 σ的变化。

图 6:PSNR 和 FID 随 σ的变化。

图 7 展示了σ的不同值如何影响具体的修复任务。注意,在边缘数据稀疏的区域中,修复区域的质量降低。例如,在σ= 5 的修复图像中,左侧人脸的左眼重建得比右眼更锐利。但是并不是说每张图像需要的最优σ值都是一样的。

图 7:Canny σ对图像修复结果的影响。

实际上,EdgeConnect 可以看成是两个模型,包含了第一阶段的边缘预测就可以用于图像修复,不包含则可以用于图像编辑,只要描绘出合适的边缘就能在第二阶段生成合适的图像。实际上,在最上方展示的人脸案例中,EdgeConnect 可能也很难还原真实的边缘信息,他们也给出了一些失败案例。

研究者计划开发更好的边缘探测器。虽然有效地描绘边缘比数百条细节线更有用,但是边缘生成模型有时无法准确地描绘高度纹理化区域中的边缘,或者当图像的大部分缺失时,如图 9 所示。

图 9:无法生成相关边缘信息的修复结果的失败案例。

这项研究值得关注的地方在于,使用了多阶段的方法,选择了相关度足够高的、生成难度较低的先验信息,作为下一阶段的先验,简单而高效。

研究者表示,通过改善边缘生成系统,或许可以将该模型扩展到高分辨率修复应用。

转载于:https://www.cnblogs.com/leolion/articles/10425461.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484123.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

高等数学、线性代数、概率论、几何这些知识可以用来干什么?

来源:图灵人工智能应该会有很多模友在开始学习数学分析和高等数学时,第一反应是:但其实大多数人所用的教材,从大众角度看还没有到一种极致精确的架构数学的程度。大多数的教材所做的还是“我教会你怎么弄这个东西就行了&#xff0…

CentOS7.7安装MySQL5.6并配置环境变量(详细版)

i. tar包下载 官网下载 https://dev.mysql.com/downloads/mysql/网盘获取 链接:https://pan.baidu.com/s/1DpULc0qQ4hqx6HWUwRilpw 提取码:tgdv ii. 安装所需环境 yum -y install make gcc-c cmake bison-devel ncurses-develiii. 解压tar包&#xf…

多少血的教训,才能换来对自动驾驶的严格限定、真实了解和正确使用?

来源:胡延平EarthRambler真的到了应该出台严格的安全措施的时候,而<道路交通安全法*修订建议稿>如何明确责任成为关从最新一起车祸的碰撞情况看,高速公路追尾卡车,雷达对前方目标的识别和驾驶系统的反应可能…

java并发编程-----深入剖析ThreadLocal

一.对ThreadLocal的理解 ThreadLocal,很多地方叫做线程本地变量,也有些地方叫做线程本地存储,其实意思差不多。可能很多朋友都知道ThreadLocal为变量在每个线程中都创建了一个副本,那么每个线程可以访问自己内部的副本变量。 这句…

VMware下主机与虚拟机剪切板独立,无法直接复制粘贴

看了很多博客都说需要重新安装vmware tools,但我使用的是这种方法,亲测有效!!! 关闭虚拟机点击编辑虚拟机设置->选项选择客户机隔离,勾选上启动复制粘贴即可(如果之前就已经勾选上但失效的情…

教AI区分因果关系和相关性,将改变下一代 AI 的研发

来源:ScienceAI编辑:萝卜皮多年前,AI 领域曾发生过一件荒唐而有趣的事情。据说,研究人员开发了一种对医院数据进行训练的算法。这个算法发现,「患有哮喘的肺炎患者的治愈表现,比没有哮喘的肺炎患者更好」&a…

Java Socket实现客户端服务端之间的通信

Java Socket Java Socket编程用于在不同JRE上运行的应用程序之间的通信。Java Socket编程可以是面向连接的或无连接的。Socket和ServerSocket类用于面向连接的套接字编程,DatagramSocket和DatagramPacket类用于无连接套接字编程。 此Demo将进行单向客户端和服务器…

数据结构-线性结构

一.线性结构 1.顺序线性表 1.1 线性结构是一种基本的数据结构,具有单一前驱和后继的数据关系描述。 1.2 线性表的存储结构分为顺序存储和链式存储。 1.3 顺序线性表的元素间的逻辑关系无需占用额外的空间来存储。 1.4 一般地,以LOC(a1a_1a1​)表示线性…

脑智前沿科普|虚拟现实如何欺骗你的大脑

来源:公众号(脑与心智毕生发展研究中心CLIMB)编辑:Yezi审阅:mingzlee7虚拟现实(Virtual reality, VR)就像被神奇地传送到另一个世界。这是一项令人兴奋的技术,但当我们戴上耳机后,我们很少停下来…

Linux下Java连接数据库出现 Access denied for user 'root'@'localhost' (using password: YES)错误

一、问题描述 centos 7 终端键入 mysql -u root -p 输入密码后可成功访问数据库,但使用IDEA编写Java代码实现数据库连接时却出现Access denied for user ‘root’‘localhost’ (using password: YES) 错误。 二、解决方法 在刚安装mysql时,系统会默认…

被骗两次?黄仁勋骗过世界的14秒,英伟达押宝未来的元宇宙……

来源:物联网智库在近期召开的计算机图形顶级会议ACM SIGGRAPH 2021 上,英伟达介绍了自研的3D仿真模拟和协作平台Omniverse,并放出了“合成版老黄”的打造过程。有媒体据此报道称——万万没想到,在3个月前的GTC大会中,厨…

QT清单打印程序

1.主要代码 //customer.h文件 #ifndef CUSTOMER_H #define CUSTOMER_H#include <QObject> #include <string>class Customer : public QObject {Q_OBJECT public:explicit Customer(QObject *parent nullptr);Customer(const Customer& customer);void setCo…

图灵奖得主杨立昆:人工智能比你更聪明吗?

来源&#xff1a;混沌巡洋舰人工智能常常被认为是一项将要颠覆世界的技术&#xff0c;从这一概念诞生至今的65年中&#xff0c;无数电影与小说塑造了各种经典的人工智能角色&#xff0c;AI &#xff08;Artificial Intelligence&#xff09;也很快成为人类未来世界蓝图中的重要…

(转)Windows系统、Linux系统 和 Mac OS操作系统 历史由来 与 区别?

目录 1 UNIX 由来 2 Linux 由来 3 Windows与Linux的主要区别 4 关于Linux的一些疑惑 参考资料 目前常见的三大操作系统&#xff1a;Windows系统、Linux系统 和 Mac OS操作系统。 首先&#xff0c;不管是Windows操作系统、Linux系统还是苹果的Mac OS操作系统&#xff0c;甚…

国务院公布《关键信息基础设施安全保护条例》

来源&#xff1a;中国政府网编辑&#xff1a;蒲蒲据中国政府网8月17日消息&#xff0c;《关键信息基础设施安全保护条例》已经2021年4月27日国务院第133次常务会议通过&#xff0c;现予公布&#xff0c;自2021年9月1日起施行。条例指出&#xff0c;国家对关键信息基础设施实行重…

文章推荐 | 城市规划中城市信息学的研究进展

来源&#xff1a;北京城市实验室BCL随着计算机技术的飞速发展&#xff0c;城市信息学作为城市规划领域的一门新兴学科&#xff0c;逐渐引起学术界的关注。城市信息学的兴起给城市规划带来了新的压力&#xff0c;但它也提供了新的城市分析视角。在此背景下&#xff0c;专家小组概…

Matlab基础

一.入门基础 1.基本知识 1.1 输入命令 以分号结尾不会打印变量的值 x 1 y x;1.2 变量命名规则&#xff1a;以字母开头&#xff0c;并且仅包含字母、数字和下划线。 1.3 使用save命令将工作区中的变量保存到MAT文件的MATLAB特定格式文件中,文件名为datafile.mat。可以指定保…

3年规模翻7倍统治 5G、IoT时代,化合物半导体材料深度报告

来源 华西证券编辑&#xff1a;智东西内参作者&#xff1a;吴吉森 等随着 5G、IoT 物联网时代的来临&#xff0c;以砷化镓&#xff08;GaAs&#xff09;、氮化镓&#xff08;GaN&#xff09;、碳化硅&#xff08;SiC&#xff09;为代表的化合物半导体市场有望快速崛起。其中&am…

SpringBoot笔记整理(二)

SpringBoot笔记整理&#xff08;一&#xff09; SpringBoot笔记整理&#xff08;二&#xff09; SpringBoot笔记整理&#xff08;三&#xff09; SpringBoot笔记整理&#xff08;四&#xff09; Spring Boot与日志&#xff08;日志框架、日志配置&#xff09; 1、市面上的日志…

MATLAB图像处理基础

1.导入数据 1.1 使用readtable("")导入数据&#xff0c;并存储在表格中&#xff0c;使用axis equal可以校正坐标轴纵横比。 letter readtable("M.txt"); plot(letter.X,letter.Y) axis equal1.2 range(x)函数返回x的值的范围&#xff0c;即max(x) - min(…