CVPR2023新作:3D感知的AI换脸算法

  1. Title: 3D-Aware Face Swapping (3D感知的人脸交换)

  2. Affiliation: 上海交通大学人工智能研究所

  3. Authors: Yixuan Li, Chao Ma, Yichao Yan, Wenhan Zhu, Xiaokang Yang

  4. Keywords: Face swapping, 3D human faces, Generative Adversarial Network, geometry

  5. Summary:

  • (1): 该论文研究内容为人脸交换,是计算机视觉领域的一个重要研究课题,具有广泛的娱乐和隐私保护应用。

  • (2): 既往方法直接学习交换2D面部图像,对人脸的几何信息不予以考虑。当源人脸图像和目标人脸图像之间存在大的姿态差异时,就会出现不良的伪影。该论文提出的3D感知的人脸交换方法,利用3D人脸的强几何和纹理先验,将2D人脸投影到3D生成模型的潜在空间中。通过在潜在空间中解耦身份和属性特征,成功地实现了3D感知的人脸交换,具有较好的鲁棒性,同时可以转移细粒度的面部细节。

  • (3): 该论文所提出的方法采用了生成对抗网络(GAN)的思想,将2D人脸先转化为3D模型的潜在空间表示,再在潜在空间上进行交换,最终转换回2D图像。该方法不仅保留了2D和3D人脸的信息,使其具有多视角一致性,并且能够实现面部细节的转移。

  • (4): 该论文所提出的3D感知的人脸交换方法在视觉质量、身份相似性、多视角一致性等方面取得了优越的表现。在权威的FaceForensics++数据集上的评测中,该方法相比现有最好的2D方法提高了3.13%的身份相似度,维持了相似的质量,并且生成图像的间距离相对于真实3D人脸的平均间距离降低了56%以上。因此,该方法的表现支持了其目标。

  1. Methods:
  • (1): 该论文所提出的3D感知的人脸交换方法,首先采用3DMM(3D Morphable Model)建模对单张人脸图像进行重建,得到其三维属性,并利用渲染方程生成其对应的二维图像。

  • (2): 在此基础上,通过CGAN(Conditional Generative Adversarial Network)网络对单张人脸图像进行编码,获取其在潜在空间中的表达,同时训练一个分类器来识别人物身份。在测试阶段,输入两张不同的2D人脸图像和一个目标身份的类别标签,将两张输入图像通过CGAN网络编码得到的潜在向量加权平均,得到一个中间的潜在向量。同时在潜在向量中随机样本并将其添加到中间潜在向量,以增加面部的多样性。最终,将得到的潜在向量传递给解码器,生成与目标身份相似的2D人脸图像。

  • (3): 该方法所产生的2D人脸图像在视觉上具有更好的质量和更好的多视角一致性。同时,与现有的2D方法相比,该方法可以实现更好的身份相似性,同时还能够保留面部细节。该方法的表现经过在FaceForensics++数据集上的评测,得到了良好的验证,支持其有效性。

  1. Conclusion:
  • (1): 本研究的意义在于提出了一种3D感知的人脸交换方法,将2D人脸图像投影到3D生成模型的潜在空间中,实现了更好的多视角一致性和面部细节的转移。同时,该方法可以克服传统方法中2D人脸姿态的局限性,应用范围更广,具有重要的实际应用价值。

  • (2): 创新点:该方法将2D人脸图像投影到3D生成模型的潜在空间中进行交换,利用3D人脸的强几何和纹理先验,实现了3D感知的人脸交换,克服了传统方法中2D人脸姿态的局限性。性能:该方法在视觉质量、身份相似性、多视角一致性等方面均表现出较好的性能,在FaceForensics++数据集上的评测中,相比现有最好的2D方法提高了3.13%的身份相似度,实现了面部细节的转移。工作量:由于需要将2D人脸图像转化为3D模型的潜在空间表示,因此在推理时间上需要进行参数调优,工作量稍大。同时,由于最终图像是通过3D生成器进行渲染,无法准确恢复衣服和背景等物品。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/15747.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python实现GA遗传算法优化BP神经网络分类模型(BP神经网络分类算法)项目实战

说明:这是一个机器学习实战项目(附带数据代码文档视频讲解),如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 遗传算法(Genetic Algorithm,GA)最早是由美国的 John holland于20世…

青龙面板的安装和使用

玩nas除了看看电影,那肯定还得玩转docker,这期讲的就是青龙面板,一个跑脚本的神器。 GitHub地址:青龙面板 1.安装 你安装完docker那就很简单了,不懂可以看看我这篇博客docker安装 镜像源一定要搞,要不然…

vue params传参刷新网页数据丢失解决方法

这里有一段代码,我想让它刷新网页数据不会丢失的同时,还不希望数据显示在url地址里。 发送数据页面Q: this.$router.push({name:A,params:{val:JSON.stringify(val)}})接收数据页面A: val:JSON.parse(this.$route.params.val)这时刷新页面A,…

bigemap工程工程行业应用

客户目前主要是需求为使用下载卫星图、等高线、水系、路网等等元素数据做线路规划图 其他信息 客户需要的图中还包含一些农作物以及需要在软件上标注带有箭头的线段(不能满足) 如下图: 使用场景: 目前主要为制图、规划线路等等…

1.1.2 SpringCloud 版本问题

目录 版本标识 版本类型 查看对应版本 版本兼容的权威——官网: 具体的版本匹配支持信息可以查看 总结 在将Spring Cloud集成到Spring Boot项目中时,确保选择正确的Spring Cloud版本和兼容性是非常重要的。由于Spring Cloud存在多个版本,因此…

力扣 509. 斐波那契数

题目来源:https://leetcode.cn/problems/fibonacci-number/description/ C题解1:根据题意,直接用递归函数。 class Solution { public:int fib(int n) {if(n 0) return 0;else if(n 1) return 1;else return(fib(n-1) fib(n-2));} }; C题…

socket 基础

Socket是什么呢? ① Socket通常也称作“套接字”,用于描述IP地址和端口,是一个通信链的句柄。应用程序通常通过“套接字”向网络发出请求或者应答网络请求。 ② Socket是连接运行在网络上的两个程序间的双向通信的端点。 ③ 网络通讯其实指…

第九十三回 在Flutter中mock数据

文章目录 概念介绍使用方法示例代码 我们在上一章回中介绍了"在Flutter中解析JSON数据"相关的内容,本章回中将介绍 如何mock数据.闲话休提,让我们一起Talk Flutter吧。 概念介绍 我们在本章回中介绍的mock数据主要是通过相关的代码模拟服务器…

【Go语言】Golang保姆级入门教程 Go初学者介绍chapter1

Golang 开山篇 Golang的学习方向 区块链研发工程师: 去中心化 虚拟货币 金融 Go服务器端、游戏软件工程师 : C C 处理日志 数据打包 文件系统 数据处理 很厉害 处理大并发 Golang分布式、云计算软件工程师:盛大云 cdn 京东 消息推送 分布式文…

【RabbitMQ】golang客户端教程2——工作队列

任务队列/工作队列 在上一个教程中,我们编写程序从命名的队列发送和接收消息。在这一节中,我们将创建一个工作队列,该队列将用于在多个工人之间分配耗时的任务。 工作队列(又称任务队列)的主要思想是避免立即执行某些…

Redis 异常处理:连接失败、数据库满、缓存雪崩、缓存击穿和缓存穿透

目录 1. 连接失败2. 数据库满3. 缓存雪崩4. 缓存击穿:5. 缓存穿透: Redis使用过程中,可能会遇到各种异常情况,例如:连接失败、数据库满、缓存雪崩、缓存击穿和缓存穿透等。这些异常情况可能会导致系统崩溃,…

pip安装lap出现问题

解决方法一 用conda安装,用以下命令: conda install -c conda-forge lap解决方法二 用pip安装,用以下命令: pip install gitgit://github.com/gatagat/lap.git文章目录 解决方法一解决方法二摘要YoloV8改进策略:基…

opencv介绍及环境搭建

文章目录 前言一、opencv介绍二、开发环境搭建三、测试总结前言 本篇文章开始学习opencv的知识,opencv主要用于图像处理和识别,在生活中到处都是可以见到的,那么本篇文章就正式带大家来学习opencv。 一、opencv介绍 OpenCV(Open Source Computer Vision Library)是一个…

P5718 【深基4.例2】找最小值

题目描述 给出 n n n 和 n n n 个整数 a i a_i ai​,求这 n n n 个整数中最小值是什么。 输入格式 第一行输入一个正整数 n n n,表示数字个数。 第二行输入 n n n 个非负整数,表示 a 1 , a 2 … a n a_1,a_2 \dots a_n a1​,a2​……

短视频矩阵源码

一、短视频矩阵源码搭建解析: 目录 一、短视频矩阵源码搭建解析: 二、短视频矩阵源码的开发路径分享: 三、短视频矩阵系统开发应具备哪些能力? 短视频技术开发能力: 开发人员应具备短视频相关技术能力&#xff0c…

Vcenter 创建 虚拟机配置 Thin Provision 模式 disk

介绍 在vCenter中选择虚拟磁盘格式通常也取决于您的需求和使用情况。 vSphere支持多种虚拟磁盘格式,以下是一些常见的格式: Thick Provision Lazy Zeroed:这是vSphere中的默认格式。它会预分配虚拟磁盘所需的存储空间,但只有在虚…

深度学习(32)——CycleGAN

深度学习(32)——CycleGAN 文章目录 深度学习(32)——CycleGAN1. GAN原理2. CycleGAN(1)原理(2)核心思想(3)优点(4)缺点(5…

安全测试国家标准解读——并发程序安全

本系列文章主要围绕《GB/T 38674—2020 信息安全技术 应用软件安全编程指南》进行讲解,该标准是2020年4月28日,由国家市场监督管理总局、国家标准化管理委员会发布,2020年11月01日开始实施。我们对该标准中一些常见的漏洞进行了梳理&#xff…

clickhouse MPPDB数据库 运维实用SQL总结III

文章目录 CH问题处理使用remote函数报URL "xxxx:9000" is not allowed in configuration fileclickhouse MPPDB数据库 运维实用SQL总结 clickhouse MPPDB数据库 运维实用SQL总结II clickhouse MPPDB数据库 运维实用SQL总结III CH server相关的配置参见 : clickhous…

2023最新Ubuntu安装部署Gitlab详细教程(每个步骤均配图)

Ubuntu安装配置Gitlab详细步骤 安装依赖 打开终端,运行如下命令: sudo apt updatesudo apt-get upgradesudo apt-get install curl openssh-server ca-certificates postfix接下来会遇到如下界面,Tab切换到“确定”按钮,然后回…