论文总结:3D Talking Face With Personalized Pose Dynamics

论文解决的问题:大多数现有的3D人脸生成方法只能生成静态头部姿势的3D面部,只有少数几篇文章关注头部姿势的生成,但这些文章也忽略了个体属性。
解决方法:框架由两个独立模块组成:PoseGAN和PGFace。给定输入音频,PoseGAN首先为3D头部生成一个头部姿势序列,然后PGFace利用音频和姿势信息生成自然的面部模型。通过结合这两个部分,可以构建一个具有动态头部运动的3D说话头部。
在这里插入图片描述
Gpose表示3D头部姿势序列的生成器,Dpose是鉴别器。人脸形状参数由PGFace生成。

在生成阶段,首先使用深度语音对输入音频进行编码,然后将提取的特征馈送到两个之前提出的模块中:头部姿势生成对抗网络(PoseGAN)模块和姿势引导面部(PGFace)生成模块。如上图所示,PoseGAN模块用于提取具有旋转和平移参数的跨模态头部姿势序列。PGFace模块使用头部姿势参数来生成与音频相对应的面部形状参数。通过结合音频、头部姿势序列和面部形状参数,可以合成具有动态姿势的最终3D说话脸。

数据集:如果简单地应用OpenFace在原始视频中检测到的头部姿势序列,可能会在一些高频区域引起不稳定的效果,使头部运动看起来不令人满意。因此,我们提出了一种高斯滤波方法,通过在时间维度上对头部姿势参数进行滤波,以产生令人满意的结果。
在这里插入图片描述

蓝色曲线表示原始音高参数。橙色曲线表示平滑的音高参数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/96456.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

blender光照系统设置

0)Viewport Shading设置里面的Lighting下面的参数: Scene Lights,Scene World - Scene Lights是指在渲染模式下是否使用场景中的灯光对象来照亮物体。 - Scene World是指在渲染模式下是否使用场景中的世界设置来作为背景和环境光。如果关闭该选项&#…

数据库基础知识

数据库 什么是数据库, 数据库管理系统, 数据库系统, 数据库管理员? 数据库 : 数据库(DataBase 简称 DB)就是信息的集合或者说数据库是由数据库管理系统管理的数据的集合。数据库管理系统 : 数据库管理系统(Database Management System 简称 DBMS)是一种操纵和管理数据库的大…

Redis Cluster Gossip Protocol: FAIL, UPDATE

返回目录 FAIL的发送 过程 构建消息头把处于FAIL状态的node的ID填入消息的数据部分广播消息 遍历cluster节点字典:跳过还没有创建连接的node跳过myself和处于handshake的node给node发送FAIL消息FAIL的接收处理 过程 第1 ~ 3步是涵盖所有类型的消息,详细请参考…

RPA自动化全平台文章同步助手

在当今文案自媒体时代,我们通常在各大平台都拥有账号,需要同步发布文章。然而,这个过程常常让人感到非常繁琐,因为我们需要将文章复制粘贴到不同平台上。但是,现在我们可以借助RPA(Robotic Process Automat…

TL-ER3220G端口映射设置

1、打开IE浏览器或其它浏览器,在地址栏输入192.168.1.1登录路由器的Web管理界面; 2、打开后弹出密码输入框,输入路由器的用户名和密码,出厂默认值为admin/admin,成功登录后将看到路由器的系统状态信息; 3、…

java技术文档--多线程(1)--核心学习大纲--首页

阿丹: 对于java来说最核心也是一个java程序员最大竞争力的就是多线程的开发。希望我的这一套多线程学习的体系可以帮助大家整理以及清楚明白的使用多线程,并了解多线程的底层。其实不少同学在提到多线程的时候一下就头大了。没关系阿丹将多线程这里用深…

Setup Factory 使用及删除文件夹

前一段时间,使用Setup Factory 进行打包,在使用过程中,遇到了很多问题,在网上找了很多资料,安装包制作工具 SetupFactory 详解_setup factory-CSDN博客,这篇文章介绍的很详细,可以用做参考。 关…

Python中如何获取各种目录路径

最近总是遇到各种路径问题,学习总结一下 文章目录 1. 获取各种目录的方法:2. Python测试脚本: 1. 获取各种目录的方法: 当前工作目录:这是你从哪里运行了你的Python脚本。 current_directory os.getcwd()脚本所在目录…

学习搜狗的workflow,MacBook上如何编译

官网说可以在MacBook上也可以运行,但是编译的时候却有找不到openssl的错误: 看其他博客也有类似的错误,按照类似的思路去解决 问题原因和解决办法 cmake编译的时候,没有找到openssl的头文件,需要设置cmake编译环境下…

解决docker开启MySQL的binlog无法成功。docker内部报错:mysql: [ERROR] unknown variable

1. 报错信息 2. 操作流程 整个流程是这样的: 我愉快的输入docker ps,查看MySQL的docker 容器id 执行指令docker exec -it 8a \bin\bash进入容器内部执行vim /etc/my.cnf,打开配置文件按照网上说的,添加如下配置信息退出docker容…

解决若依框架多次list查询时,分页失效问题

一、问题背景 当若依框架遇到两次及以上的list查询时,会引发分页查询失效问题,如下图: 二、分析原因 分页查询原理 Mybatis的分页原理,大致就是使用MyBatis提供的插件接口,实现自定义插件,在插件的拦截方法内拦截待执行的 SQL,然后重写 SQL,实现分页…

2023(2024届)计算机保研经验分享,圆梦山东大学

前言: Hello大家好,我是Dream,好久不见啦!在这不见的半年多时间里我一直在全身心的投入保研之中,在写下这份面经时,真的是感慨颇多,思绪万千。站在这个时间点上,回首过去的几个月&am…

Go:实现SMTP邮件发送订阅功能(包含163邮箱、163企业邮箱、谷歌gmail邮箱)

需求很简单,就是用户输入自己的邮箱后,使用官方邮箱给用户发送替邮件模版 目录 前置邮件模版邮箱开启SMTP服务163邮箱163企业邮箱谷歌gmail邮箱腾讯企业邮箱-失败其他邮箱-未操作 邮件发送核心代码config.yaml配置读取邮件相关配置发送邮件 附录 前置 邮…

C++中迭代器的使用

C中的迭代器是一种用于遍历容器(如数组、向量、列表、映射等)中元素的工具。迭代器提供了一种通用的方式来访问容器中的数据,而不依赖于容器的具体实现。 以下是C中迭代器的基本使用方法和示例: 1.迭代器类型: C标准…

使用关键字interface来声明使用接口-PHP8知识详解

继承特性简化了对象、类的创建,增加了代码的可重用性。但是php8只支持单继承,如果想实现多继承,就需要使用接口。PHP8可以实现多个接口。 接口类通过关键字interface来声明,接口中不能声明变量,只能使用关键字const声明…

tcpdump(一)基础理论知识

一 抓包分析技术初探 说明: 本篇章跟tcp/ip的知识没有关系,只是讲解tcpdump工具背景补充: 抓包是做报文分析的第一步敬畏心: 隔行如隔山,不要想当然 ① 背景 ② 抓包技术名词 1、捋顺这些技术的来龙去脉甚至八卦;2、这样我们在后续课程…

绘制散点图、曲线图、折线图和环形图失败, 设置迭代次数和进度无法保存图片

错误❌ 分别input设置(我想知道微积分的力量) 设1个人,他有每天3种方案,每天进步千分之一,千分之一,十万分之一等到他们迭代 200,500,1000,2000,3000,5000,9000次 他们在图片什么位置画曲线图&#xff0…

QGIS文章五——对遥感影像进行土地类型分类-选择遥感影像

关于下载遥感影像的地方有很多: 1、国家综合地球观测数据共享平台(https://www.chinageoss.cn/) 2、地理空间数据云(https://www.gscloud.cn/) 3、美国地质勘探局官网(https://earthexplorer.usgs.gov/&…

MD5玩翻车了-0缺失

废话背景: 跟别人集成免密登录,用到了MD5加密,做好的数据偶尔行,偶尔不行,深刻怀疑别人代码有问题。(从不怀疑自己),理直气壮的找了别个对接人好几次。最后发现自己做的MD5位数不对…

flutter中使用缓存

前言 在flutter项目中使用ListView或者PageView等有滚动条组件的时候,切换页面的时候,再切换回来会丢失之前的滑动状态,这个时候就需要需要使用缓存功能 缓存类 import package:flutter/material.dart;class KeepAliveWrapper extends Sta…