DISCO: Disentangled Control for Realistic Human Dance Generation

  • NTU&Microsoft CVPR24
  • https://github.com/Wangt-CN/DisCo
  1. 问题引入
  • 提高human motion transfer模型的泛化性;
  • 给出 f , g f,g f,g作为参考图片的前背景,然后给出单个pose p = p t p=p_t p=pt或者pose序列 p = { p 1 , p 2 , ⋯ , p T } p = \{p_1,p_2,\cdots,p_T\} p={p1,p2,,pT},目标是生成对应的单张图片 I t I_t It或者视频 V = { I 1 , I 2 , ⋯ , I T } V = \{I_1,I_2,\cdots,I_T\} V={I1,I2,,IT},生成的结果需要同时和提供的 f , g , p f,g,p f,g,p相符合,并且具有泛化性,以可以生成训练数据之外的场景,并且可以任意组合上面三种条件;
  1. methods
    在这里插入图片描述
  • 前景的条件控制:模型使用image variation SD来初始化,将cross attn中的text embedding c t e x t ∈ R l × d c_{text}\in\mathbb{R}^{l\times d} ctextRl×d换成clip得到的image embedding c f ∈ R h w × d c_{f}\in\mathbb{R}^{hw\times d} cfRhw×d,这个embedding是在全局池化层之前的;
  • pose和背景的控制通过controlnet完成;
  • Human Attribute Pre-training:增强模型的泛化性,通过在预训练,预训练模型去掉了pose controlnet;
  1. 实验:
  • TikTok dataset数据集训练和测试;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/843537.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python项目开发实战:五子棋游戏(案例教程)

一、引言 五子棋,又称连珠、连五棋、五目棋、五目碰、五格棋、五石棋、五福棋、五子围棋、串珠棋或五连棋,是一种两人对弈的纯策略型棋类游戏。五子棋的玩法简单,容易上手,但变化多端,深受人们喜爱。本文将详细介绍如何使用Python来开发一个五子棋游戏。 二、需求分析 1.棋…

流水账(CPU设计实战)——lab3

Lab3 Rewrite V1.0 版本控制 版本描述V0V1.0相对V0变化: 修改了文件名,各阶段以_stage结尾(因为if是关键词,所以module名不能叫if,遂改为if_stage,为了统一命名,将所有module后缀加上_stage&a…

杭州威雅学校:在学业与生活平衡中找到更好的自己

进入威雅杭州校园, 沿湖边小道步行约5分钟, 四栋寄宿学院与教学区隔湖相望, 威雅人更喜欢叫他们: 「Cavell」&「Dove」 「Elgar」&「Hawking」 提起「寄宿制」,人们本能地会把它和「住校」划等号。 这种…

css中实现背景方格

background: rgba(241,241,241,0.1); background-image:linear-gradient(90deg, rgba(241,243,244,1) 10%, transparent 0),linear-gradient(rgba()241,243,244,1 10%, transparent 0); background-size: 10px 10px; 表现出来的样子就是这个样子

96.网络游戏逆向分析与漏洞攻防-ui界面的设计-角色管理功能的界面设计

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 如果看不懂、不知道现在做的什么,那就跟着做完看效果,代码看不懂是正常的,只要会抄就行,抄着抄着就能懂了 内容…

机器之心 | 清华接手,YOLOv10问世:性能大幅提升,登上GitHub热榜

本文来源公众号“机器之心”,仅用于学术分享,侵权删,干货满满。 原文链接:清华接手,YOLOv10问世:性能大幅提升,登上GitHub热榜 相同性能情况下,延迟减少 46%,参数减少 2…

超市进销存|基于SprinBoot+vue的超市进销存系统(源码+数据库+文档)

超市进销存系统 目录 基于SprinBootvue的超市进销存系统 一、前言 二、系统设计 三、系统功能设计 1 登录注册 2 管理员功能模块 3员工功能模块 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取: 博主介绍&#x…

CentOS7安装MySQL教程

第一章 检查是否安装了Mysql 1.1 yum检查 yum list installed | grep mysql 1.2 安装则直接删除 yum remove xxx 1.3 rpm检查 rpm -qa | grep -i mysql # 有则直接删除 rpm -e --nodeps xxx 第二章 正式安装MySQL 2.1 yum安装,下载mysql wget --no-check-ce…

多系统集成的项目周期为何普遍较长?

在现代企业的运营中,各种信息系统的集成已成为提升效率和竞争力的关键。然而,当工厂的ERP系统需要与MES、SRM、WMS、CRM等其他系统集成时,项目周期往往长达一年以上,这不仅耗费时间、人力和财力,还可能影响企业的正常运…

开发者的福音:免去搭建服务,让你的应用开发变得像吃蛋糕一样简单!

传统应用开发的"噩梦" 想象一下,你正在准备一场盛大的晚宴,但必须从零开始建造厨房、种植食材、甚至学习烹饪技巧。这就是传统应用开发的现状——你不仅要设计数据库、编写API接口,还要处理对象存储、实时数据库、云数据库等一系列…

常见的数据分析方法

1.周期性分析法 一个指标的观察时间拉长,看它是否有周期变化规律。周期性分析常见的有两者:自然周期和生命周期。自然周期,指业务指标会随着时间自然变化,如节假日用户/业绩出现下滑、产品销售额随季节变动等;生命周期,譬如“商品生命周期”、“APP生命周期”、“用户生…

vue3 <script setup> 语法糖时间组件

<template><div><p>当前时间Current Time: {{ currentTime }}</p></div> </template><script setup> import { ref, onBeforeUnmount, onMounted } from vueconst currentTime ref()let interval // 声明 interval 变量const getTo…

图神经网络实战(11)——Weisfeiler-Leman测试

图神经网络实战(11)——Weisfeiler-Leman测试 0. 前言1. 图神经网络的表达能力2. Weisfeiler-Leman (WL) 测试2.1 WL 测试原理2.2 利用 WL 测试比较不同聚合算子小结系列链接0. 前言 在 GraphSAGE 架构中,使用模型的准确性换取了可扩展性,这在推荐系统等应用中非常有用。然…

反射、类加载、静态代理,jdk动态代理,cglib代理

一、 反射 反射是在程序运行状态下&#xff0c;动态获取类的结构&#xff08;属性&#xff0c;构造器&#xff0c;方法&#xff0c;注解&#xff09;&#xff0c;动态的创建类对象然后调用类中的属性方法。反射的起源Class&#xff0c;Class中包含类反射要使用的API 获取Class的…

java项目级云MES源码(制造执行系统) springboot + vue-element-plus-admin生产制造业MES系统源码

java项目级云MES源码&#xff08;制造执行系统) springboot vue-element-plus-admin生产制造业MES系统源码 MES系统通过信息传递对从订单下达到产品完成的整个生产过程进行优化管理。当工厂发生实时事件时&#xff0c;MES制造执行系统功能的发挥重点体现在及时做出反应、报告&…

期权成交量太小卖不出去怎么办?

今天期权懂带你了解期权成交量太小卖不出去怎么办&#xff1f;在期权交易的世界里&#xff0c;成交量是一个至关重要的指标&#xff0c;它犹如行情的晴雨表&#xff0c;反映着市场的活跃程度。 期权成交量太小卖不出去怎么办&#xff1f; 耐心等待&#xff1a;如果期权合约的流…

华为UPS关机软件NetShutdown Ubuntu 开机自启动

前提条件 华为UPS2000-H 安装完毕&#xff0c;选配SNMP的卡&#xff0c;已经配置好网络&#xff0c;并与Ubuntu服务器处于同一局域网内&#xff0c;NetShutdown软件也已经安装并配置完毕&#xff0c;可与UPS正常通讯。 环境 操作系统&#xff1a;Ubuntu 22.04.4 LTS (GNU/Li…

图计算与ID-Mapping

目录 一、图计算&#xff1a; 图计算起源&#xff1a; 图计算特点&#xff1a; 图计算的应用&#xff1a; Spark GraphX图处理库 ID-Mapping 二、总结&#xff1a; 一、图计算&#xff1a; 图&#xff08;Graph&#xff09;是用于表示对象之间关联关系的一种抽象数据结构…

构建和启动带可视化环境的centos7.8 docker镜像

CentOS 7.8 官方 Docker 镜像可以在 Docker Hub 上找到&#xff0c;但它不会直接提供一个带有 GUI 的环境。如果你需要一个带有 GUI 的 CentOS 容器&#xff0c;你可以基于 CentOS 镜像创建一个带有 X11 服务的容器。 以下是一个简单的 Dockerfile 示例&#xff0c;它基于 Cen…

Java面试八股之对threadLocal是怎么理解的

对threadLocal是怎么理解的 概念与特点&#xff1a;ThreadLocal是Java提供的一个类&#xff0c;它允许你创建线程局部变量。每个线程都拥有自己的ThreadLocal变量副本&#xff0c;彼此之间互不影响&#xff0c;实现了变量在线程间的隔离。这意味着&#xff0c;即使多个线程使用…