SVDD(Singing Voice Deepfake Detection,歌声深度伪造检测)挑战2024

      随着AI生成的歌声快速进步,现在能够逼真地模仿自然人类的歌声并与乐谱无缝对接,这引起了艺术家和音乐产业的高度关注。歌声与说话声不同,由于其音乐性质和强烈的背景音乐存在,检测伪造的歌声成为了一个特殊的领域。

     SVDD挑战是首个专注于检测实验室控制和野外真实与伪造歌声录音的研究挑战。该挑战将在2024年IEEE口语语言技术研讨会(SLT 2024)上举行。

     挑战目标:SVDD挑战旨在汇集学术界和工业界的资源,开发出创新和有效的技术来检测伪造的歌声。

     挑战分为两个不同的轨道:控制环境(CtrSVDD)和野外环境(WildSVDD)。CtrSVDD使用无伴奏的歌声,而WildSVDD则包含背景音乐。CtrSVDD数据集在Zenodo上发布,WildSVDD数据集同样在Zenodo上发布,提供了训练和测试分区。

1、控制环境(CtrSVDD)

使用现有的14种歌声合成(SVS)和歌声转换(SVC)系统从真实的声乐剪辑生成深度伪造的歌声。这些系统包括ESPnet-Muskits、NNSVS、DiffSinger、ACESinger等。

测试集:SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge (CtrSVDD Track, Test Set)

训练及开发集:SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge (CtrSVDD Track, Training/Development Set)

  1. 2、野外环境(WildSVDD)

WildSVDD数据集通过从社交媒体平台收集数据来构建,类似于SingFake项目。数据集已经扩展到原始SingFake的大约两倍大小,包含了更多的歌手和歌曲。

CtrSVDD数据集SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge (WildSVDD Track)

  1. 3、基线系统架构图

挑战有两个基线系统:一个使用原始波形,另一个使用线性频率倒谱系数(LFCCs)作为前端特征。基线系统的架构如图所示

4、关键日期

2024年5月7日,CodaBench研究结果提交开放(根据请求访问)

2024年6月8日,SVDD挑战注册截止日期

2024年6月8日,SVDD挑战额外训练数据集许可请求截止日期

2024年6月8日,组织者发布所有可用的训练数据集

2024年6月15日,结果提交截止日期(结果&系统描述),CodaBench挑战提交关闭。结果将在CodaBench上公开,并电子邮件给参与者以官方确认。

5、歌声合成(SVS)和歌声转换(SVC)知名工具和模型

5.1 ESPnet-Muskits

ESPnet 是一个开源的音乐处理工具包,目前主要关注端到端歌声合成,Muskits 是 ESPnet 中用于歌声合成的一个扩展工具集。Muskits 采用pytorch作为深度学习引擎,遵循ESPnet和Kaldi风格的数据处理方式,以及配方来提供各种音乐的完整设置用于歌声的合成,包括声码器、声学模型和文本前端。它支持多种语言,并能够生成自然听起来的歌声。

5.2 NNSVS (Neural Network-based Singing Voice Synthesis)

NNSVS 是由日本名古屋大学提出的一个基于神经网络的歌声合成系统最新版本是nnsvs-world v4。它利用深度学习技术来模拟人类歌手的声音,并生成与音乐伴奏同步的歌声。NNSVS 通常包括音符特征提取、声码器和声音建模等组件。

5.3 DiffSinger

DiffSinger 是一个基于扩散机制的歌声合成模型,由中国科学院声学研究所提出。它通过模拟声音的物理生成过程来生成歌声,能够生成具有不同歌手特征的歌声。DiffSinger 的一个特点是它使用了一种浅层扩散机制,这使得它在生成歌声时能够保持较高的音质。在中文歌唱数据集上其技术性能和音乐表现力均优于现有声学模型

5.4 ACESinger

ACESinger 是由清华大学提出的一个歌声合成系统,它能够生成与音乐伴奏同步的歌声。ACESinger 采用了先进的深度学习技术,包括变分自编码器(VAE)和生成对抗网络(GAN),来生成自然且富有表现力的歌声。

6、数据共享工具相关资源

Zenodo是一个多学科研究产品储存库,支持各种内容,包括刊物、演示文稿、论文集、项目、图像、软件(包括与GitHub的集成)以及所有语言的数据,由欧洲核子研究组织 (European Organization for Nuclear Research, CERN) 维护。它对数据格式没有任何限制,最多可以存储50GB的数据。此储存库中数据可终身保存,可以采用封闭(只要未授权都无法访问)、开放或禁止(禁止期内无法访问)状态储存。

DataCite:DataCite成立于2009年,最初是一个国际合作组织,目的是为研究数据提供稳定的在线识别信息。DataCite的服务目的还包括为科学数据创建元数据(metadata)集,为用户分配DOI、增强数据搜索能力、与会员共同建立共享数据库和高效引用机制。它收集每个有DOI的元数据,结合成大型索引研究数据,这些数据可直接查询,让人查找数据和其他研究物件,正确引用数据,获取统计数据并探索连接。所有元数据都可自由访问和查看。DataCite 提供了一个集成的搜索界面,可以从数百万条记录中搜索、筛选和提取所有细节。该软件可用于跟踪与基金相关的数据,这点很重要,因为资助机构要求数据共享。此外,跟踪经费数据可以让资助机构更好地了解他们的资金所产生的影响。

Dryad:一个科学和医学论文数据储存库,让科研论文的数据可被发现,可自由重复使用和可引用。Dryad 可存储表格、电子表格、文本、视频、照片、软件代码和其他无储存库可保存的发表数据。Dryad 支持许多期刊的整合提交功能,因此当作者将数据与其发表的文章一起提交给 Dryad时,数据的链接也会包含在发表的文章中。Dyrad的目标用户是研究人员、期刊、科研协会、出版商、研究单位、图书馆和资助机构,因此具有广泛的知名度,并且数据库资源丰富。

Figshare:一个基于云计算网络的在线数字资源库,科研人员可以保存和分享他们的研究成果,包括数据、数据集、图像、视频、海报和代码,从而使得他们的研究,甚至包括初步研究,曝光并获得认可。由于Fighare遵循开放数据原则,用户可以自由访问数据和上传内容。因此,科研人员可以通过Fighare公开他们的数据,Fighare上的所有条目都有DOI,方便引用。Fighare还跟踪托管材料的下载统计,做为altmetrics的来源。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/838366.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

惠州在线教育系统公司,K12数学受资本关注?麦斯数学获数千万人民币Pre-A轮融资

K12赛道一直是很火热的,大家也非常关注细分领域中的数学。近日麦斯数学宣布完成数千万人民币Pre-A轮融资,投资方为联想之星。 麦斯数学由51Talk联合创始人舒婷创立,目标定位于9-15岁的青少儿群体。据了解,麦斯数学以在线12-16人小…

电脑常用的PDF阅读器-嗨动PDF编辑器!带你详细了解它

电脑常用的PDF阅读器-嗨动PDF编辑器!在数字化信息爆炸的时代,PDF格式的文件因其易于打印和保留原始格式等优点,成为了人们日常工作和学习的常用格式。而对于PDF文件的处理,一款功能强大、操作简便的PDF阅读器是必不可少的。今天&a…

小白学dubbo傻冒连问-长连接篇

dubbo长连接有多长? dubbo的长连接并没有一个固定的时间长度,因为它是相对于通常的短连接而言的,主要特点是长时间保持客户端与服务端的连接状态。 在dubbo中,缺省协议采用单一长连接和NIO异步通讯,适合于小数据量大并…

SprintBoot案例-增删改查

黑马程序员JavaWeb开发教程 文章目录 一、准备工作1. 准备数据库表1.1 新建数据库mytlias1.2 新建部门表dept1.3 新建员工表emp 2. 准备一个Springboot工程2.1 新建一个项目 3. 配置文件application.properties中引入mybatis的配置信息,准备对应的实体类3.1 引入myb…

FastAdmin菜单规则树形结构分类显示

控制器controller文件Classification.php <?phpnamespace app\admin\controller\classification;use app\common\controller\Backend; use fast\Tree; use think\Db; use app\admin\model\AuthRule; use think\Cache;/*** 模块分类管理** icon fa fa-circle-o*/ class Cla…

Linux/Debian/Ubuntu系统中apt/apt-get的20个常见命令

apt的20个常见命令 以下是apt的20个常见命令&#xff1a; apt install <package>&#xff1a;安装软件包。apt remove <package>&#xff1a;移除软件包。apt purge <package>&#xff1a;移除软件包及其配置文件。apt update&#xff1a;更新可用软件包列…

学习前端第三十七天(静态属性静态方法、类检查、错误处理)

一、静态属性和静态方法 1、静态属性静态方法 在属性和方法前加上static&#xff0c;创建属于类自己的属性和方法 class Person {// 加static&#xff0c;属于类自己的static name "xc"; // 类的name属性static height 183; // 类的height属性static age 20;…

设计模式14- Chain of Responsibility Method 责任链设计模式

设计模式14- Chain of Responsibility Method 责任链设计模式 1.定义 责任链模式&#xff08;Chain of Responsibility Pattern&#xff09;是一种行为型设计模式。它通过把请求从一个对象传到链条中的下一个对象的方式&#xff0c;直到请求被处理完毕&#xff0c;以实现解耦…

weblogic 任意文件上传 CVE-2018-2894

一、漏洞简介 在 Weblogic Web Service Test Page 中存在一处任意文件上传漏洞&#xff0c; Web Service Test Page 在"生产模式"下默认不开启&#xff0c;所以该漏洞有一定限制。利用该 漏洞&#xff0c;可以上传任意 jsp 文件&#xff0c;进而获取服务器权限。 二…

[链表专题]力扣141, 142

1. 力扣141 : 环形链表 题 : 给你一个链表的头节点 head &#xff0c;判断链表中是否有环。 如果链表中有某个节点&#xff0c;可以通过连续跟踪 next 指针再次到达&#xff0c;则链表中存在环。 为了表示给定链表中的环&#xff0c;评测系统内部使用整数 pos 来表示链表尾…

数据结构------二叉树经典习题1

博主主页: 码农派大星. 关注博主带你了解更多数据结构知识 1判断相同的树 OJ链接 这道题相对简单,运用我们常规的递归写法就能轻松写出 所以我们解题思路应该这样想: 1.如果p为空&#xff0c;q为空&#xff0c;那么就是两颗空树肯定相等 2.如果一个树为空另一棵树不为空那么…

2024年,诺基亚手机发售仅一天就售罄

在智能手机越来越同质化的今天&#xff0c;各家都只卷性能和相机&#xff0c;大火的 AI 对于咱来说好像实用性又不太大&#xff0c;机圈属实整的有点儿无聊。 不过在阿红这两天上网冲浪的时候&#xff0c;一个陌生又熟悉的名字闯入了我的视线&#xff0c;——诺基亚&#xff08…

维护表空间中的数据文件

目录 向表空间中添加数据文件 从表空间中删除数据文件 删除users表空间中的users02.dbf数据文件 对数据文件的自动扩展设置 Oracle从入门到总裁:​​​​​​https://blog.csdn.net/weixin_67859959/article/details/135209645 维护表空间中的数据文件主要包括向表空间中添…

深度学习中常见的九种交叉验证方法汇总

目录 1. K折交叉验证&#xff08;K-fold cross-validation&#xff09; 2. 分层K折交叉验证&#xff08;Stratified K-fold cross-validation&#xff09; 3. 时间序列交叉验证&#xff08;Time Series Split&#xff09; 4. 留一交叉验证&#xff08;Leave-One-Out Cross-…

8个迹象表明你需要一台新笔记本电脑,看一下你的笔记本是否有其中一个

序言 当你第一次打开你的笔记本电脑的盒子时,它会以最高性能运行,电池寿命更长,过热最小,资源使用效率高。然而,随着笔记本电脑的老化,它将不能满足预期用途。以下几个迹象表明,可能是时候寻找并投资一款新设备了。 你的设备不再具有预期用途 如果你的笔记本电脑不再…

Java内存模式以及volatile关键字的使用

1.Java内存模型 &#xff08;1&#xff09;Java 内存模型&#xff08;Java Memory Model&#xff0c;简称 JMM&#xff09;&#xff0c;它是一个抽象的概念&#xff0c;JMM是和多线程相关的&#xff0c;它是一组规范&#xff0c;描述了一组规则&#xff0c;定义了多线程对共享…

“图生视频”技术创新:剪贴画秒变动画生成的实验验证与分析

在最近的研究进展中&#xff0c;AniClipart系统的问世标志着文本到视频生成技术的一个重要里程碑。这一系统由香港城市大学和莫纳什大学的研究者们共同开发&#xff0c;旨在解决将静态剪贴画图像根据文本提示自动转换成动画序列的挑战。传统的动画制作流程繁琐且耗时&#xff0…

2024中国(重庆)商旅文化川渝美食暨消费品博览会8月举办

2024中国(重庆)商旅文化川渝美食暨消费品博览会8月举办 邀请函 主办单位&#xff1a; 中国航空学会 重庆市南岸区人民政府 招商执行单位&#xff1a; 重庆港华展览有限公司 展会背景&#xff1a; 2024中国航空科普大会暨第八届全国青少年无人机大赛在重庆举办&#xff…

用友GRP-U8 bx_dj_check.jsp SQL注入漏洞复现(XVE-2024-10537)

0x01 免责声明 请勿利用文章内的相关技术从事非法测试&#xff0c;由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#xff0c;作者不为此承担任何责任。工具来自网络&#xff0c;安全性自测&#xff0c;如有侵权请联系删…

NSSCTF | [SWPUCTF 2021 新生赛]babyrce

打开题目&#xff0c;显示了一个php脚本 我们来分析一下这个脚本是什么意思 <?php error_reporting(0); header("Content-Type:text/html;charsetutf-8"); highlight_file(__FILE__); if($_COOKIE[admin]1) {include "../next.php"; } elseecho &quo…