CFPRF:一种用于音频时间伪造检测和定位的框架

关键词:音频伪造检测、时间伪造定位、差异特征感知学习

     最近,一种新型的音频部分伪造形式对音频取证提出了挑战,这要求采取先进的对策来检测长时间音频中的微妙伪造操作。然而,现有的对策仍然服务于分类目的,未能对部分伪造片段的开始和结束时间戳进行有意义的分析。

现有对策面临的挑战:

  • 分类限制:当前的音频伪造检测(PFD)解决方案仍然以分类为目标,即从预测整个语音到帧级结果的范围。然而,在修改后的音频中提供时间伪造区域可以帮助用户更好地理解音频伪造内容的分析结果,这更符合音频取证的实际需求和应用。
  • 小伪造片段挑战:如果恶意用户具备语音学知识,他们可以通过操纵元音甚至小于单词级别的辅音来改变原始语义。时间伪造定位(TFL)网络的目标是预测特定的伪造区域,而在长时间音频中定位由单个帧或几个连续帧组成的小伪造片段可能具有挑战性。
  • 多个伪造片段挑战:恶意用户可能不仅仅操纵音频中的一个片段,而是故意在多个片段中使用伪造。这种挑战导致随着伪造片段数量的增加,定位性能逐渐减弱。过渡边界可以提供有价值的线索来增强多个伪造片段的检测,因为它指示了诸如语音不一致性和环境噪声不一致性之类的伪影。

新型部分音频伪造及其对策的示意图

为了应对这些挑战,本文引入了一种新颖的两阶段框架,称为粗到细的提议细化框架(CFPRF),用于音频时间伪造检测和定位(TFDL)。与现有的音频PFD方法不同,作者利用第一阶段的帧级检测网络(FDN)来学习鲁棒的表示,以更好地指示大致的伪造区域,并在第二阶段使用提议细化网络(PRN)来产生细粒度的提议。

1 CFPRF框架

CFPRF是一个新颖的从粗到细的提议细化框架,它结合了一个帧级检测网络(FDN)和一个提议细化网络(PRN),用于音频时间伪造的检测和定位。CFPRF的核心思想是通过强迫模型感知不同帧之间微妙的差异,并捕获多个转换边界的上下文信息,来挖掘时间不一致线索。

CFPRF框架

1.1 阶段一:帧级检测网络 (FDN)

学习鲁棒的区分特征,更好地指示伪造区域。

  • 差异感知特征学习 (DAFL) 模块: 利用对比学习,通过双注意力层提取频谱和通道信息,并扩大不同帧之间的细微差异,从而更好地区分伪造帧和真实帧。
  • 边界感知特征增强 (BAFE) 模块: 通过 MLP 和自注意力机制学习边界特征,并与时间特征进行交叉注意力交互,增强对多个伪造段落的检测能力。
  • 输出: 帧级伪造概率得分和特征向量。

1.2 阶段二:提议细化网络 (PRN)

利用 FDN 的输出,产生更精细的伪造段定位提议。

  • 粗粒度提议生成: 根据帧级伪造概率得分,将连续的伪造帧合并为粗粒度提议区域。
  • 细粒度提议生成: 利用提议区域特征,通过验证头和回归头预测置信分数和回归偏移量,对粗粒度提议进行细化。
  • 输出: 精细的伪造段定位提议,包括起始时间戳、持续时间长度和置信分数。

2 实验

2.1 数据集

  • LAV-DF: 一个多模态数据集,主要用于音频和视频篡改的检测与定位。包含语音替换和删除操作的部分伪造音频数据集,每个音频片段包含一个或多个伪造区域。
  • ASVS2019PS: 包含语音替换、删除和插入操作的部分伪造音频数据集,具有更多的小规模伪造区域,更具挑战性。
  • HAD: 包含语音替换和删除操作的部分伪造音频数据集,每个音频片段包含一个伪造区域。

2.2 对比方法

  • PFD 方法: PSDL 和 IFBDN,用于评估 CFPRF 的 PFD 性能。
  • TFL 方法: BA-TFD、BA-TFD+ 和 UMMAF,用于评估 CFPRF 的 TFL 性能。
  • PRN 集成: 将 PRN 与 PSDL 和 IFBDN 集成,以评估 PRN 的有效性。

2.3 评价指标

  • PFD: 等误差率 (EER)、曲线下面积 (AUC)、准确率 (Pre)、召回率 (Rec) 和 F1 分数。
  • TFL: 平均精度 (AP) 在不同 TIoU 阈值下,不同平均提议数量 (AN) 下的平均召回率 (AR),以及不同 TIoU 阈值下的平均 AP (mAP)。

2.4 实验结果

  • PFD 性能: CFPRF 在三个数据集上都取得了最佳的 PFD 性能,EER 和 F1 分数均优于其他方法。
  • TFL 性能: CFPRF 在三个数据集上都取得了最佳的 TFL 性能,mAP 和 AR@20 均优于其他方法。
  • PRN 集成: PRN 与 PSDL 和 IFBDN 集成后,在 ASVS2019PS 数据集上取得了显著的性能提升,证明了 PRN 的有效性。
  • 消融实验: 消融实验表明,FDN 和 PRN 中的各个模块都对性能有重要贡献,并且不同的损失函数可以有效地指导特征学习。

主要参考:

Junyan Wu, Wei Lu,et al. Coarse-to-Fine Proposal Refinement Framework for Audio Temporal Forgery Detection and Localization.arXiv preprint arXiv:2407.16554 2024

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/49726.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“微软蓝屏”事件暴露了网络安全哪些问题

一、“微软蓝屏”事件暴露了网络安全哪些问题? 1.软件漏洞:微软蓝屏事件是由于Windows操作系统中的一个软件漏洞导致的。软件漏洞可能被黑客利用来执行恶意代码或控制受感染的系统。 2.不及时的安全更新:微软蓝屏事件揭示了一些系统没有及时应…

手机空号过滤批量查询的意义及方法

手机空号过滤批量查询是现代营销和通信管理中常用的技术手段,旨在通过批量处理手机号码,筛选出活跃号码和空号等无效号码,以提高营销效率和减少不必要的通信成本。以下是关于手机空号过滤批量查询的详细解答: 一、手机空号过滤批…

C++客户端Qt开发——Qt窗口(工具栏)

2.工具栏 使用QToolBar表示工具栏对象&#xff0c;一个窗口可以有多个工具栏&#xff0c;也可以没有&#xff0c;工具栏往往也可以手动移动位置 ①设置工具栏 #include "mainwindow.h" #include "ui_mainwindow.h" #include<QToolBar> #include<…

Django教程(000):初识Django

Django 是一个高级 Python Web 框架,旨在快速开发、简洁、实用。Django 提供了众多内置功能,使得开发者可以专注于编写应用程序的业务逻辑,而不需要过多关注底层细节。以下是 Django 的详细介绍: 1. Django 简介 Django 是一个开放源代码的 Web 框架,由 Python 编写,最…

61.列表重绘

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 内容参考于&#xff1a;易道云信息技术研究院 上一个内容&#xff1a;60.分析对比模块找出被注入的模块 以 60.分析对比模块找出被注入的模块 它的代码为基础…

secureCRT同时在所有已打开窗口执行命令、mac-os下使用的SecureCRT版本 以及 SecureCRT一段时间不操作没有响应的问题

一、secureCRT命令行工具一次性同时在所有已打开窗口执行命令 公司的服务器比较多&#xff0c;最近因为opcache&#xff0c;上线发布后&#xff0c;需要重启所有的WEB服务器上的php。目前使用的jenkins发布&#xff0c;不过账号安全问题&#xff0c;给jenkins的账号权限受限不能…

Hype 4 Pro for Mac:专业级HTML5动画制作利器

Hype 4 Pro for Mac是一款专为Mac用户设计的专业级HTML5动画制作软件&#xff0c;它集动画制作、交互设计于一身&#xff0c;为用户提供了一种全新的、高效的动画制作体验。 该软件拥有直观易用的界面和强大的功能&#xff0c;支持多种设计元素&#xff0c;如滚动、旋转、缩放…

DVWA的安装和使用

背景介绍 DVWA是Damn Vulnerable Web Application的缩写&#xff0c;是一个用于安全脆弱性检测的开源Web应用。它旨在为安全专业人员提供一个合法的测试环境&#xff0c;帮助他们测试自己的专业技能和工具&#xff0c;同时也帮助web开发者更好地理解web应用安全防范的过程。DV…

css:卡片列表如何自适应布局

css媒体查询&#xff1a;media width(%)flex布局ant-design组件库中有个RowCol&#xff0c;但是有时候需要一排放5个&#xff0c;此时RowCol就不是很适用此时可以采用ant-design组件库Grid组件中useBreakpoint&#xff0c;搭配width(%),代码如下&#xff1a; const screens …

华为高教校园网络解决方案 方案规划

方案规划 高教校园虚拟化网络主要是基于iMaster NCE-Campus部署&#xff0c;按照iMaster NCE-Campus的业务配置模型进行部署规划&#xff0c;具体规划如表4-1所示。 表4-1 园区虚拟化网络新建方案规划 规划项 详细部署思路 管理网络部署方案 高教校园网络的管理…

Oriented RepPoints for Aerial Object Detection

研究对象&#xff1a; 空中目标识别&#xff0c;空中目标探测和识别技术的深入研究是为了将空中打击目标从复杂的背景环境中尽可能地剥离出来&#xff0c;通过知识学习&#xff0c;实现对目标的类型确认&#xff0c;进而完成对目标的威胁评估&#xff0c;为快速打击提供判定和决…

c++中的递归拷贝(Recursive Copy)和递归反转链表(Recursive Reverse Linked List)

前言 hello大家好啊&#xff0c;这里是文宇&#xff0c;不是文字&#xff0c;是文宇哦。 递归拷贝&#xff08;Recursive Copy&#xff09; C中的递归拷贝是一种在拷贝对象时使用递归方法的技术。在C中&#xff0c;为了拷贝一个对象&#xff0c;通常使用拷贝构造函数或拷贝赋…

vue大屏展示组件库datav

主要用于构建大屏数据展示页面&#xff0c;具有多种类型组件可供使用。详情参考 datav官网 一、安装 npm 安装 npm install jiaminghi/data-viewyarn安装 yarn add jiaminghi/data-view二、使用 在main.js中注册为全局组件 import dataV from jiaminghi/data-view Vue.us…

GD32 MCU电源复位和系统复位有什么区别

GD32 MCU的复位分为电源复位和系统复位&#xff0c;电源复位又称为冷复位&#xff0c;相较于系统复位&#xff0c;上电复位更彻底&#xff0c;下面为大家详细介绍上电复位和系统复位的实现以及区别。 电源复位包括上电/掉电复位或者从standby模式唤醒产生的复位&#xff0c;电…

【进阶篇-Day12:JAVA中stream流、File类的介绍】

目录 1、stream流1.1 stream流的作用1.2 stream流的思想1.3 获取stream流对象1.4 stream流中间操作方法1.5 stream流终结操作方法1.6 stream收集操作1.7 stream的综合案例 2、File类2.1 File类创建文件对象2.2 File类的常用方法2.3 File类的创建和删除方法2.4 File类的遍历方法…

埃文科技受邀出席2024年河南省工业领域网络和数据安全政策宣贯会

2024年7月18日&#xff0c;由河南省工业和信息化厅主办&#xff0c;河南省工业信息安全产业发展联盟、河南省信息安全产业协会承办的2024年河南省工业领域网络和数据安全政策宣贯会在郑州召开&#xff0c;活动旨在提升河南省工业领域网络和数据安全保护能力&#xff0c;助力企业…

Fetch请求的取消

在实际开发中&#xff0c;我们常常会遇到根据输入框输入的内容&#xff0c;实时去请求接口并将拿到的数据渲染到页面上&#xff0c;但是由于接口响应时间不可控&#xff0c;简单来说就是请求的顺序和响应的顺序不一致&#xff0c;就会导致你可能输入了12&#xff0c;但实际返回…

PMOS、NMOS 驱动电路和使用方法

下图就是 PMOS 和 NMOS 的简单使用方法。D2 是指示灯&#xff0c;NMOS 的 G 连接单片机 IO&#xff0c;PMOS 的 D 连接 24V 继电器&#xff0c;PMOS 的体二极管作为继电器的反向电动势的吸收二极管 PMOS 和 NMOS 不一样&#xff0c;在远超单片机电压下控制 PMOS 必须依靠一个 N…

CSS相关记录

文章目录 backgroundposition文字displayflexjustify-contentalign-itemsflex-directionflex-wrap gridimportant transformtranslate&#xff08;位移&#xff09;scale&#xff08;缩放&#xff09;rotate&#xff08;旋转&#xff09;origin (旋转中心点)skew (倾斜 ) borde…

C# 知识点总结

入门 C#程序在.NET上运行&#xff0c;.NET framework包含两个部分&#xff1a; ①&#xff1a;.NET framework类库 ②&#xff1a;公共语言运行库CLR&#xff08;.NET虚拟机&#xff09; CLS&#xff08;公共语言规范&#xff09; CTS&#xff08;通用类型系统&#xff09; .N…