2022-ECCV-Explaining Deepfake Detection by Analysing Image Matching

一、研究背景
1.大量工作将深度伪造检测作为一个二分类任务并取得了良好的性能。
2.理解模型如何在二分类标签的监督下学习伪造相关特征仍难是个艰巨的任务。
3.视觉概念:具有语义的人脸区域,如嘴、鼻子、眼睛。

二、研究目标
1.验证假设,并从图像匹配的角度评估视觉概念的关系,以此解释检测模型的预测结果。
2.解释深度伪造检测模型如何在二分类标签的监督下学习伪影特征。
3.习得更好的检测模型,提高在压缩视频上的伪造检测性能。

三、研究动机(3种假设)
在这里插入图片描述
1.检测模型将既不与原图相关也不与目标图相关的视觉概念看作是与伪造相关的视觉概念,性能良好的检测模型应该基于源/目标-无关的视觉概念来判断真伪。
2.在标签的监督下,伪造-原图-目标图匹配可以帮助丢弃伪造无关视觉特征,隐式学习伪造相关的视觉概念。
3.利用原始训练集进行图片匹配习得的视觉概念容易受到视频压缩的影响。

四、技术路线
假设1:

  1. 设计源编码器 v s v_s vs和目标编码器 v t v_t vt区分图片中的视觉概念。
  2. 令伪造图片与相应源/目标图片具有相同属性标签,以此训练编码器。
  3. 用Shapley value评估视觉概念的区域贡献。例如:
    对输入图片做 L × L L\times L L×L区域划分,得到 G = { g 11 , … , g L L } G=\{g_{11},\dots,g_{LL}\} G={g11,,gLL}
    ϕ v d ( g i j ∣ G ) > 0 \phi_{v_{d}}(g_{ij}\mid G)>0 ϕvd(gijG)>0时,证明区域 g i j g_{ij} gij与伪造相关。
  4. 评估视觉概念间的关系:
    利用掩膜操作定位源/目标相关区域:
    M τ = I ( m a x ( ϕ v s , ϕ v s ) ) > τ M_{\tau}=I(max(\phi_{v{s}},\phi_{v{s}}))>\tau Mτ=I(max(ϕvs,ϕvs))>τ
    评估视觉概念间的交叉强度,第一项为无关区域的相关强度,第二项为相关区域的相关强度:
    在这里插入图片描述

假设2:
设置两种训练集:
第一种:真实图片仅包含和伪造图片相关的原图/目标图
第二种:真实图片与伪造图片不相关

假设3:
评估稳定性:
对于压缩图片,由源/目标编码器习得的视觉概念更加稳定。
在这里插入图片描述

FST-Matching Deepfake Detection Model:
直接将源/目标无关特征从源/目标视觉概念中分离出来去进行真伪检测可以提升在压缩视频上的性能。
在这里插入图片描述

  1. 习得源特征 f s f_s fs和目标特征 f t f_t ft
  2. 利用通道注意力自动解纠缠源/目标无关特征 f s i r f_s^{ir} fsir f t i r f_t^{ir} ftir和源/目标相关特征 f s r f_s^{r} fsr f t r f_t^{r} ftr
    在这里插入图片描述
  3. 设置 Fake-Source/Target Pair Verification module验证解纠缠的有效性,令源/目标图片的 f r f^{r} fr具有和原始图片相同的属性标签,并进行属性预测
    在这里插入图片描述
  4. 增强 [ f s i r , f t i r ] [f_s^{ir}, f_t^{ir}] [fsir,ftir]的交互, h h h为预测模块,令联合预测损失小,单一预测损失大,0输入的影响小。
    在这里插入图片描述
  5. 总损失
    在这里插入图片描述

五、实验结果
在这里插入图片描述
六、思考

  1. 解纠缠:伪造无关特征包含身份属性,伪造相关特征联合区分真假
  2. 图匹配:在匹配中去除相同属性的干扰
  3. 输入:上下支路均有源、目标、伪造图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/615044.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

虹科分享 | 用Redis为LangChain定制AI代理——OpenGPTs

文章速览: OpenGPTs简介Redis在OpenGPTs中的作用在本地使用OpenGPTs在云端使用OpenGPTsRedis与LangChain赋能创新 OpenAI最近推出了OpenAI GPTs——一个构建定制化AI代理的无代码“应用商店”,随后LangChain开发了类似的开源工具OpenGPTs。OpenGPTs是一…

OpenCV——多分辨率LBP的计算方法

目录 一、算法原理1、原理概述2、参考文献 二、代码实现三、结果展示 OpenCV——多分辨率LBP的计算方法由CSDN点云侠原创,爬虫自重。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的爬虫。 一、算法原理 1、原理概述 基本LBP算子虽然在早期…

Golang条件编译 | 获取系统的磁盘空间内存占用demo | gopsutil/disk库(跨平台方案)

文章目录 一、Golang条件编译1. 构建标签( Build tags)2. 文件后缀(File suffixes) 二、GO golang 获取磁盘空间 条件编译思路 三、【推荐】使用github.com/shirou/gopsutil/disk这个库,如何获取机器下不同磁盘分区的内容 一、Golang条件编译…

Vue.js设计与实现阅读-2

Vue.js设计与实现阅读-2 1、前言2、框架设计的核心要素2、1 提升用户体验2、2 控制代码体积2、3 Tree-Shaking2、4 特性开关2、5 错误处理 1、前言 上一篇我们了解到了 命令式和声明式的区别,前者关注过程,后者关注结果了解了虚拟dom存在的意义&#x…

Ubuntu22.04 netplan 网络配置

Ubuntu18.04修改IP地址的方法(error in network definition ......is missing /prefixlength)_error in network definition: expected sequence-CSDN博客 Ubuntu20.04 单网卡配置多ip_ubuntu单网卡多ip-CSDN博客 ubuntu配置多网段IP-CSDN博客 Netplan使用(高版…

把应用转为LINUX服务失败,两个奇怪错误

应用经常崩溃,于是就想转为服务,让系统帮忙重启。这个事情当然信心满满,咱之前做过,最近也刚刚实验过。想法是好的,现实是残酷的,遇到两个问题无解: 访问内存失败 经过定位,确认是…

CMake入门教程【实战篇】Ninja环境搭建与加速项目构建

文章目录 1.什么是Ninja?2.为什么选择Ninja?3.Ninja的特点4.如何使用Ninja5.vscode+msvc+cmake+ninja示例命令行操作示例vscode1.什么是Ninja? Ninja是一个专注于速度的小型构建系统。与其他构建系统不同,Ninja采用了一种低级方法,旨在实现快速的增量构建。它的设计理念是…

笔记软件内怎么查看文章字数 笔记查看字数的操作步骤

在记录生活点滴、工作要务时,你是否曾像我一样,为了知道写了多少字而犯愁?尤其是在需要精确控制字数时,那种焦虑感更是如影随形。 记得有一次,我为了一个项目报告苦思冥想,好不容易写了个初稿,…

Java--ListUtil工具类,实现将一个大列表,拆分成指定长度的子列表

文章目录 前言实现代码执行结果 前言 在项目中有时会出现列表很大,无法一次性批量操作,我们需要将列表分成指定大小的几个子列表,一份一份进行操作,本文提供这样的工具类实现这个需求。 实现代码 以下为代码实现: …

源码编译FFmpeg4.3

FreeSWITCH的mod_av模块目前(1.10.11)暂不支持FFmpeg4.4(或者更高版本),但4.3就没问题 最近试了试源码编译FFmpeg4.3,记录如下(系统centos7.9): git clone GitHub - Bt…

Rust语言的Hello, World! 程序解析

Rust是一门现代系统编程语言,注重内存安全和并发性。让我们从一个经典的 “Hello, World!” 程序开始,逐步解析它的每个部分。 fn main() {println!("Hello, world!"); }1. fn main() { ... } 在Rust中,程序的执行从 main 函数开…

锂电池的电压和容量怎么计算?

锂电池组是由电池单体(电芯)通过串并联来组成 1、串联(S)增加电压,容量不变。 例如:1个磷酸铁锂电池的额定电压为3.2V,容量为4000mAH,将10个磷酸铁锂电芯串联,电池组电压:3.2v*10&a…

目标检测正负样本分配策略----ATSS

一、ATSS 参考:https://blog.csdn.net/xuzz_498100208/article/details/110355048 https://zhuanlan.zhihu.com/p/411659547 作者提出了一种自适应的选取正样本的方法,具体方法如下: 1.对于每个输出的检测层,选计算每个anchor的中…

Spring Boot中加@Async和不加@Async有什么区别?设置核心线程数、设置最大线程数、设置队列容量是什么意思?直接在yml中配置线程池

在 Spring 中,Async 注解用于将方法标记为异步执行的方法。当使用 Async 注解时,该方法将在单独的线程中执行,而不会阻塞当前线程。这使得方法可以在后台执行,而不会影响主线程的执行。 在您提供的代码示例中,a1() 和…

java-面向对象

什么是类?什么是对象? - 现实生活中是由很多很多对象组成的,基于对象抽出了类 - 对象:软件中真实存在的单个个体/东西 类:类别/类型,代表一类个体 - 类是对象的模子,对象是类的具体的实例 - 类中…

【gpt4 8k 免费使用】Coze 是一款用来开发新一代 AI Chat Bot 的应用编辑平台

Coze 快速开始 | Coze Welcome to Coze Coze 是什么? Coze 是一款用来开发新一代 AI Chat Bot 的应用编辑平台,无论你是否有编程基础,都可以通过这个平台来快速创建各种类型的 Chat Bot,并将其发布到各类社交平台和通讯软件上。…

【C++】类和对象之匿名对象友元内部类

目录 一、匿名对象 1、基础格式 2、使用场景 二、友元 1、友元函数 2、友元类 三、内部类 1、概念 2、特性 四、拷贝对象时的一些编译器优化 1、函数传参 2、对象返回 一、匿名对象 1、基础格式 【注意】 🟢匿名对象的声明周期只有当前行,进入…

[计算机提升] 创建FTP共享

4.7 创建FTP共享 4.7.1 FTP介绍 在Windows系统中,FTP共享是一种用于在网络上进行文件传输的标准协议。它可以让用户通过FTP客户端程序访问并下载或上传文件,实现文件共享。 FTP共享的用途非常广泛,例如可以让多个用户共享文件、进行文件备份…

超越5大最先进的文本到视频系统!MagicVideo-V2:多阶段高保真视频生成框架(字节)

本项工作介绍了MagicVideo-V2,将文本到图像模型、视频运动生成器、参考图像embedding模块和帧内插模块集成到端到端的视频生成流程中。由于这些架构设计的好处,MagicVideo-V2能够生成具有极高保真度和流畅度的美观高分辨率视频。通过大规模用户评估&…