论文阅读《SELECTIVE DOMAIN-INVARIANT FEATURE FOR GENERALIZABLE DEEPFAKEDETECTION》

作者:Yingxin Lai、 Guoqing Yang1、Yifan He2、Zhiming Luo、Shaozi Li

期刊:ICASSP-2024

目的:解决泛化性的问题,提出了3个模块

论文整体的架构图:(挑选域特征不变,减少对图像内容或者风格融合的依赖)

整个框架是由三部分组成:多样式样本生成器、动态特征提取器和域识别模块(感觉这个不是很重要)

1.首先,用最远的样本的点进行模型的训练的策略,FPS使样本点尽可能多样化

2.提出了一个动态特征提取的模块,提高模型的特征提取能力的泛化和有效性

3.域分离策略,保留域相关的特征,用于帮助区别真实和伪造人脸

做法:使得所有得样本点尽可能得远,因此样本分离and不统一

采样:

采用最远样本采样来采样不同风格的样本点,从N个个种类的全部样本点中,迭代选择C个样本点,以此避免真假样本相互作用。每次选择的点都是距离其他样本点最远的点。

多样性域感知模块:

用于融合内容特征和风格特征在高位特征感知任务中嵌入域知识

首先将输入x输入到特征提取器G中,对样式样本x '进行FPS采样到G '中,得到特征嵌入。

然后使用自适应实例规范化(AdaIN)将内容特征和任意统计修改的样式特征混合到域不变鉴别器D中,使D能够专注于输入域不变特征。(更具有共性的特征)

采样之后采用特征提取器去获得特征嵌入。使用一个特征提取器捕捉多尺度低级图像信息。

AdaIN是一个自适应风格化模块;给定一个内容输入a和一个随机选择的输入样式输入a’,程式化归一化可以形成如下:

其中µ(·)和σ(·)表示通道均值和标准差。

通过生成的样式,多样性样式xd是:

动态特征提取:

引入了动态特征提取模块(DFE),一部分馈入动态卷积支路,另一部分馈入静态卷积支路。动态卷积分支获取一半通道的表示。该模块是在每个特征提取器的卷积层之后添加的。通道分割后,输入特征M被分割成Ma和Mb两部分。

其中ν(·)表示动态卷积操作,Conv是一个卷积块,其中ν依赖于输入实例Ma,⊗表示元素乘法。然后我们在通道维度中连接Ma和Mb,得到一个卷积块δ(·),产生输出特征F,记为:

域辨别模块:

更具有泛化性的内容特征,总结为优化问题:

其中N表示域的数量,也就是不同的操作方法所生成的伪造样本,x表示训练集的样本,y表示对应的标签,Yn表示独热编码,G表示内容特征生成器,D表示域鉴别器,为了同步优化G和D,梯度反转层被用于反向传播中用于翻转梯度。

损失函数

思考

感觉模型的讲述有点混乱

实验

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/22051.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java面试八股之怎么降低锁竞争

怎么降低锁竞争 减少锁的持有时间: 尽量缩短线程持有锁的时间,只在必要时才获取锁,一旦操作完成立即释放锁。可以通过将同步代码块的范围缩小到最小必要程度来实现,避免在锁保护的代码块中执行耗时操作或等待操作,比如…

HTML+CSS+JS 选项卡导航栏

效果演示 实现了一个导航栏切换内容的效果。页面上方有一个导航栏,每个导航项都有一个圆形背景,点击导航项时,圆形背景会放大并显示对应的内容。每个内容区域都包含一个大号字母,数字会在内容区域显示时淡入。点击其他导航项时,当前内容区域会淡出并隐藏,同时新的内容区域…

Docker 基础使用(2) 镜像与容器

文章目录 镜像的含义镜像的构成镜像的作用镜像的指令容器的含义容器的状态容器的指令 Docker 基础使用(0)基础认识 Docker 基础使用 (1) 使用流程概览 Docker 基础使用(2) 镜像与容器 Docker 基础使用(3) 存…

【热点】老黄粉碎摩尔定律被,量产Blackwell解决ChatGPT耗电难题

6月3日,老黄又高调向全世界秀了一把:已经量产的Blackwell,8年内将把1.8万亿参数GPT-4的训练能耗狂砍到1/350; 英伟达惊人的产品迭代,直接原地冲破摩尔定律;Blackwell的后三代路线图,也一口气被…

【动手学深度学习】多层感知机模型选择、欠拟合和过拟合研究详情

目录 🌊1. 研究目的 🌊2. 研究准备 🌊3. 研究内容 🌍3.1 多层感知机模型选择、⽋拟合和过拟合 🌍3.2 基础练习 🌊4. 研究体会 🌊1. 研究目的 多层感知机模型选择:比较不同多层…

使用Python绘制南丁格尔图(玫瑰图)

使用Python绘制南丁格尔图(玫瑰图) 南丁格尔图效果代码 南丁格尔图 南丁格尔图(Nightingale Rose Chart),也被称为玫瑰图或极区图,是一种特殊的圆形统计图,用于显示多个类别的数据。它是由弗洛…

基于聚类和回归分析方法探究蓝莓产量影响因素与预测模型研究

🌟欢迎来到 我的博客 —— 探索技术的无限可能! 🌟博客的简介(文章目录) 目录 背景数据说明数据来源思考 正文数据预处理数据读取数据预览数据处理 相关性分析聚类分析数据处理确定聚类数建立k均值聚类模型 多元线性回…

Codeforces Round 950 (Div. 3) 个人题解 (A~F1)

Codeforces Round 950 (Div. 3)个人题解(A~F1) 题解火车头 #define _CRT_SECURE_NO_WARNINGS 1#include <iostream> #include <vector> #include <algorithm> #include <set> #include <unordered_map> #include <cstring> #include <…

小程序集arcgis地图显示自定义坐标的功能实现记录!(学习笔记)

最近再做一个新能源回收项目&#xff0c;项目中有个根据回收点坐标数据显示区域内回收点位置&#xff0c;点击图标直接导航到该位置&#xff0c;及分布的需求&#xff0c;研究了一下&#xff0c;实现效果如下&#xff0c;实现起来很简单&#xff0c;代码及效果 回收点位置及分…

防范AI诈骗:技术、教育与法律的共同防线

防范AI诈骗&#xff1a;技术、教育与法律的共同防线 引言 随着人工智能技术的飞速发展&#xff0c;AI在各个领域展现出巨大潜力的同时&#xff0c;也带来了一些新的挑战。其中&#xff0c;利用AI技术进行的诈骗行为&#xff0c;如AI换脸、AI换声等&#xff0c;给人们的财产安…

【Java面试】九、微服务篇-SpringCloud(上)

文章目录 1、SpringCloud五大组件2、服务注册和发现2.1 Eurake2.2 Eurake和Nacos的区别 3、Ribbon负载均衡3.1 策略3.2 自定义负载均衡策略 4、服务雪崩与熔断降级4.1 服务雪崩4.2 服务降级4.3 服务熔断 5、服务限流5.1 Nginx限流5.2 网关限流 6、微服务监控7、面试 1、SpringC…

【Web API DOM05】环境对象、回调函数(重点)

一&#xff1a;环境对象 阅读完本小节能够判断函数运行在不同环境中&#xff0c;this所指代的对象 1 什么是环境对象 环境对象是函数中的this变量&#xff0c;代表当前函数运行时多处的环境 2 this指向问题 粗略规则&#xff1a;谁调用函数&#xff0c;this就指向谁 <…

4个免费音频转换器:解放您的音频文件格式转换需求

在日常生活和工作中&#xff0c;我们经常需要处理各种音频文件&#xff0c;但有时候这些文件可能并不是我们需要的特定格式。在这种情况下&#xff0c;一个免费的音频转换器就能派上用场。免费音频转换器是一种非常实用的工具&#xff0c;它可以帮助我们将不同格式的音频文件相…

20240603每日通信--------springboot使用netty-socketio集成即时通信WebSocket

简单效果图 群聊&#xff0c;私聊&#xff0c;广播都可以支持。 基础概念&#xff1a; springbootnetty-socketioWebSocket POM文件&#xff1a; <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/…

【leetcode10-21】子串、普通数组、矩阵

子串 560.和为K的子数组【没理解】 什么是前缀和&#xff1a;前缀和指一个数组的某下标之前的所有数组元素的和&#xff08;包含其自身&#xff09; 通常&#xff0c;会在前缀和首位放一个0。比如数组[1,2,3。其前缀和是[0,1,3,6] 前缀和通常可以帮助我们快速计算某个区间内的…

一些智能音箱类的软硬件方案

主要参考资料 Rabbit R1: https://www.rabbit.tech/rabbit-r1 mediatek-helio-p35: https://www.mediatek.com/products/smartphones-2/mediatek-helio-p35 NSdisplay: https://www.nsdisplay.com/ai-holobox-mini/ai-holobox-mini.html RK3566: https://www.rock-chips.com/a/…

常用技巧-PPT时你真的做对了吗?

常用技巧-PPT时你真的做对了吗&#xff1f; PPT时通常会通过多种表现手法将信息转化为图表&#xff0c;更好的凸显自己的专业素养。将数据转化为图表是对的&#xff0c;那么你真的用对了图表了吗&#xff1f; 话不多说&#xff0c;直接上干货&#xff1a; 时间线图 时间线是…

AI网络爬虫:对网页指定区域批量截图

对网页指定区域批量截图&#xff0c;可以在deepseek的代码助手中输入提示词&#xff1a; 你是一个Python编程专家&#xff0c;一步一步的思考&#xff0c;完成一个对网页指定区域截图的python脚本的任务&#xff0c;具体步骤如下&#xff1a; 设置User-Agent: Mozilla/5.0 (…

基于深度学习的CT影像肺癌检测识别

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长 QQ 名片 :) 1. 项目简介 肺癌是全球范围内导致癌症死亡的主要原因之一&#xff0c;早期检测和诊断对于提高患者生存率至关重要。随着深度学习技术的迅猛发展&#xff0c;基于CT影像的肺癌检测识别成为了研究热点。本文介绍…

线段交点检测:扫描线算法

NSDT工具推荐&#xff1a; Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 几何对象的相交检测是计算…