作者:Yingxin Lai、 Guoqing Yang1、Yifan He2、Zhiming Luo、Shaozi Li
期刊:ICASSP-2024
目的:解决泛化性的问题,提出了3个模块
论文整体的架构图:(挑选域特征不变,减少对图像内容或者风格融合的依赖)
整个框架是由三部分组成:多样式样本生成器、动态特征提取器和域识别模块(感觉这个不是很重要)
1.首先,用最远的样本的点进行模型的训练的策略,FPS使样本点尽可能多样化
2.提出了一个动态特征提取的模块,提高模型的特征提取能力的泛化和有效性
3.域分离策略,保留域相关的特征,用于帮助区别真实和伪造人脸
做法:使得所有得样本点尽可能得远,因此样本分离and不统一
采样:
采用最远样本采样来采样不同风格的样本点,从N个个种类的全部样本点中,迭代选择C个样本点,以此避免真假样本相互作用。每次选择的点都是距离其他样本点最远的点。
多样性域感知模块:
用于融合内容特征和风格特征在高位特征感知任务中嵌入域知识
首先将输入x输入到特征提取器G中,对样式样本x '进行FPS采样到G '中,得到特征嵌入。
然后使用自适应实例规范化(AdaIN)将内容特征和任意统计修改的样式特征混合到域不变鉴别器D中,使D能够专注于输入域不变特征。(更具有共性的特征)
采样之后采用特征提取器去获得特征嵌入。使用一个特征提取器捕捉多尺度低级图像信息。
AdaIN是一个自适应风格化模块;给定一个内容输入a和一个随机选择的输入样式输入a’,程式化归一化可以形成如下:
其中µ(·)和σ(·)表示通道均值和标准差。
通过生成的样式,多样性样式xd是:
动态特征提取:
引入了动态特征提取模块(DFE),一部分馈入动态卷积支路,另一部分馈入静态卷积支路。动态卷积分支获取一半通道的表示。该模块是在每个特征提取器的卷积层之后添加的。通道分割后,输入特征M被分割成Ma和Mb两部分。
其中ν(·)表示动态卷积操作,Conv是一个卷积块,其中ν依赖于输入实例Ma,⊗表示元素乘法。然后我们在通道维度中连接Ma和Mb,得到一个卷积块δ(·),产生输出特征F,记为:
域辨别模块:
更具有泛化性的内容特征,总结为优化问题:
其中N表示域的数量,也就是不同的操作方法所生成的伪造样本,x表示训练集的样本,y表示对应的标签,Yn表示独热编码,G表示内容特征生成器,D表示域鉴别器,为了同步优化G和D,梯度反转层被用于反向传播中用于翻转梯度。
损失函数
思考
感觉模型的讲述有点混乱