论文研读|针对文生图模型的AIGC检测

前言:人工智能生成内容的鉴别(AIGC检测)算是当前的研究热点之一,本篇文章介绍几篇针对文生图模型的 AIGC 检测相关工作。

相关文章:AIGC溯源相关研究详见此篇文章


目录

  • 1. Towards Universal Fake Image Detectors that Generalize Across Generative Models(CVPR 2023)
  • 2. DIRE for Diffusion-Generated Image Detection(ICCV 2023)
  • 3. AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error(CVPR, 2024)
  • 4. Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images(NeurIPS, 2023)


1. Towards Universal Fake Image Detectors that Generalize Across Generative Models(CVPR 2023)

作者:Utkarsh Ojha, et al. University of Wisconsin-Madison, USA
代码链接:https://github.com/Yuheng-Li/UniversalFakeDetect
核心思想:作者首先发现基于GAN生成数据训练的分类器只能记住 GAN 生成的 fake image,其他的全部归类为 real image,包括扩散模型生成的图像。这就导致决策边界发生偏离,如下图所示。因此,之前基于GAN数据训练分类器的检测方法无法有效检测扩散模型生成的图像。
在这里插入图片描述
基于上述发现,作者提出基于预训练模型特征提取的方法来进行real/fake的检测,首先通过预训练模型提取出待检测图像特征,然后 1)基于相似度衡量(K近邻)的检测:通过比较待检测图像特征分别与真实图像特征和虚假图像特征的距离,检测图像的真实性。2)基于分类器的检测:将提取出的特征送入轻量级分类器训练,得到预测标签。

为了保证图像特征提取的质量,选择 CLIP-ViT,是由于其训练数据足够庞大(400M),因此表征空间足够大。(实验证明该提取器的特征提取效果最好)
在这里插入图片描述
个人评价:做得快,正值风口,瞄准检测方法的通用性和泛化性,方法其实很简单。


2. DIRE for Diffusion-Generated Image Detection(ICCV 2023)

作者:Zhendong Wang, et al. 中科大。
代码链接:https://github.com/ZhendongWang6/DIRE
核心思想:作者发现生成图像重建前后的距离真实图像重建前后的距离要小。
在这里插入图片描述
基于上述观察,作者提出基于DDIM 重建误差的检测方法。

在这里插入图片描述
在这里插入图片描述

注意:通过DIRE得到重建结果之后,把DIRE作为输入,训练一个简单的二分类器,通过交叉熵损失约束。

在这里插入图片描述

个人评价:有新意的研究,给人眼前一亮的感觉。


3. AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error(CVPR, 2024)

作者:Jonas Ricker, et al. Ruhr University Bochum, Germany
代码链接:https://github.com/jonasricker/aeroblade
核心思想:与上一个工作相似,不过这篇文章针对 Latent Diffusion Model,使用 AutoEncoder 重建损失进行鉴别。先来直观感受下真实图像和SD生成图像分别在使用AutoEncoder重建前后的误差:
在这里插入图片描述
重建损失就是重建前后的距离, Δ A E i \Delta_{AE_{i}} ΔAEi 表示使用第 i i i 个 AutoEncoder 重建前后的图像距离。(因为这是真伪检测任务,所以要使用尽可能多的 AutoEncoder 覆盖尽可能多的生成模型)。

在这里插入图片描述
然后在众多的 Δ A E i \Delta_{AE_{i}} ΔAEi 中,挑选出一个最小的距离,作为判别根据。
在这里插入图片描述
这个方法中,距离函数的选择十分重要。这篇文章使用 LPIPS 作为距离的衡量标准。

在这里插入图片描述

个人评价:这篇文章和DIRE不同点就在于,把DIRE的后续分类器步骤拿掉,变成 training-free 了,这样一来就提高了检测方法的可扩展性,不需要每次有新的模型进来都重训一遍。注意这篇文章的检测模型仅限于在图像生成阶段使用 AutoEncoder 的生成模型。


4. Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images(NeurIPS, 2023)

作者:Zeyu Lu, et al. 上海交大。
代码链接:https://github.com/Inf-imagine/Sentry
核心思想:眼见不一定为实,这篇文章的主要贡献是提出了一个AIGC图像检测的 Benchmark 数据集 Fake2M,并在文中分别对人工检测和模型检测两类AIGC检测方法进行了评估。评估结果表明 AIGC 检测仍然任重道远啊……

在这里插入图片描述

后记:本文介绍的这几种针对文生图模型生成图像的检测方法,或是借助强大的预训练特征提取器进行二分类,或是从生成模型的内在机制出发,将重建损失作为判别标准进行检测。本质上来讲,这些方法都利用了距离信息作为衡量依据,不论是第一篇工作中的K近邻,还是待检测图像本身的重建误差,都在向我们传达一个信息,那就是,纵然生成模型生成的内容再逼真,也总会留下一些可以认定其为虚假的痕迹,等着我们去探索,去发现。


参考文献

  1. Towards Universal Fake Image Detectors that Generalize Across Generative Models. CVPR 2023.
  2. DIRE for Diffusion-Generated Image Detection. ICCV 2023.
  3. AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error. CVPR, 2024.
  4. Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images. NeurIPS, 2023.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/6347.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

运动控制单位[u/s]介绍

运动控制很多手册上会写u/s这样的单位,这里的u是英文单词unit的缩写,也就是单位的意思,所以这里的单位不是微米/秒,也不是毫米/秒,这里是一个泛指,当我们的单位选择脉冲时,它就是脉冲/秒,也就是我们说的频率(HZ)。常用脉冲频率 转速 角度 弧度的互相换算大家可以参考下…

OneNote导出白色背景文件时将笔记墨迹转换颜色

今天用OneNote导出笔记时发现在文件上做的黑色墨迹笔记全部转成了白色。推测是因为onenote会根据背景色自动转换黑色和白色的墨迹,但是其他颜色好像导出的时候不会转换。 于是,我们首先要转换背景,将黑色背景转成白色背景, 然后将…

Java常用API之LinkedList类解读

写在开头:本文用于作者学习我将官方文档中LinkedList 1.6版本中类中绝大部分API全测了一遍并打印了结果,日拱一卒,常看常新。 自己补充了一些对该数据结构的理解,如有不对的地方,请各位指正,谢谢。 首先&…

GNU Radio创建FFT、IFFT C++ OOT块

文章目录 前言一、GNU Radio官方FFT弊端二、创建自定义的 C OOT 块1、创建 OOT 模块2、创建 OOT 块3、修改 C 和 CMAKE 文件4、编译及安装 OOT 块 三、测试1、grc 图2、运行结果①、时域波形对比②、频谱图对比 四、资源自取 前言 GNU Radio 自带的 FFT 模块使用起来不是很方便…

OCC笔记:选择TopoDS_Shape顶点、边、面等等

1、通过AIS_InteractiveContext的函数访问当前选择的图形 hAISContext->InitSelected(); hAISContext->MoreSelected(); hAISContext->NextSelected(); hAISContext->SelectedShape(); 其中hAISContext->SelectedShape()通过StdSelect_…

什么是g++-arm-linux-gnueabihf

2024年5月3日,周五晚上 g-arm-linux-gnueabihf 是针对 ARM 架构(ARMv7 和 ARMv8)的 Linux 系统开发的 GNU C 编译器套件,可以在 x86 或 x86_64 架构的主机上使用,用于交叉编译 ARM Linux 应用程序和库。 与 gcc-arm-l…

项目管理【环境】过程

系列文章目录 【引论一】项目管理的意义 【引论二】项目管理的逻辑 【环境】概述 【环境】原则 【环境】过程 一、规划和管理项目的合规性 1.1 规划和管理项目的合规性 1.2 确认合规要求 1.3 审计:衡量合规的程度 二、项目管理计划和项目文件 2.1 项目管理计划和…

C语言 联合和枚举

目录 1. 联合体1.1 联合体类型的声明1.2 联合体变量的创建1.3 联合体的特点1.4 联合体在内存中的存储1.5 联合体使用举例 2. 枚举类型2.1 枚举类型的声明2.2 枚举变量的创建和初始化2.3 枚举类型的大小2.4 枚举类型的优点 正文开始 上次我们通过《C语言 结构体详解》学习了结构…

C语言 | Leetcode C语言题解之第66题加一

题目: 题解: /*** Note: The returned array must be malloced, assume caller calls free().*/ int* plusOne(int* digits, int digitsSize, int* returnSize){for(int i digitsSize - 1; i > 0; --i){digits[i] digits[i] 1;//最后元素1判断是不…

模版进阶篇章

非类型模版参数 回顾&#xff1a;函数模版 &#xff1a;不用传类型&#xff0c;编译器会自动推导&#xff0c;和普通的函数调用一样 #include<iostream> using namespace std; template<typename T>// T是类型 bool Less(T a, T b)// a,b是T实例化的的对象 {retu…

微信小程序开发:深入实现地图导航功能【含代码示例】

微信小程序开发&#xff1a;深入实现地图导航功能【含代码示例】 一、引言二、准备工作三、集成地图SDK四、实现地图显示五、添加标记点和路线 一、引言 微信小程序作为一种轻量级的应用程序&#xff0c;凭借其无需安装、即用即走的特点&#xff0c;迅速在移动应用市场中占据了…

笔试狂刷--Day12(模拟 + 链表的公共节点 + dp)

大家好,我是LvZi,今天带来笔试狂刷--Day12(模拟 链表的公共节点 dp) 一.删除公共字符&#xff08;哈希&#xff09; 题目链接:删除公共字符&#xff08;哈希&#xff09; 分析: 分别读取俩个字符串,将第二个字符串存储到set之中,再遍历第一个字符串,删除公共字符 代码: …

StringUtils中isBlank()和isEmpty()的区别

1.首先导入依赖common-lang3 <!--string的扩展api--><dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.12.0</version> <!-- 请使用最新版本 --></dependency&g…

《网络安全技术 网络安全众测服务要求》

近日&#xff0c;全国网络安全标准化技术委员会发布《网络安全技术 网络安全众测服务要求》&#xff08;GB/T 43741-2024&#xff0c;以下简称“众测服务要求”&#xff09;&#xff0c;并将在2024年11月1日正式实施。 《众测服务要求》确立了网络安全众测服务的角色及其职责&…

ruoyi漏洞总结

若依识别 黑若依 :icon hash"-1231872293 绿若依 :icon hash"706913071” body" 请通过前端地址访 " body" 认证失败&#xff0c;无法访问系统资源 " 如果页面访问显示不正常&#xff0c;可添加默认访问路径尝试是否显示正常 /login?redi…

Dashboard 介绍

Dashboard 介绍 一、K8S Dashboard简介 简单的说&#xff0c;K8S Dashboard是官方的一个基于WEB的用户界面&#xff0c;专门用来管理K8S集群&#xff0c;并可展示集群的状态。K8S集群安装好后默认没有包含Dashboard&#xff0c;我们需要额外创建它 二、RABC简介 还是那句话&a…

MLP手写数字识别(1)-MNIST数据集下载与可视化(tensorflow)

1.下载与查看MNIST数据集 from keras.datasets import mnist(x_train_image,y_train_label),(x_test_image,y_test_label) mnist.load_data() print("train images:",x_train_image.shape) print("test images:",x_test_image.shape) print("train …

LeetCode 面试经典150题 28.找出字符串中第一个匹配项的下标

题目&#xff1a;给你两个字符串 haystack 和 needle &#xff0c;请你在 haystack 字符串中找出 needle 字符串的第一个匹配项的下标&#xff08;下标从 0 开始&#xff09;。如果 needle 不是 haystack 的一部分&#xff0c;则返回 -1 。 思路&#xff1a;暴力&#xff08;…

RabbitMQ知识点总结和复习

之前项目中用到RabbitMQ的场景主要是订单信息的传递&#xff0c;还有就是利用RabbitMQ的死信队列属性设置&#xff0c;实现延迟队列效果&#xff0c;实现超时支付取消功能&#xff0c;以及在两个不同项目中传递数据等场景。 最近几年的工作中都是一直用的RabbitMQ&#xff0c;…

Springboot+MybatisPlus入门案例(postman测试)

一、项目框架 pom.xml依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apac…