全球DeepFake攻防挑战赛DataWhale AI 夏令营——图像赛道

全球DeepFake攻防挑战赛&DataWhale AI 夏令营——图像赛道

赛题背景

随着人工智能技术的迅猛发展，深度伪造技术（Deepfake）正成为数字世界中的一把双刃剑。这项技术不仅为创意内容的生成提供了新的可能性，同时也对数字安全构成了前所未有的挑战。Deepfake技术可以通过人工智能算法生成高度逼真的图像、视频和音频内容，这些内容看起来与真实的毫无二致。然而，这也意味着虚假信息、欺诈行为和隐私侵害等问题变得更加严重和复杂。

Deepfake是一种使用人工智能技术生成的伪造媒体，特别是视频和音频，它们看起来或听起来非常真实，但实际上是由计算机生成的。这种技术通常涉及到深度学习算法，特别是生成对抗网络（GANs），它们能够学习真实数据的特征，并生成新的、逼真的数据。

Deepfake技术虽然在多个领域展现出其创新潜力，但其滥用也带来了一系列严重的危害。在政治领域，Deepfake可能被用来制造假新闻或操纵舆论，影响选举结果和政治稳定。经济上，它可能破坏企业形象，引发市场恐慌，甚至操纵股市。法律体系也面临挑战，因为伪造的证据可能误导司法判断。此外，深度伪造技术还可能加剧身份盗窃的风险，成为恐怖分子的新工具，煽动暴力和社会动荡，威胁国家安全。

深度伪造技术通常可以分为四个主流研究方向：

  • 面部交换专注于在两个人的图像之间执行身份交换；
  • 面部重演强调转移源运动和姿态；
  • 说话面部生成专注于在角色生成中实现口型与文本内容的自然匹配；
  • 面部属性编辑旨在修改目标图像的特定面部属性；

在这里插入图片描述
深度学习与Deepfake

深度学习是一种强大的机器学习技术，它通过模拟人脑处理信息的方式，使计算机能够从大量数据中自动学习和识别模式。深度学习模型，尤其是卷积神经网络（CNN），能够识别图像和视频中的复杂特征。在Deepfake检测中，模型可以学习识别伪造内容中可能存在的微妙异常。

为了训练有效的Deepfake检测模型，需要构建包含各种Deepfake和真实样本的数据集（本次比赛的数据集就是按照这种方式进行组织）。深度学习模型通过这些数据集学习区分真假内容。

在这里插入图片描述

赛题任务

在这个赛道中，比赛任务是判断一张人脸图像是否为Deepfake图像，并输出其为Deepfake图像的概率评分。参赛者需要开发和优化检测模型，以应对多样化的Deepfake生成技术和复杂的应用场景，从而提升Deepfake图像检测的准确性和鲁棒性。

赛题数据集

首先发布了训练集和验证集，下载链接为：
http://zoloz-open.oss-cn-hangzhou.aliyuncs.com/waitan2024_deepfake_challenge%2F_%E8%B5%9B%E9%81%931%E5%AF%B9%E5%A4%96%E5%8F%91%E5%B8%83%E6%95%B0%E6%8D%AE%E9%9B%86%2Fphase1.tar.gz?Expires=1726603663&OSSAccessKeyId=LTAI5tAfcZDV5eCa1BBEJL9R&Signature=wFrzBHn5bhULqWzlZP7Z74p1g9c%3D

可以使用command命令进行下载

curl 'http://zoloz-open.oss-cn-hangzhou.aliyuncs.com/waitan2024_deepfake_challenge%2F_%E8%B5%9B%E9%81%931%E5%AF%B9%E5%A4%96%E5%8F%91%E5%B8%83%E6%95%B0%E6%8D%AE%E9%9B%86%2Fphase1.tar.gz?Expires=1726603663&OSSAccessKeyId=LTAI5tAfcZDV5eCa1BBEJL9R&Signature=wFrzBHn5bhULqWzlZP7Z74p1g9c%3D' -o multiFFDI-phase1.tar.gz

训练集样例：

img_name,target
3381ccbc4df9e7778b720d53a2987014.jpg,1
63fee8a89581307c0b4fd05a48e0ff79.jpg,0
7eb4553a58ab5a05ba59b40725c903fd.jpg,0
…

验证集样例；

img_name,target
cd0e3907b3312f6046b98187fc25f9c7.jpg,1
aa92be19d0adf91a641301cfcce71e8a.jpg,0
5413a0b706d33ed0208e2e4e2cacaa06.jpg,0
…

提交的预测文件：

img_name,y_pred
cd0e3907b3312f6046b98187fc25f9c7.jpg,1
aa92be19d0adf91a641301cfcce71e8a.jpg,0.5
5413a0b706d33ed0208e2e4e2cacaa06.jpg,0.5
…

Baseline

Datawhale提供的baseline使用了ResNet，ResNet是一种残差网络，由于网络的加深会造成梯度爆炸和梯度消失的问题，因此何恺明了新的架构ResNet。

在这里插入图片描述

对kaggle中的baseline进行拆分，拆分为model、dataset和run三个部分

  1. 数据集的加载

    from torch.utils.data.dataset import Dataset
from PIL import Image
import torch
import numpy as np
import pandas as pd
class FFDIDataset(Dataset):def __init__(self, img_path, img_label, transform=None):self.img_path = img_pathself.img_label = img_labelif transform is not None:self.transform = transformelse:self.transform = Nonedef __getitem__(self, index):img = Image.open(self.img_path[index]).convert('RGB')if self.transform is not None:img = self.transform(img)return img, torch.from_numpy(np.array(self.img_label[index]))def __len__(self):return len(self.img_path)def read_labels():#此处注意path修改train_label = pd.read_csv("phase1/trainset_label.txt")val_label = pd.read_csv("phase1/valset_label.txt")train_label['path'] = "phase1/trainset/" + train_label['img_name']val_label['path'] = "phase1/valset/" + val_label['img_name']return train_label, val_label

  2. 模型架构

    import timm
model = timm.create_model('resnet18', pretrained=True, num_classes=2)#baseline使用resnet，同时加载预训练模型，分类为2类

  3. 模型的训练和验证

    import torchimport datasettorch.manual_seed(0)
torch.backends.cudnn.deterministic = False
torch.backends.cudnn.benchmark = Trueimport torchvision.models as models
import torchvision.transforms as transforms
import torchvision.datasets as datasets
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torch.autograd import Variable
from torch.utils.data.dataset import Dataset
from dataset import FFDIDataset
import timm
import time
from Model import model
import pandas as pd
import numpy as np
import cv2
from PIL import Image
from tqdm import tqdmclass AverageMeter(object):"""Computes and stores the average and current value"""def __init__(self, name, fmt=':f'):self.name = nameself.fmt = fmtself.reset()def reset(self):self.val = 0self.avg = 0self.sum = 0self.count = 0def update(self, val, n=1):self.val = valself.sum += val * nself.count += nself.avg = self.sum / self.countdef __str__(self):fmtstr = '{name} {val' + self.fmt + '} ({avg' + self.fmt + '})'return fmtstr.format(**self.__dict__)class ProgressMeter(object):def __init__(self, num_batches, *meters):self.batch_fmtstr = self._get_batch_fmtstr(num_batches)self.meters = metersself.prefix = ""def pr2int(self, batch):entries = [self.prefix + self.batch_fmtstr.format(batch)]entries += [str(meter) for meter in self.meters]print('\t'.join(entries))def _get_batch_fmtstr(self, num_batches):num_digits = len(str(num_batches // 1))fmt = '{:' + str(num_digits) + 'd}'return '[' + fmt + '/' + fmt.format(num_batches) + ']'def validate(val_loader, model, criterion):#验证集进行验证batch_time = AverageMeter('Time', ':6.3f')losses = AverageMeter('Loss', ':.4e')top1 = AverageMeter('Acc@1', ':6.2f')progress = ProgressMeter(len(val_loader), batch_time, losses, top1)# switch to evaluate modemodel.eval()with torch.no_grad():end = time.time()for i, (input, target) in tqdm(enumerate(val_loader), total=len(val_loader)):input = input.cuda()target = target.cuda()# compute outputoutput = model(input)#模型进行处理loss = criterion(output, target)#损失函数# measure accuracy and record lossacc = (output.argmax(1).view(-1) == target.float().view(-1)).float().mean() * 100#计算acclosses.update(loss.item(), input.size(0))top1.update(acc, input.size(0))# measure elapsed timebatch_time.update(time.time() - end)end = time.time()# TODO: this should also be done with the ProgressMeterprint(' * Acc@1 {top1.avg:.3f}'.format(top1=top1))return top1def predict(test_loader, model, tta=10):#模型进行预测# switch to evaluate modemodel.eval()test_pred_tta = Nonefor _ in range(tta):test_pred = []with torch.no_grad():end = time.time()for i, (input, target) in tqdm(enumerate(test_loader), total=len(test_loader)):input = input.cuda()target = target.cuda()# compute outputoutput = model(input)output = F.softmax(output, dim=1)#softmax进行处理output = output.data.cpu().numpy()test_pred.append(output)test_pred = np.vstack(test_pred)if test_pred_tta is None:test_pred_tta = test_predelse:test_pred_tta += test_predreturn test_pred_ttadef train(train_loader, model, criterion, optimizer, epoch):batch_time = AverageMeter('Time', ':6.3f')losses = AverageMeter('Loss', ':.4e')top1 = AverageMeter('Acc@1', ':6.2f')progress = ProgressMeter(len(train_loader), batch_time, losses, top1)# switch to train modemodel.train()end = time.time()for i, (input, target) in enumerate(train_loader):input = input.cuda(non_blocking=True)target = target.cuda(non_blocking=True)# compute outputoutput = model(input)loss = criterion(output, target)# measure accuracy and record losslosses.update(loss.item(), input.size(0))acc = (output.argmax(1).view(-1) == target.float().view(-1)).float().mean() * 100top1.update(acc, input.size(0))# compute gradient and do SGD stepoptimizer.zero_grad()loss.backward()optimizer.step()# measure elapsed timebatch_time.update(time.time() - end)end = time.time()if i % 100 == 0:progress.pr2int(i)if __name__ == '__main__':train_label, val_label = dataset.read_labels()train_loader = torch.utils.data.DataLoader(#加载数据，同时进行数据增强FFDIDataset(train_label['path'].head(10), train_label['target'].head(10),transforms.Compose([transforms.Resize((256, 256)),transforms.RandomHorizontalFlip(),transforms.RandomVerticalFlip(),transforms.ToTensor(),transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])), batch_size=40, shuffle=True, num_workers=4, pin_memory=True)val_loader = torch.utils.data.DataLoader(FFDIDataset(val_label['path'].head(10), val_label['target'].head(10),transforms.Compose([transforms.Resize((256, 256)),transforms.ToTensor(),transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])), batch_size=40, shuffle=False, num_workers=4, pin_memory=True)model = model.cuda()criterion = nn.CrossEntropyLoss().cuda()#交叉熵optimizer = torch.optim.Adam(model.parameters(), 0.005)#Adam优化器scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=4, gamma=0.85)best_acc = 0.0for epoch in range(1):print('Epoch: ', epoch)train(train_loader, model, criterion, optimizer, epoch)val_acc = validate(val_loader, model, criterion)optimizer.step()scheduler.step()if val_acc.avg.item() > best_acc:best_acc = round(val_acc.avg.item(), 2)torch.save(model.state_dict(), f'./model_{best_acc}.pt')test_loader = torch.utils.data.DataLoader(FFDIDataset(val_label['path'].head(10), val_label['target'].head(10),transforms.Compose([transforms.Resize((256, 256)),transforms.ToTensor(),transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])), batch_size=40, shuffle=False, num_workers=4, pin_memory=True)val = val_label.head(10).copy()val['y_pred'] = predict(test_loader,model,1)[:,1]val[['img_name','y_pred']].to_csv('submit.csv',index=None)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/871982.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

两个视频怎么剪辑成一个视频？3个方法分享

两个视频怎么剪辑成一个视频？3个方法分享

两个视频怎么剪辑成一个视频？将两个视频剪辑成一个视频，是现代数字内容创作中的高频需求，它不仅简化了素材管理，还能通过创意剪辑提升作品连贯性与表现力。通过精心编排，两个视频片段可以无缝融合，讲述更完…
阅读更多...
PLC电工实操题库—匠心整理—高分资源—即刻下载！

PLC电工实操题库—匠心整理—高分资源—即刻下载！

1.编制用PLC控制的车辆出入库管理控制程序 答： 传感器布置： 显示电路： 说明： 1.光传感器的接收光被遮断时定义为“有信号”;2.传感器1#有信号时启动增计数逻辑:3.传感器2#有信号时启动减计数逻辑:4.传感器1#完成脉冲同时2#有信…
阅读更多...
【深度学习】PyTorch框架(2)：激活函数

【深度学习】PyTorch框架(2)：激活函数

1.引言 在文中，我们将深入探讨流行的激活函数，并分析它们在神经网络优化特性中的作用。激活函数在深度学习模型中扮演着至关重要的角色，因为它们为网络引入了非线性特性。尽管文献中描述了众多的激活函数，但它们并非一视同仁&…
阅读更多...
220v降压5v用几k电阻?

220v降压5v用几k电阻?

# 220V降压至5V的电阻选择与AH8652和AH8696芯片的应用 在电子电路设计中，将高电压转换为低电压是常见的需求。例如，将220V交流电（AC）降压至5V直流电（DC）用于低功耗设备。这通常通过使用降压转换器&#xf…
阅读更多...
C判断一个点在三角形上

C判断一个点在三角形上

背景 鼠标操作时，经常要判断是否命中显示控件，特开发此算法快速判断。 原理 三角形三等分点定理是指在任意三角形ABC中，可以找到三个点D、E和F，使得线段AD、BE和CF均等分三角形ABC。 这意味着三个等分点分别位于三个边界上&…
阅读更多...
Golang中init()函数初始化顺序

Golang中init()函数初始化顺序

Q24.init()函数初始化顺序 init() 函数是用于程序执行前做包的初始化的函数，比如初始化包里的变量等一个包可以出线多个 init() 函数,一个源文件也可以包含多个 init() 函数同一个包中多个 init() 函数的执行顺序没有明确定义，但是不同包的init函数是根…
阅读更多...
线程的复习

线程的复习

目录 大纲Java中的线程概念创建线程的方法线程的生命周期线程的同步和通信线程的优先级和调度线程的中断 案例 大纲 Java中的线程概念 在Java中，线程是操作系统能够进行运算调度的最小单位，它被包含在进程之中，是进程中实际运作的部分。一个…
阅读更多...
网络配置命令

网络配置命令

文章目录 一、查看网络接口信息 ifconfig1.1 网络接口名称1.2 使用 ifconfig 查看网络接口信息1.2.1 输出示例1.2.2 输出解释 1.3 查看特定网络接口信息1.3.1 输出示例 1.4 查看所有网络接口信息1.5 特殊网络接口 二、修改网络配置文件2.1 配置文件示例2.2 使配置生效2.3 关闭 …
阅读更多...
图——图的遍历（DFS与BFS）

图——图的遍历（DFS与BFS）

前面的文章中我们学习了图的基本概念和存储结构，大家可以通过下面的链接学习： 图的定义和基本术语 图的类型定义和存储结构 这篇文章就来学习一下图的重要章节——图的遍历。 目录 一，图的遍历定义： 二，深度优先…
阅读更多...
应用实践之基于MindNLP+MusicGen生成自己的个性化音乐

应用实践之基于MindNLP+MusicGen生成自己的个性化音乐

前言 MusicGen是基于单个语言模型（LM）的音乐生成模型，使用文本描述或音频提示生成高质量的音乐样本。它基于Transformer结构，包括文本编码器模型和音频压缩模型，以及一个解码器来预测离散的隐形状态音频token。与传统…
阅读更多...
uni-data-select 插件配置接收字段，更改默认的text,value

uni-data-select 插件配置接收字段，更改默认的text,value

当后台返回的数据源格式不是如下value,text字段时，需要自定义字段配置 range: [{ value: 0, text: "篮球" },{ value: 1, text: "足球" },{ value: 2, text: "游泳" },], 思路有两个， 思路一：前端遍历更改为…
阅读更多...
PE文件（十一）移动导出表和重定位表

PE文件（十一）移动导出表和重定位表

移动表的原因 一个PE文件中有很多节，每个节都存储不同的数据。而PE文件中的各种表也都分散存储在这些节当中。此时各种表的信息与程序的代码和数据相互混合在一起，如果我们直接对整个程序进行加密，那系统在初始化程序时就会出问题。比如&…
阅读更多...
DHCP原理及配置

DHCP原理及配置

目录 一、DHCP原理 DHCP介绍 DHCP工作原理 DHCP分配方式 工作原理 DHCP重新登录 DHCP优点 二、DHCP配置 一、DHCP原理 1 DHCP介绍 大家都知道，现在出门很多地方基本上都有WIFI，那么有没有想过这样一个问题，平时在家里都是“固定”的…
阅读更多...
【总结】实际业务场景中锁、事务、异常如何考虑使用？

【总结】实际业务场景中锁、事务、异常如何考虑使用？

文章目录 锁处理目的：考虑锁控制思路：生命周期接口并发控制解决方案：测试锁是否生效：模拟多线程并发场景的2种方式： 事务处理目的：考虑事务控制思路：解决方案： 总结 锁处理 目的&am…
阅读更多...
利用AI辅助制作ppt封面

利用AI辅助制作ppt封面

如何利用AI辅助制作一个炫酷的PPT封面 标题使用镂空字背景替换为动态视频 标题使用镂空字 1.首先，新建一个空白的ppt页面，插入一张你认为符合主题的图片，占满整个可视页面。 2.其次，插入一个矩形，右键选择设置形状格式…
阅读更多...
北京交通大学《深度学习》专业课，实验2-前馈神经网络

北京交通大学《深度学习》专业课，实验2-前馈神经网络

1. 源代码 见资源“北京交通大学《深度学习》专业课，实验2-前馈神经网络” 2. 实验内容 （1）手动实现前馈神经网络解决上述回归、二分类、多分类任务 分析实验结果并绘制训练集和测试集的loss曲线 （2）利用to…
阅读更多...
keepalive：

keepalive：

keepalive： 调度器的高可用 vip地址在主备之间的切换，主在工作时，vip地址只在主上，主停止工作，vip漂移到备服务器。 在主备的优先级不变的情况下，主恢复工作，vip会飘回到主服务器。 1、配优…
阅读更多...
企业网络运维-给华为交换机配置sftp，浏览交换机文件并下载上传

企业网络运维-给华为交换机配置sftp，浏览交换机文件并下载上传

文章目录 需求实验开户stelnet权限已完成stelnet账号下的sftp配置使用xshell-sftp访问 需求 浏览交换机文件并下载上传 实验 开户stelnet权限 参考https://blog.csdn.net/xzzteach/article/details/140419150 已完成stelnet账号下的sftp配置 服务类型all包括stelnet和sf…
阅读更多...
强化学习编程实战-5 基于时间差分的方法

强化学习编程实战-5 基于时间差分的方法

第4章中，当模型未知时，由于状态转移概率P未知，动态规划中值函数的评估方法不再适用，用蒙特卡洛的方法聘雇值函数。 在蒙特卡洛方法评估值函数时，需要采样一整条轨迹，即需要从初始状态s0到终止状态的整个序列…
阅读更多...
探索“搭旅万物皆可搭”小程序——构建旅行搭伴平台的创新实践

探索“搭旅万物皆可搭”小程序——构建旅行搭伴平台的创新实践

摘要 随着旅游市场的不断发展和个性化需求的日益增长，旅行搭伴平台逐渐成为连接志同道合旅者的桥梁。本文旨在介绍“搭旅万物皆可搭”小程序的设计理念、核心功能及其背后的技术实现，探讨如何通过算法优化、安全保障、社交互动等手段，打造一…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023