只需这个下毒小工具,让Stable Diffusion彻底崩溃!狗变猫,车变牛,AI侵权打响反击战

作者 | 谢年年

文生图模型如DALL-E、Midjourney和Stable Diffusion等越来越火热,只需要一句话几秒钟就可以生成质量不逊艺术家辛辛苦苦创作数月的图片。

艺术家们表示很气但又无能为力。

大模型研究测试传送门

GPT-4传送门(免墙,可直接测试,遇浏览器警告点高级/继续访问即可):
http://hujiaoai.cn

这些模型如此强大离不开全网爬取收集的训练数据。那如果在这些训练图片中加一点“毒药”,能不能使模型中毒,扰乱模型的生成?

比如,明明让模型生成一只狗却生成了猫!

让模型生成车最后却生成了一只牛!

手提包变成面包,帽子变成蛋糕?!

并且这中毒症状随着中毒样本增多愈发明显。

这是由芝加哥大学团队打造的新工具Nightshade实现的,可以让艺术家在将他们的作品上传至网络之前,对像素进行隐形修改,得到一张与原始图像几乎无差别的新图像。

左图是原图,右图是修改后的,好家伙。即使模型会过滤训练数据,这也扛不住这波无色无味无形的毒药啊!

毒药的威力有多强大呢?

研究人员对Stable Diffusion的最新模型以及他们自己从头开始训练的一个AI模型进行了攻击测试。结果表明,仅需50个被污染的图像,输出结果就会开始变得奇怪,而增加到300个被污染的样本,模型就会生成牛头不对马嘴的其他生物,甚至还可以彻底改变图像的风格。

除此之外,由于生成式AI模型非常容易在词语之间建立联系,导致这种“毒”的传染力也很强

团队发现,一旦Nightshade感染了"狗"这个词,其他所有类似的概念比如“小狗”、“哈士奇”、“狼”也会中招。

有间接联系的概念也同样会受影响,标为“奇幻艺术”的有毒图像,也会影响“龙”、“《指环王》中的城堡”等的生成。

除了易感染、传染力度强,“解毒”也需要耗费不少时间,因为这些被污染的数据非常难以移除,需要技术公司耗费大量时间逐个查找并删除每个受损样本。

这时,人们又免不了担心,这样强的污染技术被恶意滥用,恶意攻击怎么办?

团队leader赵教授表示,攻击者需要成千上万个被污染的样本才能对更大、更强大的模型造成实质性的损害,对目前市面上基于数十亿个数据样本进行训练的模型暂时影响不大。

所以Nightshade的目标是为了创建一个强有力的威慑力量,防止侵犯艺术家的版权和知识产权。

从技术上给艺术家们撑腰!

让一些AI公司警惕并重视侵权问题,如果一些AI公司还是肆意使用未经艺术家授权的作品训练模型的话,这些被“污染”的数据,就会导致文生图模型出现混乱且不可预测的故障。

该团队还计划将Nightshade开源,这将允许其他人对其进行调整并创建自己的版本。赵教授表示,使用和创建自己版本的人越多,这个工具的威力就越大。大型AI模型的数据集可能包含数十亿张图像,因此将更多的污染图像纳入模型,这种技术将会造成更大的破坏。

据MIT科技评论消息,Nightshade的研究已向网络安全顶会Usenix提交同行评审。

强强联合,Glaze同样破坏文生图模型

在Nightshade之前,研究团队还开发了一款名为Glaze的工具,它允许艺术家"掩盖"自己的个人风格,以防止被人工智能公司擅自使用。它的工作方式与Nightshade类似:通过微妙地改变图像的像素,扰乱原图的风格,这种变化对人眼来说是不可见的,但却可以破坏文生图模型。

该工作已经发表在USENIX(信息安全领域四大顶级学术会议之一)会议上,并获得杰出论文奖。

论文标题:
Glaze: Protecting Artists from Style Mimicry by Text-to-Image Models

论文链接:
https://arxiv.org/pdf/2302.04222.pdf

官网:
https://glaze.cs.uchicago.edu/

让我们来看看具体是怎么做的。

整体框架图

▲整体框架图

简单来说,作者从风格迁移的思路扰乱图像的像素,流程如下:

  • 给定一幅艺术作品 ,选定与原风格尽可能不同的目标风格T

  • 进行风格迁移得到。

  • 计算一个扰动δ,使得扰动后的图像δ 尽可能相似,同时最小化视觉影响。

  • 最后上传优化后的图片x+δ_x

具体优化目标如下公式所示,

其中Φ是一个通用的图像特征提取器,通常用于文本到图像的生成任务,Dist(.)计算两个特征表示的距离,|δx|测量感知扰动,p是感知扰动预算。

此时如果将经过扰动的图像拿去训练模型,就无法生成具有原图画风的图片了,以此保护了艺术家们的风格不被剽窃。

最终的效果,也挺不错:

  • 1-2栏为艺术家原创作品;

  • 第3栏为未使用保护的仿制品(不得不说模仿到了精髓);

  • 第4栏:用于风格转移作品和目标风格名称;

  • 第5-6列:Glaze处理后模仿艺术品。

该团队打算将Nightshade整合到Glaze中,强强联合,双管其下,艺术家可以自己选择是否要下毒。

引发热议

这个工具不仅引起了艺术家和专家学者的广泛讨论。

滑铁卢大学研究数据隐私和人工智能模型稳健性的助理教授Gautam Kamath认为这项工作“非常棒”,并表示:

对于这些新模型,漏洞并不会神奇地消失,实际上只会变得更加严重。随着这些模型的不断增强和人们对其的信任不断加深,情况变得尤为明显,因为随着时间的推移,所面临的风险只会不断上升。

研究深度学习系统安全性的哥伦比亚大学计算机科学教授(Junfeng Yang)表示:

如果Nightshade能让人工智能公司更加尊重艺术家的权利,比如更愿意支付版税,那么它可能会产生重大影响。

插画家兼艺术家伊娃·图伦特(Eva Toorenent)使用过Glaze,并希望Nightshade能改变现状。

这会让(AI公司)三思而后行,因为它们有可能在未经我们同意的情况下拿走我们的工作,从而毁掉自己的整个模式。”

另一位艺术家秋·贝弗利(Autumn Beverly)表示像Nightshade和Glaze这样的工具给了她再次在网上发布作品的信心。在发现照片在未经她同意的情况下被抓取到流行的LAION图像数据库后,她将其从网上删除。她说,

我真的很感激,我们有一个工具,可以帮助艺术家们把权力交还给他们自己。

而康奈尔大学的教授Vitaly Shmatikov从模型防御的角度发表了看法:

我们还不知道如何对抗这些攻击。我们还没有在现实环境中看到对模型的毒化攻击,但这只是时间问题, 现在是研究防御措施的时候了。

最后,屏幕前的小伙伴们,你们觉得应该给图片"下毒"吗?

参考资料

[1]https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-fight-generative-ai/
[2]https://venturebeat.com/ai/meet-nightshade-the-new-tool-allowing-artists-to-poison-ai-models-with-corrupted-training-data/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/119921.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HCIA数据通信——交换机(Vlan间的通信与安全)

前言 之前的提到了交换机的概念和实验。不过交换机的一些功能还没有说完,我们的实验也仅仅是阻止相同地址段的IP地址互通,也没有用到子接口和路由器。显然,那样的配置过于简单。 端口安全 Port Security(端口安全)的功…

关于高并发你必须知道的几个概念

🎈个人公众号:🎈 :✨✨✨ 可为编程✨ 🍟🍟 🔑个人信条:🔑 为与不为皆为可为🌵 🍉本篇简介:🍉 本篇记录高并发必须知道的几个概念,如有出入还望指正。 关注公众…

Java-数据类型

Java-数据类型 一、字面常量二、数据类型(1)基本数据类型 三、变量1、变量概念2、语法格式(1)语法:(2)示例: 3、整型变量(1)整型变量(int&#xf…

CentOS 搭建本地 yum 源方式 安装 httpd 服务

CentOS 搭建本地 yum 源方式 安装 httpd 服务 修改 yum 源 挂载光驱 mkdir -p /mnt/cdrom mount /dev/cdrom /mnt/cdromvi /etc/fstab追加以下内容: /dev/cdrom /mnt/cdrom iso9660 defaults 0 0手动修改CentOS-Base.repo 备份 yum 源配置文件 mv /etc/yum.re…

将Sketch文件转化为PSD文件的简单在线工具!

设计工作不仅需要UI设计工具,还需要Photoshop。常见的UI设计工具Sketch与Photoshop软件不兼容。如果你想在实际工作中完成Sketch转psd,你需要使用其他软件进行转换。但是在转换过程中容易丢失文件,导致同样的工作需要重复多次才能完成&#x…

OpenCV官方教程中文版 —— 2D 直方图

OpenCV官方教程中文版 —— 2D 直方图 前言一、介绍二、OpenCV 中的 2D 直方图三、Numpy 中 2D 直方图四、绘制 2D 直方图 前言 本节我们会学习如何绘制 2D 直方图,我们会在下一节中使用到它。 一、介绍 在前面的部分我们介绍了如何绘制一维直方图,之…

java-后端调用第三方接口返回图片流给前端

一、背景 有个需求是这样的,客户端直接通过外网访问oss获取图片需要额外付费,考虑到成本问题,修改技术方案为:客户端将请求链接发给后端,后端根据请求做一定的截取或拼接,通过内网调用oss,再将…

APP分发-CDN加速原理

摘要 CDN的全称是(Content Delivery Network),即内容分发网络。其目的是通过在现有的Internet中增加一层新的CACHE(缓存)层,将网站的内容发布到最接近用户的网络”边缘“的节点,使用户可以就近取得所需的内容,提高用户访问网站的…

辅助驾驶功能开发-功能规范篇(23)-2-Mobileye NOP功能规范

5.2 状态机要求 5.2.1 NOP/HWP 状态机 NOP/HWP状态机如下所示: 下表总结了这些状态: 状态描述Passive不满足功能条件,功能无法控制车辆执行器。Standby满足功能条件。该功能不是由驾驶员激活的。功能不控制车辆执行器。Active - Main功能由驾驶员激活。功能是控制…

WebClient, HttpClient, OkHttp: 三个Java HTTP客户端的比较

在Java世界中,有许多用于发送HTTP请求的库。在本文中,我们将重点介绍并比较三种流行的HTTP客户端:WebClient,HttpClient和OkHttp。我们将通过讲解它们的基本概念,使用方法和示例,以及它们的优缺点&#xff…

Java零基础入门-逻辑运算符

前言 Java是一种广泛应用的编程语言,在在这里插入代码片软件开发中有着重要的地位。本文将介绍Java中的逻辑运算符及其在程序设计中的应用,希望能够帮助零基础的读者更好地入门学习Java。 摘要 本文将介绍Java中的三种逻辑运算符:与运算符…

点云从入门到精通技术详解100篇-基于尺度统一的三维激光点云与高清影像配准

目录 前言 研究现状 三维激光点云与影像配准研究现状 点云配准研究现状

Qt 序列化函数和反序列化函数

文章目录 界面学生类序列化函数反序列化函数刷新所选择的下拉表值添加 界面 学生类 // 创建学生信息类 class studentInfo { public:QString id; // 学号QString name; // 学生姓名QString age; // 学生年龄// 重写QDataStream& operator<<操作符&…

传智书城源码+课程设计文档基于JSP+Servlet实现

下载地址: https://juzhendongli.store/commodity/details/19 包括源码参考论文

华为---DHCP中继代理简介及示例配置

DHCP中继代理简介 IP动态获取过程中&#xff0c;客户端&#xff08;DHCP Client&#xff09;总是以广播&#xff08;广播帧及广播IP报文&#xff09;方式来发送DHCPDISCOVER和DHCPREQUEST消息的。如果服务器&#xff08;DHCP Server&#xff09;和 客户端不在同一个二层网络(二…

An Early Evaluation of GPT-4V(ision)

本文是LLM系列文章&#xff0c;针对《An Early Evaluation of GPT-4V(ision)》的翻译。 GPT-4V的早期评估 摘要1 引言2 视觉理解3 语言理解4 视觉谜题解决5 对其他模态的理解6 结论 摘要 在本文中&#xff0c;我们评估了GPT-4V的不同能力&#xff0c;包括视觉理解、语言理解、…

哪一个更好?Spring boot还是Node.js

前言 本篇文章有些与众不同&#xff0c;由于我自己手头有些关于这个主题的个人经验&#xff0c;受其启发写出此文。虽然SpringBoot和Node.js服务于很不一样的场景&#xff0c;但是这两个框架共性惊人。其实每种语言都有不计其数的框架&#xff0c;但仅仅一部分是真正卓越的。如…

第六节——Vue中的事件

一、定义事件 Vue 元素的事件处理和 DOM 元素的很相似&#xff0c;但是有一点语法上的不同 使用修饰符&#xff08;v-on:的缩写&#xff09;事件名的方式 给dom添加事件后面跟方法名&#xff0c;方法名可以直接加括号如click"add()"里面进行传参。对应的事件处理函…

计算机网络相关硬件介绍

计算机相关硬件 计算机由运算器、控制器、存储器、输入设备和输出设备等五个逻辑计算机硬件部件组成。 一、中央处理器&#xff08;CPU&#xff09;&#xff08;运算器、控制器&#xff09; &#xff08;1&#xff09;运算器 运算器是对数据进行加工处理的部件&#xff…

react151618刷新几次的问题

结论&#xff1a; 16 hooks版本 默认render1次 同步中&#xff0c;无论多少种类还是次数&#xff0c;都render 1次。 异步中&#xff0c;无论多少种类还是次数&#xff0c;1个种类执行1次&#xff0c;多次的话&#xff0c;用n*2。 18 hooks版本 默认render2次&#xff0c; 同步…