联邦学习--数据攻击(1)

参考论文:Deep Leakage from Gradients(NeurIPS 2019)
源代码: https://github.com/mit-han-lab/dlg

核心思想:作者通过实验得到,从梯度可以反推用户的个人信息。并验证了其在计算机视觉和自然语言处理任务中的有效性。
攻击场景:攻击者可以获得全局模型的结构和参数,通过模型反演或梯度泄漏来恢复本地数据。
缺点:只能恢复一张图片,当batch大于1时,此方法效果无效。

1 问题定义

图1说明了通过训练可以很容易计算出梯度,然而梯度不能非常直观的表现样本的特征。也就是说,通过原始数据值,人是很难知道图片表示的是猫。
在这里插入图片描述
图2说明了两种不同的联邦学习。服务器忠实地聚合来自参与者的更新并将更新后的模型传回,但它可能对参与者信息感到好奇并试图从收到的更新中揭示它。在下面的讨论中,不失一般性地使用了基于梯度的聚合。 我们关心可以从梯度中推断出什么样的信息。 这种攻击发生在集中式联邦学习的参数服务器(图 2a)或分散式联邦学习中的任何邻居(图 2b)中。
在这里插入图片描述
图3说明了联合设置中的成员推断。 它使用预测结果和真实标签来推断记录是在受害者训练数据集中还是在受害者训练数据集之外。在实践中,Melis 等人 [7] 表明恶意攻击者可以令人信服地(精度 0.99)判断是否使用特定位置配置文件来训练 FourSquare 位置数据集 [8] 上的性别分类器(图 3)。
在这里插入图片描述
图4说明了属性推断,推断受害者的训练集是否包含具有特定属性的数据点。
在这里插入图片描述
图5说明了联合设置中的模型反转。 它首先从模型更新和攻击者自己的训练数据训练 GAN 模型。 然后它使用 GAN 模型从受害者的更新中生成相似的图像。
在这里插入图片描述
图6说明了联合设置中的深度泄漏。 给定从受害者那里收到的模型更新/梯度,它旨在保留梯度并完全重建私有训练集。
在这里插入图片描述

2 攻击方法

攻击者将样本和标签看做是参数,将梯度看做是要拟合的值。
图7描述了DLG 算法概述。 要更新的变量用粗体边框标记。 当正常参与者使用其私人训练集计算 ∇W∇WW 以更新参数时,恶意攻击者更新其虚拟输入和标签以最小化梯度距离。 优化完成后,恶意用户可以从诚实的参与者那里窃取训练集。
在这里插入图片描述
正常参与者的步骤:

  1. 输入样本;
  2. 样本通过网络,输出预测值;
  3. 根据样本的预测值和真实值,计算损失函数,并且通过反向传播来计算梯度;
  4. 更新参数.

攻击者的步骤:

  1. 随机生成一个同样维度大小的输入,同时随机生成一个标签值;
  2. 类似Normal Participant中的2和3,将样本输入网络,此时我们也能得到一个梯度;
  3. 使得通过随机样本计算得到的梯度,接近用户上传的梯度;
  4. 得到了一个目标函数:
    x′∗,y′∗=arg⁡min⁡x′,y′∥∇W′−∇W∥2=arg⁡min⁡x′,y′∥∂ℓ(F(x′,W),y′)∂W−∇W∥2\begin{aligned} \mathbf{x}^{\prime *}, \mathbf{y}^{\prime *} &=\arg \min _{\mathbf{x}^{\prime}, \mathbf{y}^{\prime}}\left\|\nabla W^{\prime}-\nabla W\right\|^{2} \\ &=\arg \min _{\mathbf{x}^{\prime}, \mathbf{y}^{\prime}}\left\|\frac{\partial \ell\left(F\left(\mathbf{x}^{\prime}, W\right), \mathbf{y}^{\prime}\right)}{\partial W}-\nabla W\right\|^{2} \end{aligned} x,y=argx,yminWW2=argx,yminW(F(x,W),y)W2
    在这里插入图片描述
    初始化虚拟输入和标签;
    计算虚拟梯度;
    更新数据匹配梯度;
    更新标签匹配梯度。

3 攻击效果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/507531.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python制作图_Python做图的方法

最近一直没有更新文章,在学习Machine learning。然后业余在kaggle那里瞎转,对Python常用的作图摸了个遍,本文将对这些作图方法做个简单介绍一般我们作图主要是为了看数据分布、数据趋势、以及比较大小。常用的图包括:line(折线图)…

联邦学习--数据攻击(2)

参考论文:See through Gradients: Image Batch Recovery via GradInversion(CVPR 2021 ) 源代码: 核心思想:解决了Deep Leakage from Gradients(NeurIPS 2019)中batch大于1效果无效的情况。 缺点…

python简单网络爬虫_【Python】 简单网络爬虫实现

介绍网络爬虫(英语:网络爬虫),也称为网络蜘蛛(蜘蛛)是一个Web机器人用于自动浏览万维网。其目的通常是为了编译web索引。\u2014\u2014维基百科web爬虫程序可以节省他们访问的页面,以便搜索引擎可以为用户搜索生成索引。一般来说,有两个步骤:1。获取网页内容2。准备获得web内容和…

对抗攻击(1)

本文是根据李宏毅老师在B站上的视频整理而来,视频地址为: https://www.bilibili.com/video/BV1n3411y7xD?p65 1 无目标和有目标攻击的区别 无目标攻击:攻击后的标签不确定,只要是和原始标签差别越大越好。 有目标攻击&#xff…

python爬虫隐藏ip_Python3网络爬虫之使用User Agent和代理IP隐藏身份

本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,分享给大家,具体如下:运行平台:WindowsPython版本:Python3.xIDE:Sublime text3一、为何要设置User Agent有一些网站不喜欢被爬虫程序访问&…

对抗攻击(2)

本文将介绍一些经典的对抗攻击算法,未完待续…

乌班图快速创建ftp

需求:乌班图22.04安装配置ftp,然后配置一个用户,用户名deviceftp密码aaaa,并且设置端口为60021,并且限制在/app/deviceftp目录下,不允许匿名登录 在Ubuntu 22.04上安装和配置FTP服务器的步骤如下&#xff…

自注意力机制Self-attention(1)

目录: 自注意力机制Self-attention(1) 自注意力机制Self-attention(2) 本文是对李宏毅老师的课程进行了整理。 视频地址为: https://www.bilibili.com/video/BV1Wv411h7kN?p23 1 问题引入 问&#xff1a…

id门禁卡复制到手机_手机NFC有哪些功能?怎么设置手机门禁卡?别浪费了手机的NFC功能...

NFC功能早前都运用一些手机旗舰机中,随着手机技术的发展,现在有许多的手机都有NFC的功能,那手机中的NFC只是个摆设吗?NFC不仅仅有不依靠数据网络、安全稳定的特点,其实还有许多你不知道的功能!比如可以用来…

自注意力机制Self-attention(2)

目录: 自注意力机制Self-attention(1) 自注意力机制Self-attention(2) 1 内容回顾 以b2b^2b2的计算过程为例来说明: query: q1Wqa1q^1 W^q a^1q1Wqa1, q2Wqa2q^2 W^q a^2q2Wqa2, q3Wqa3q^3 …

python 打印xml文档树_Python构建XML树结构的方法示例

本文实例讲述了Python构建XML树结构的方法。分享给大家供大家参考,具体如下:1.构建XML元素#encodingutf-8from xml.etree import ElementTree as ETimport sysrootET.Element(color) #用Element类构建标签root.text(black) #设置元素内容treeET.ElementT…

风格迁移模型测试效果

1 模型简介 Selfie2anime模型:动漫风格,训练集主要针对人物头像;对应论文为:U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation Hayao模型&a…

黑白棋级别预测

1 当前成果 上图是对于AI级别为40级以下的对局结果统计图,横坐标是对于AI级与当前模型预测级别的差值,纵坐标是玩家的胜率。由图中可以看出,玩家胜率符合预测。当AI级别比预测级别高时,玩家胜率越来越低,反之玩家胜率会…

python3源代码是什么_如何用inspect查找python3源代码?

我们在学习的时候喜欢去写代码,或者进行代码的测试,在源代码的查看的进行的不多。大概很多是写完就放在一边,如果不是下次需要使用,也不会知道写的是否正确,还有没有可以修改或者改进的地方。所以,对于源代…

python元编程_python元编程详解(3)

今天转载一片非常精彩的文章供大家欣赏:参考文章链接.python开发者门户一个很好的学习python的网站,大家有时间可以多看看。下面正式开始今天的内容:在理解元类之前,你需要先掌握Python中的类。Python中类的概念借鉴于Smalltalk&a…

风格迁移--U-GAT-IT模型(ICLR 2020)

1 论文简介 论文题目: U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation 论文代码:https://github.com/taki0112/UGATIT 论文数据集:https://github.co…

毕业大论文到底怎么写?

本文主要写给本科生的,研究生也可以作为参考。 1 题目 题目建议控制在25字以内,能突出显示自己的主要工作即可。 “问题方法”式。比如:恶意流量检测的矩阵分解算法研究,问题是恶意流量检测,方法为矩阵分解&#xf…

麻雀优化算法_多种智能优化算法应用案例分享-附代码

1.智能优化算法应用:基于灰狼算法的Otsu图像多阈值分割智能优化算法应用:基于灰狼算法的Otsu图像多阈值分割-附代码_Jack旭的博客-CSDN博客​blog.csdn.net2.智能优化算法应用:基于灰狼算法的二维Otsu图像阈值分割智能优化算法应用&#xff1…

Transform机制(1)

本文是对李宏毅老师的课程进行了整理。 视频地址为: https://www.bilibili.com/video/BV1Wv411h7kN?p35 1 引入 Transform的应用场景 2 基本原理 Transform机制由编码器(Encoder)和解码器(Decoder)构成。 编码器…

python神经网络调节参数_神经网络进阶-用python实现一个完整的神经网络框架并在CIFAR10数据集上调参...

上一个博客中讲解了用python实现一个简单的两层神经网络,我们是把所有的网络层都直接写在了类中。但是作为一个神经网络框架,网络的结构应该是可以由使用者自定义的,这样一来也就不用为每个网络结构都重写所有代码,我们把每一层模…