联邦学习+梯度+梯度剪枝

联邦学习需要参与者在每一次的本地训练后,上传所更新的模型参数并与其他参与者共享,而参数更新中仍有可能包含所有者的敏感信息

解决方案:

加密方法(安全多方计算、同态加密)通过将明文编码为密文的方式,只允许特定人员解码,为数据隐私保护提供了有效手段,但这往往需要极大的计算开销,较难应用于实际的联邦学习场景中

数据扰动(差分隐私)通过将明文编码为密文的方式,只允许特定人员解码,为数据隐私保护提供了有效手段,但这往往需要极大的计算开销,较难应用于实际的联邦学习场景中

如果选择梯度剪枝的话是需要考虑选择哪一部分剪枝的梯度参与训练

(将梯度剪枝与加密的防御体系结合)

差分隐私与联邦学习 梯度剪枝

一般与轻量级进行结合吗?

基于梯度选择的轻量化差分隐私保护联邦学习

基于 Fisher 信息矩阵的 Dropout 机制,FisherDropout(差分隐私在什么地方使用呢?)

用差分隐私去解决——>轻量化、易部署

梯度剪枝方法:Federated DropoutFedDropout

采用完全客观的准确度与损失函数值作为评估标准(这个评估标准是怎么制定的呢?是否有理论依据?)
基于 Fisher 信息排序的 dropout 算法,通过优化选择梯度的一部分上传;由于 dropout 机制有利于减少梯度维度,应用于差分隐私保护方法中可以大大节约隐私预算
在差分隐私中,隐私预算\varepsilon是平衡安全性与可用性的关键参数 。决 定了差分隐私方法所添加噪声方差的大小。较小的值会使安全性变高,但也会令数据的可用性变得更差。
(差分隐私中主要的问题还是怎么处理隐私预算的值)
而在联邦学习中,用户通常需要在本地完成迭代以及噪声添加工作,这可能导致数据安全性与可用性的平衡更加困难。
当取值为 8 时,基于差分隐私保护的联邦学习在训练中可能需要额外使用 100 倍左右的数据量,才可达到与不含差分隐私的联邦学习一致的模型准确率。而在集中式学习中,这往往只需要付出大约 10 倍的训练量。

轻量化联邦学习的方式:剪枝、量化、蒸馏

满足差分隐私的联邦学习:与经典的联邦学习不同的地方为增加了客户端随机扰动参数

梯度剪枝:
客户端首先采用FisherDropout 算法,以神经元为单位对全局模型进行裁剪保留其中的一部分作为子模型。该裁剪过程一般被称为“dropout”。值得注意的是,每个客户端都需要根据自己的数据分布、通信状况与计算能力来独立地确定各自的裁剪方式与dropout 率,这将导致每个客户端最终所生成的子模型可能是异构的。

使用差分隐私进行数据扰动:

采用了差分隐私保护方法对待上传的数据进行扰动。被扰动后的数据将带有随机性,使得服务器很难根据这些参数反推客户端的原始数据。

由于每个客户端所上传的子模型是异构的,这也要求客户端在上传模型时还需要额外发送每个参数的位置信息。
服务器可以根据每位用户上一轮的位置信息发送新的子模型参数,而不用发送全局模型;或者考虑到收敛速度,可以每隔固定的迭代轮次便发送一次全局模型,以便让每个客户端确定新的子模型的位置。
一般是讲述梯度剪枝的原理与进行隐私性证明

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/108482.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于模型预测人工势场的船舶运动规划方法,考虑复杂遭遇场景下的COLREG(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

1数据结构的分类,算法效率的度量

一,数据结构的定义和分类 数据结构:数据之间的关系即数据的逻辑结构,因为要存储到计算机里,所以视为将这个数据的逻辑结构映射到存储器里。即数据因为自身的和其他的数据的关系而在计算机内存储的方式。我们就归类了一些类型。 二…

21-数据结构-内部排序-交换排序

简介:主要根据两个数据进行比较从而交换彼此位置,以此类推,交换完全部。主要有冒泡和快速排序两种。 目录 一、冒泡排序 1.1简介: 1.2代码: 二、快速排序 1.1简介: 1.2代码: 一、冒泡排序…

Hadoop3教程(十八):MapReduce之MapJoin案例分析

文章目录 (118)MapJoin案例需求分析ReduceJoin的问题如何解决ReduceJoin的问题如何将一个文件主动缓存到集群的内存里 (119)MapJoin案例代码实现参考文献 (118)MapJoin案例需求分析 ReduceJoin的问题 在R…

YOLO目标检测——安全帽手套数据集【含对应voc、coco和yolo三种格式标签】

实际项目应用:主要应用于监控视频中工作人员是否佩戴安全帽或手套的场景。数据集说明:YOLO目标检测数据集,类别有:手套、头盔、非头盔、人、鞋、背心、赤膊,真实场景的高质量图片数据,数据场景丰富。使用la…

The given SOAPAction http__xxxxx_xx does not match an operation

这是在客户端调用服务端接口时报出的错误,主要是客户端在调用时设置了SOAPAction,参考如下: 解决方案 在注解WebMethod() 中加上action注解,设置上一模一样的SOAPAction即可,如下: WebMethod(action &qu…

PostgreSQL中E‘string‘ 的使用

在PostgreSQL中,E’string’ 是一种特殊的字符串表示方式,其中的E代表"ESCAPE STRING",即转义字符串。 使用E表示法时,可以在字符串中使用转义字符来表示特殊字符,如换行符(\n)&…

小程序设计基本微信小程序的旅游社系统

项目介绍 现今市面上有关于旅游信息管理的微信小程序还是比较少的,所以本课题想对如今这么多的旅游景区做一个收集和分类。这样可以给身边喜欢旅游的朋友更好地推荐分享适合去旅行的地方。 前端采用HTML架构,遵循HTMLss JavaScript的开发方式&#xff0…

【CANoe】TX Self-ACK自应答配置与CPAL实现

一、引言 在测试CAN&CANFD通信或者网络管理的时候,我们经常遇到使用报文(网络管理报文或者通信报文)唤醒被测件这个测试点,如果测试比较多的情况下,我们就会发现,如果CANoe没有接被测件或者被测件没有…

CSS 效果:多列文字,第一行对齐,flex方式元素被挤压

如图效果&#xff1a;2列&#xff0c;第一列只有一行&#xff0c;第二列多行。要求第一行对齐 实现&#xff1a;使用flex 如果不配置flex-shrink的话&#xff0c;第一列会被挤压 给第一列&#xff1a;备注配置压缩属性&#xff1a; flex-shrink&#xff1a;0。 <!DOCTYPE…

发现了一个牛逼的网站 可以免费使用chatGPT(看到最后)

最近,打工人们集体陷入了一场焦虑。“一觉醒来,我感觉自己快要失业了……”“身为文字工作者,我该如何自保饭碗?”“人工智能到底会不会完全取代人类的工作?” ChatGPT最近都听说了吧?据说,改论文、敲代码、写文案……只有你想不到的,没有人家办不成的! 它是什么? …

谜题(Puzzle, ACM/ICPC World Finals 1993, UVa227)rust解法

有一个5*5的网格&#xff0c;其中恰好有一个格子是空的&#xff0c;其他格子各有一个字母。一共有4种指令&#xff1a;A, B, L, R&#xff0c;分别表示把空格上、下、左、右的相邻字母移到空格中。输入初始网格和指令序列&#xff08;以数字0结束&#xff09;&#xff0c;输出指…

arthas the number of matched classs is 65

以上是运行trace命令后&#xff0c;得到的提示。 原因就是匹配到的类太多了&#xff0c;可以在命令后加个-m 数量&#xff0c;这个数量只能大于等于匹配的数量&#xff0c;而不能小于&#xff0c;这里指定的数量就是要大于等于65。 参考命令&#xff1a;trace xxxx -m 65。

【数据结构】二叉树链式存储及遍历

二叉树链式存储及遍历 文章目录 二叉树链式存储及遍历前言实现过程代码实现源代码总结 前言 本文章中的内容参考于王道数据结构考研书&#xff0c;如果你对该部分的内容的记忆有所模糊&#xff0c;可以阅读我的文章再加深印象 实现过程 1.定义二叉树结构体 2.初始化二叉树的根结…

【linux API分析】module_init

linux版本&#xff1a;4.19 module_init()与module_exit()用于驱动的加载&#xff0c;分别是驱动的入口与退出函数 module_init()&#xff1a;内核启动时或动态插入模块时调用module_exit()&#xff1a;驱动移除时调用 本篇文章介绍module_init() module_init() module_init…

数据库第一、二章作业

只为记录与分享 第1,2章作业.xls 题量: 34 满分: 100 一. 单选题&#xff08;共34题&#xff09; 1. (单选题)在数据库中&#xff0c;下列说法&#xff08; &#xff09;是不正确的。 A. 数据库避免了一切数据的重复B. 若系统是完全可以控制的&#xff0c;则系统可确保更新…

java 两个list比较,删除相同的元素

概述 在Java开发中&#xff0c;经常需要比较两个List并删除相同的元素。本文将介绍整个流程&#xff0c;并提供相应的代码示例&#xff0c;帮助新手开发者完成这个任务。 流程 下面是比较两个List并删除相同元素的流程&#xff1a; 代码示例 创建两个List 我们首先需要创建两…

从旅游发展大会,看长沙的“落子”与“棋道”

文&#xff5c;新熔财经 作者&#xff5c;石榴 中秋国庆假期作为今年的最后一个小长假&#xff0c;全国各地果断祭出自己的“杀手锏”&#xff0c;不过&#xff0c;虽是百花齐放&#xff0c;但星城长沙仍然是最亮眼的存在之一。 全省文化旅游统计监测系统显示&#xff0c;中…

6-k8s-控制器版本管理

文章目录 一、概念介绍二、配置介绍三、版本生成测试四、版本回滚测试 一、概念介绍 什么是控制器&#xff1a;在k8s中&#xff0c;控制器是一种用于控制和管理Pod的管理器&#xff0c;包括Deployment、ReplicaSet、StatefulSet等。 什么是控制器版本管理&#xff1a;是指对于…

用Java包com.sun.net.httpserver下面的类实现一个简单的http服务器demo

java的com.sun.net.httpserver包下的类提供了一个高层级的http服务器API&#xff0c;可以用来构建内嵌的http服务器。支持http和https。这些API提供了一个RFC 2616 (HTTP 1.1)和RFC 2818 (HTTP over TLS)的部分实现。 https://docs.oracle.com/en/java/javase/19/docs/api/jdk.…