联邦学习周记|第四周

论文:Active Federated Learning

链接
将主动学习引入FL,每次随机抽几个Client拿来train,把置信值低的Client概率调大,就能少跑几次。

论文:Active learning based federated learning for waste and natural disaster image classification

链接
篇幅长且无价值 只是复述了一下AL

论文:Federated Active Learning (F-AL): an Efficient Annotation Strategy for Federated Learning

链接
跟上篇差不多 只是简单结合了下FL和AL 并称之为FAL

论文:Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients

链接
懒惰上传梯度,通过减少信息的比特以及对于过小的更新选择不上传更新以降低通信代价

论文:Provable Defense against Privacy Leakage in Federated Learning from Representation Perspective(CVPR2021)

链接
指出了FL上传梯度和参数也会导致隐私泄漏,并提出通过添加噪声的方式对隐私进行保护。
具体的,论文指出在分类任务中,某一分类的一个数据在train完之后会对FC层也就是最后一个分类层的那一类的梯度产生较大影响,这很容易造成泄漏,所以就在最后一层添加一点噪声,并且文章通过数学方式证明了这不会对FL的性能产生什么影响。

论文:FedDG: Federated Domain Generalization on Medical Image Segmentation via Episodic Learning in Continuous Frequency Space(CVPR2021)

链接
指出了传统FL在没见过的数据分布上性能较差,并提出了一个域泛化模型。
具体的,文章指出传统的DG(域泛化)在FL隐私保护的背景下作用有限,提出将原始数据通过快速傅立叶变换转化到频率空间中,并通过连续插值的方法桥接多个数据分布空间,以加强模型在未见过的数据分布空间的性能。
更加具体的,每个客户端首先将原始数据通过FFT分割为相位谱和振幅谱,相位谱存储数据的大体框架,振幅谱存储着数据的具体细节。比如原始照片是一座山,相位谱就代表着光滑的山丘,振幅谱就代表着山上的一些坑坑洼洼和草木,二者加起来是一座完整的山,可以通过逆傅立叶变换(IFFT)将其从频率空间变换回原始图片。但如果手上只有振幅谱或相位谱的其一,就无法变换回去,这保证了隐私性。本论文只拿出振幅谱用于Clients的相互通信,每个Client拿自己的相位谱和其他Client的振幅谱合成(当然振幅谱还得插值),再通过IFFT变换回一张全新的照片,以此加强模型的泛化能力。

论文:Model-Contrastive Federated Learning(CVPR2021)

链接
提出了MOON算法,损失函数额外加上这一步模型和上一步模型的差值,加强一致性和稳定性。
在这里插入图片描述

论文:Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning(CVPR2021)

链接
论文聚焦于CT拍片这个问题,指出平常完整拍个片时间太长了,提出稍微扫描一下拍个大概然后再用AI补全(重建)。
每个Client上的损失函数是重建欠采样图片后的图与全采样图片之间的差值(欠采样的图就是少扫描一会,全采样的就是完整的扫完CT)。同时针对FL中可能存在的异质问题而导致每个Client重建,文章还提出了一个识别器用于分辨两个站点间重构出来的图像的特征区别,并将loss加上这个识别器的值,最终跑到识别器无法分辨出不同站点间的区别就算结束了,这解决了异质性的问题。

论文:Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning(CVPR2022)

链接
提出了FedAlign,就是用类似知识蒸馏的方法对模型最后一层进行瘦化,使其性能提升,并且约束Lipschitz常数以达到输出的平滑和鲁棒性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/855202.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“Git之道:掌握常用命令,轻松管理代码“

目录 1. 初始化和配置 2. 提交和更新 3. 分支和合并 4. 查看和比较 5. 远程仓库 6. 文件操作命令 1. 初始化和配置 git init:在当前目录初始化一个新的Git仓库git config:配置Git的全局或局部选项git clone:从远程仓库克隆一个本地副本…

vue3第四十节(pinia的用法注意事项解构store)

pinia 主要包括以下五部分,经常用到的是 store、state、getters、actions 以下使用说明,注意事项,仅限于 vue3 setup 语法糖中使用,若使用选项式 API 请直接查看官方文档: 一、前言: pinia 是为了探索 vu…

动手学深度学习(Pytorch版)代码实践 -深度学习基础-11暂退法Dropout

11暂退法Dropout #Dropout 是一种正则化技术,主要用于防止过拟合, #通过在训练过程中随机丢弃神经元来提高模型的泛化能力。 import torch from torch import nn from d2l import torch as d2l import liliPytorch as lpdef dropout_layer(X, dropout):…

大数据—“西游记“全集文本数据挖掘分析实战教程

项目背景介绍 四大名著,又称四大小说,是汉语文学中经典作品。这四部著作历久不衰,其中的故事、场景,已经深深地影响了国人的思想观念、价值取向。四部著作都有很高的艺术水平,细致的刻画和所蕴含的思想都为历代读者所…

0元体验苹果macOS系统,最简单的虚拟机部署macOS教程

前言 最近发现小伙伴热衷于在VMware上安装体验macOS系统,所以就有了今天的帖子。 正文开始 首先,鉴于小伙伴们热衷macOS,所以小白搜罗了一圈macOS系统,并开启了分享通道。 本次更新的系统版本是: macOS 10.13.6 ma…

【靶场搭建】-01- 在kali上搭建DVWA靶机

1.DVWA靶机 DVWA(Damn Vulnerable Web Application)是使用PHPMysql编写的web安全测试框架,主要用于安全人员在一个合法的环境中测试技能和工具。 2.下载DVWA 从GitHub上将DVWA的源码clone到kali上 git clone https://github.com/digininj…

温湿度采集与OLED显示

目录 一、什么是软件I2C 二、什么是硬件I2C 三、STM32CubeMX配置 1、RCC配置 2、SYS配置 3、I2C1配置 3、I2C2配置 4、USART1配置 5、TIM1配置 6、时钟树配置 7、工程配置 四、设备链接 1、OLED连接 2、串口连接 3、温湿度传感器连接 五、每隔2秒钟采集一次温湿…

第二十三篇——香农第二定律(二):到底要不要扁平化管理?

目录 一、背景介绍二、思路&方案三、过程1.思维导图2.文章中经典的句子理解3.学习之后对于投资市场的理解4.通过这篇文章结合我知道的东西我能想到什么? 四、总结五、升华 一、背景介绍 对于企业的理解,扁平化的管理,如果从香农第二定律…

Qt 实战(5)布局管理器 | 5.2、深入解析Qt布局管理器

文章目录 一、深入解析Qt布局管理器1、为什么要使用布局管理器?2、布局管理器类型3、布局管理器用法详解3.1、QBoxLayout(垂直与水平布局)3.2、QGridLayout(网格布局)3.3、QFormLayout(表单布局&#xff09…

特斯拉、路特斯、中国一汽、毕博、博世等企业将出席中国汽车供应链降碳和可持续国际峰会

由ECV International 举办的2024中国汽车供应链脱碳与可持续国际峰会将于2024年9月23-24日在上海召开。 在本次峰会上,来自全球各地的行业领袖、政策制定者、研究人员和利益相关者将齐聚一堂,商讨对于减少碳排放和促进整个汽车供应链可持续实践至关重要…

教学资源共享平台的设计

管理员账户功能包括:系统首页,个人中心,管理员管理,老师管理,用户管理,成绩管理,教学资源管理,作业管理 老师账户功能包括:系统首页,个人中心,用…

什么是拷贝?我:Ctrl + C ...

前言 当谈及拷贝,你的第一印象会不会和我一样,ctrl c ctrl v ... ;虽然效果和拷贝是一样的,但是你知道拷贝的原理以及它的实现方法吗?今天就让我们一起探究一下拷贝中深藏的知识点吧。 拷贝 首先来看下面一段代码…

MySQL数据库回顾(1)

数据库相关概念 关系型数据库 概念: 建立在关系模型基础上,由多张相互连接的二维表组成的数据库。 特点: 1.使用表存储数据,格式统一,便于维护 2.使用SQL语言操作,标准统一,使用方便 SOL SQL通用语法 …

粒子群算法PSO优化BP神经网络预测MATLAB代码实现(PSO-BP预测)

本文以MATLAB自带的脂肪数据集为例,数据集为EXCEL格式,接下来介绍粒子群算法优化BP神经网络预测的MATLAB代码步骤,主要流程包括1. 读取数据 2.划分训练集和测试集 3.归一化 4.确定BP神经网络的隐含层最优节点数量 5. 使用粒子群算法优化BP的神…

强得离谱,AI音乐的 Stable Diffusion: MusicGen

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集&#x…

打造完美Mac多屏视界,BetterDisplay Pro一键掌控!

BetterDisplay Pro for Mac是一款专为Mac用户打造的显示器管理与优化软件,旨在为用户带来卓越的视觉体验和工作效率。它凭借强大的功能和简洁易用的界面,成为了Mac用户优化显示器设置的得力助手。 一、全方位管理与优化 BetterDisplay Pro for Mac支持…

探索Python的多媒体解决方案:ffmpy库

文章目录 探索Python的多媒体解决方案:ffmpy库一、背景:数字化时代的多媒体处理二、ffmpy:Python与ffmpeg的桥梁三、安装ffmpy:轻松几步四、ffmpy的五项基本功能1. 转换视频格式2. 调整视频质量3. 音频转换4. 视频截图5. 视频合并…

java架构设计-COLA

参考:https://github.com/alibaba/COLA 架构 要素:组成架构的重要元素 结构:要素直接的关系 意义:定义良好的结构,治理应用复杂度,降低系统熵值,改善混乱状态 创建COLA应用: mvn …

Git的3个主要区域

一般来说,日常使用只要记住下图6个命令,就可以了。但是熟练使用,恐怕要记住60~100个命令。 下面是我整理的常用 Git 命令清单。几个专用名词的译名如下。 Workspace:工作区 Index / Stage:暂存区 Reposito…

你的企业真的适合做私域吗?

现在,都在提倡企业做私域,可是所有的企业都适合做私域吗?看看市场上成功的案例,显然,并不是所有企业都适合做私域,所以,做私域之前,企业也应该充分的分析,自己的优势是什…