联邦蒸馏领域中,有哪些有意思的工作

联邦蒸馏领域中,有哪些有意思的工作

王婆卖瓜,自卖自夸。这个博客,我简要向大家推荐一下自己近期在联邦蒸馏方面的研究工作,按照心目中创新度从高到低进行排序,与工作的扎实程度以及发表的会议期刊等级无关。如有不妥,真心接受批评指正。

Top-1:FedCache: A Knowledge Cache-driven Federated Learning Architecture for Personalized Edge Intelligence. IEEE Transactions on Mobile Computing. 2024 (Major Revision)

这篇文章提出了一个知识缓存驱动的联邦学习架构,FedCache,通过知识蒸馏优化本地模型,服务器侧的知识缓存有相应的知识匹配与收发机制。

这里十分感谢大佬找一片属于自己的风景,的提点和分析,我觉得他已经写得非常精确和透彻了。十分推荐大家直接移步这篇博客

目前FedCache架构处在刚刚release出来的阶段,勉强算是个性化联邦学习领域的一个新坑。我相信,对它进行各种角度的改进、扩展到各种个性化联邦学习任务都很容易在与现有方法精度相当的前提下取得两个数量级的通信效率提升。后续的研究发现,即便降低客户端与服务器的通信频率,FedCache仍然可以维持较好的性能,这意味着FedCache的通信效率还有进一步提升的空间。这部分工作可以参考这篇文章

论文链接:https://arxiv.org/abs/2308.07816

开源代码:https://github.com/wuzhiyuan2000/FedCache

Top-2:Agglomerative Federated Learning: Empowering Larger Model Training via End-Edge-Cloud Collaboration. IEEE International Conference on Computer Communications (INFOCOM). 2024

这篇文章通过知识蒸馏解决了联邦学习部署在端边云计算架构下所面临的算力异构问题,即克服了传统的端边云联邦学习方法要求所有层级的算力节点均部署相同规模的模型所导致的木桶效应。这篇文章中,不同层级的算力节点优化通过共蒸馏完成,文章内容的介绍可以参考这个链接

论文链接:https://www.techrxiv.org/doi/full/10.36227/techrxiv.24720759.v1

开源代码:https://github.com/wuzhiyuan2000/FedAgg

Top-3:FedICT: Federated Multi-task Distillation for Multi-access Edge Computing. IEEE Transactions on Parallel and Distributed Systems (TPDS). 2023

这篇文章的主要motivation是考虑边缘计算场景下客户端普遍同时存在的系统异构与任务异构特性,提出了一个联邦多任务蒸馏方法去解决这个问题。文章内容的介绍可以参考这篇博客

论文链接:https://ieeexplore.ieee.org/document/10163770

Top-4:Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation. ACM Transactions on Intelligent Systems and Technology (TIST). 2024

这篇文章主要考虑了免代理数据集联邦蒸馏中的知识不一致性问题,即:由于客户端模型异构的特性,会导致本地知识置信度之间存在显著差异,服务器学习到的表征因此存在偏差,进而降低整个联邦学习系统的性能。文章内容的介绍可以参考这篇博客

论文链接:https://arxiv.org/abs/2204.07028

Top-5:Survey of Knowledge Distillation in Federated Edge Learning. arXiv preprint arXiv:2301.05849. 2023

这篇文章调研了将知识蒸馏方法应用到联邦边缘学习领域的部署形式以及解决的挑战,并提出了一些开放性问题。文章内容的介绍可以参考这篇博客

论文链接:https://arxiv.org/abs/2301.05849

Top-6:Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates. arXiv preprint arXiv:2312.04166. 2023

这篇文章给出了一个发现,即对于部分联邦蒸馏算法,降低客户端与服务器的通信频率,在空闲轮次使用历史性的知识并不一定会显著降低模型性能。

论文链接:https://arxiv.org/abs/2312.04166

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/219349.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

扩展操作码指令格式

指令 操作码地址码 \quad \quad 判断几地址指令 开头4位不是全1, 则表示是三地址指令 开头4位全1, 后面4位不是全1, 则为二地址指令 前面12全1, 则为零地址指令 当然啦这只是一种扩展方法, 如果想扩展更多, 可以将1110留作扩展操作码 较短的操作码, 我们对它的译码和分析的时间…

测试:HTTP请求中,请求头(Headers)

请求头字段及其用途 在HTTP请求中,请求头(Headers)是包含了关于客户端环境和请求本身的信息的数据结构,它在每次请求时都会被发送到服务器。 请求头的字段非常多样,以下是一些常见的请求头字段及其用途的详细说明&am…

点云几何 之 判断某一点是否在三角形的边上(3)

点云几何 之 判断某一点是否在三角形的边上(3) 一、算法介绍二、算法实现1.代码2.结果 总结 一、算法介绍 判断某一点是否在三角形的边上 之前已经介绍了点在三角形的内外判断方法,这里增加点恰好在三角形边上的判断方法 (本质上…

节流防抖:提升前端性能的秘密武器(上)

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

vue3使用mars3d实现地图轮播高亮,且每个区域颜色不一样

效果图(珙县就是轮播高亮的效果) 思路:初始化一张完整的地图,然后定时器去挨个生成每个县上的地图,并且覆盖在原来的位置,每到一定的时间,就清除之前生成高亮图并且生成下一张高亮图 如何引入地图 上篇文章已详细发过 略 父组…

【JavaWeb学习笔记】7 - Servlet入门开发

零、在线文档 Servlet 3.1 API Documentation - Apache Tomcat 8.0.53 一、Servlet基本介绍 1.为什么出现Servlet 提出需求:请用你现有的html css javascript,开发网站,比如可以让用户留言/购物/支付,你能搞定吗? 不能 这几个不能直接操作数据库 …

Java 语言关键字

Java关键字是电脑语言里事先定义的,有特别意义的标识符,有时又叫保留字,还有特别意义的变量。Java的关键字对Java的编译器有特殊的意义,他们用来表示一种数据类型,或者表示程序的结构等,关键字不能用作变量…

20231213给Ubuntu18.04.6LTS新加一块HDD机械硬盘

20231213给Ubuntu18.04.6LTS新加一块HDD机械硬盘 2023/12/13 22:50 rootrootrootroot-X99-Turbo:~$ cat /etc/issue Ubuntu 18.04.6 LTS \n \l sudo fdisk -l rootrootrootroot-X99-Turbo:~$ rootrootrootroot-X99-Turbo:~$ sudo fdisk -lu Disk /dev/sda: 2.7 TiB, 300059298…

【源码解析】flink sql执行源码概述:flink sql执行过程中有哪些阶段,这些阶段的源码大概位置在哪里

文章目录 一. sql执行流程源码分析1. Sql语句解析成语法树阶段(SQL - > SqlNode)2. SqlNode 验证(SqlNode – >Operation)3. 语义分析(Operation - > RelNode)4. 优化阶段(RelNode - &…

LangChain 25: SQL Agent通过自然语言查询数据库sqlite

LangChain系列文章 LangChain 实现给动物取名字,LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储,读取YouTube的视频文本搜索I…

Java中的多态到底是什么?

Java中的多态到底是什么? 在Java中,多态是面向对象编程中的一个重要概念,它有助于提高代码的灵活性和可维护性。多态分为编译时多态和运行时多态。 编译时多态(静态多态): 编译时多态是指在编译阶段确定方…

2023全国大学生数据分析大赛A题完整论文教学

大家好呀,从发布赛题一直到现在,总算完成了全国大学生数据分析大赛A题某电商平台用户行为分析与挖掘完整的成品论文。 本论文可以保证原创,保证高质量。绝不是随便引用一大堆模型和代码复制粘贴进来完全没有应用糊弄人的垃圾半成品论文。 实…

透析回溯的模板

关卡名 认识回溯思想 我会了✔️ 内容 1.复习递归和N叉树,理解相关代码是如何实现的 ✔️ 2.理解回溯到底怎么回事 ✔️ 3.掌握如何使用回溯来解决二叉树的路径问题 ✔️ 回溯可以视为递归的拓展,很多思想和解法都与递归密切相关,在很多…

Windows 网络监控的内容和方式

Microsoft Windows是使用最广泛的操作系统之一,受到全球用户的青睐,Windows 设备与许多进程、服务和事件相关联,这些进程、服务和事件通常需要从单个控制台进行跟踪,这就是 Windows 网络监控工具派上用场的地方。Windows 网络监控…

项目总结-自主HTTP实现

终于是写完了,花费了2周时间,一点一点看,还没有扩展,但是基本功能是已经实现了。利用的是Tcp为网络链接,在其上面又写了http的壳。没有使用epoll,多路转接难度比较高,以后有机会再写&#xff0c…

一张图片组合一组动作就可以生成毫无违和感的视频!

你敢信,1张人物图片 1张动作动画,就可以生成一段视频。网友直呼:“主播/视频UP主可能快要下岗了!” (模型视频来源于网络) 本周,字节跳动联合新加坡国立大学发布了一款开源项目 MagicAnimate&…

(第63天)19C NONCDB 转 PDB

目前很多 19C 数据库依然是创建为 NONCDB 架构,但是未来 CDB 架构的使用是无法避免的,在 21C 版本开始 Oracle 官方将不再支持 NONCDB 架构。 环境信息 本文主要介绍以下如何在 19C 同版本下将 NONCDB 转为 CDB/PDB 架构(DBMS_PDB.DESCRIBE 方式),以下为测试环境信息: …

什么是XSS攻击?如何防止它?

跨站脚本攻击(XSS),英文全称为 Cross-Site Scripting,是一种常见的 Web 安全漏洞。XSS 攻击的目标是在用户浏览器中执行恶意脚本,从而获取用户敏感信息、劫持用户会话或者进行其他恶意操作。 XSS 攻击通常发生在由用户…

探索C++中的常见排序算法

探索C中的常见排序算法 目录 冒泡排序 (Bubble Sort)选择排序 (Selection Sort)插入排序 (Insertion Sort) 冒泡排序 (Bubble Sort) 实现思路: 冒泡排序是一种简单直观的排序算法,它通过不断交换相邻元素的位置来达到排序的目的。算法的基本思想是重…