这篇把DML运用到FL上
论文地址:arvix
code: 作者git
贡献
我们针对三种异质性(DOM)提出了一种新颖的联邦学习范式,称为联邦相互学习(FML)。 首先,FML 处理数据和目标通过使每个客户能够训练个性化模型来实现异质性。 从OH的意义上来说,DH对服务器有害,但对客户端有利,这意味着数据的非独立同分布性不再是一个bug,而是一个可以更好地为客户端服务的特性; 其次,本地个性化模型可以从具有相似但不同任务的 FML 协作训练中受益。 第三,FML允许客户针对各种场景和任务设计自己的定制模型。
PS:D是Data Heterogeneity, O是Objective Heterogeneity, M是Model Heterogeneity
简单来说,贡献就是针对数据异构、模型异构 提出一种个性化联邦学习方案(应该是早期个性化联邦概念提出者)
算法流程
和FL不同之处在于,本地有两个模型,一个Meme Model,通讯时发送到Server端聚合成Global Model,也从Server端下载Global Model更新替换。一个是Personalized