Federated learning client selection algorithm based on gradient similarity阅读

基于梯度相似性的联邦学习客户端选择算法

Abstract 摘要
introduction
- - **背景**
  - **目的**
  - **结论**
  - **结果**
  - **讨论**
  - **思路**

链接：https://link.springer.com/article/10.1007/s10586-024-04846-0
三区

Abstract 摘要

联邦学习（FL）是一种创新的机器学习方法，终端设备在中央服务器协调下共同训练全局模型，解决了数据隐私和数据孤岛问题，而无需将数据传输到中央服务器。然而，在联邦学习中，客户端数据的异质性显著影响了 FL 的性能。为了解决模型精度低和收敛速度慢的问题，提出了一种基于梯度相似性的客户端选择算法（FedGSCS）。该算法通过比较客户端梯度与平均梯度之间的相似性来选择客户端，优先选择能够加速模型聚合以促进模型收敛的客户端。在 MNIST、FEMNIST 和莎士比亚数据集上的实验表明，与 Federated Averaging（FedAvg）算法、选择损失最高的客户端的 Power-of-Choice 算法以及基于多样客户端选择的联邦平均（DivFL）算法相比，FedGSCS 将通信轮数减少了最多 80%，并提高了最多 16.38%的准确性。

introduction

随着人工智能的快速发展，每天从各种移动设备和物联网（IoT）设备中生成数以万计的数据点[1]。利用这些数据可以帮助我们构建更大、更复杂的神经网络模型，从而提高模型的准确性。然而，在传统的分布式机器学习中，设备上的数据需要上传到中央服务器进行复杂的模型训练，涉及数百万个参数。但在实际场景中，由于数据隐私方面的担忧[2]，各方通常不会与其他方共享私有数据，这可能导致数据孤岛问题。在这种情况下，传统的机器学习技术变得不再适用。
为了解决这个问题，Google 提出了联邦学习（FL）[3]。在保护用户隐私的前提下，该方法通过中央服务器协调参与者，利用各自的本地数据集进行联合训练，从而形成增强的全局模型。联邦学习技术通过绕过直接将数据上传到中央服务器的方式，有效保护了数据隐私。因此，联邦学习在医疗行业[4]、智慧城市[5]、智能交通[6]等多个领域得到了越来越广泛的应用。
尽管在联邦学习方面取得了显著进展以解决数据隐私和数据孤岛问题，但仍存在若干技术挑战。移动设备面临设备状态、带宽和网络连接等方面的限制，使得通信成本成为联邦学习（FL）环境中的瓶颈。此外，中央服务器必须通过学习本地数据样本来更新全局模型。FL 客户端通常从各种来源收集数据、使用不同的工具并在不同的环境中运行，导致非独立同分布（non-IID）数据。这种数据异质性会对 FL 系统的性能和收敛性产生严重影响 [7, 8]。为了缓解这些问题，已经提出了各种优化策略。一些方法侧重于通过引入约束修改本地模型更新过程 [9, 10]，而另一些方法则通过引入公共数据集 [11, 12] 或使用控制变量 [13] 来平衡客户端差异。然而，这些方法往往忽视了数据异质性对全局模型性能的影响。通常，在模型聚合过程中，所有客户端都会被同等对待，而不考虑它们的具体数据特性。这种做法不仅增加了通信成本，还可能影响全局模型的性能和泛化能力。
为了解决 Federated Averaging（FedAvg）算法在非 IID 数据场景下的性能退化问题，Sattler 等人[14]引入了 CFL 框架。该框架表明，客户端梯度之间的余弦相似度可以有效地指示两个客户端是否具有相同的数据生成分布。实验结果表明，当客户端数据表现出聚类结构时，CFL 框架显著提高了分类准确率，并在困惑度方面优于传统的 FL 方法。Palihawadana 等人[15]还提出了 FedSim 算法，该算法利用余弦相似度将 FL 模型聚合分为两个阶段：先进行局部聚合，再对具有相似梯度的客户端进行全局聚合。这种策略减少了方差，增强了全局模型的稳定性和覆盖率。进一步的实验结果证实，使用余弦相似度衡量潜在客户端的相似性可以显著提高模型性能和稳定性。此外，Marnissi 等人[16]引入了一种基于梯度范数重要性的设备选择策略。 **基于这一理论和实验基础，本文提出了一种基于梯度相似度的联邦学习客户端选择方法。该方法旨在通过优先选择其梯度与平均梯度具有更高余弦相似度的客户端来提升联邦学习性能。**具体而言，在每次模型聚合之前，会从每个客户端上传的梯度中计算出平均梯度。这一步骤加快了收敛速度，并减少了非 IID 数据对全局模型的影响。随后，使用余弦相似度来衡量平均梯度与每个客户端梯度之间的相似度。基于这种相似度度量，选择能够更有效地促进模型收敛的客户端。通过智能选择客户端，该算法不仅在图像分类和文本预测任务中提高了模型质量，还加快了模型的收敛速度。本文的主要贡献如下：
本文提出了一种新的客户端选择算法，名为 FedGSCS。该算法旨在通过基于客户端梯度与均值梯度之间的余弦相似度选择客户端，从而提高 FL 全局模型的准确性和收敛速度。该算法的主要目标是在聚合全局模型之前，利用余弦相似度筛选出低质量的客户端，以提高整体性能。由于客户端之间数据异质性存在差异，FedGSCS 算法巧妙地利用客户端梯度与平均梯度之间的余弦相似度，战略性地选择客户端，从而丰富所选客户端数据的多样性。在 MNIST、FEMNIST 和莎士比亚数据集上的实验表明，与 Federated Averaging（FedAvg）、基于最高损失选择客户端的 Power-of-Choice 算法以及基于多样客户端选择的 Federated Averaging（DivFL）相比，采用 FedGSCS 可以将 FL 训练通信轮数最多减少 80%，并提高准确率高达 16.38%。

在这里插入图片描述

背景

联邦学习（FL）通过终端设备协作训练全局模型，解决了数据隐私和孤岛问题，但客户端数据的异构性显著影响模型性能。传统方法如联邦平均算法（FedAvg）在非独立同分布（non-IID）数据下存在收敛慢、准确率低的问题。现有客户端选择策略（如Power-of-Choice、DivFL）未充分利用梯度相似性优化选择过程，导致通信效率和模型性能受限。

目的

提出一种基于梯度相似性的客户端选择算法（FedGSCS），通过筛选与全局梯度相似性高的客户端参与聚合，提升模型在非IID数据下的收敛速度和准确率，同时减少通信开销。

结论

性能优势：FedGSCS在MNIST、FEMNIST和Shakespeare数据集上，较基线算法（FedAvg、Power-of-Choice、DivFL）准确率提升最高达16.38%，通信轮次减少最多80%。
有效性验证：梯度相似性选择策略有效筛选高贡献客户端，在非IID场景中显著优于随机选择和基于损失的选择方法。
鲁棒性：在不同数据分布下均表现稳定，适用于图像分类和文本预测任务。

结果

准确率对比
- MNIST：FedGSCS在Case 1非IID场景中准确率达90.52%，优于FedAvg（88.08%）和DivFL（89.16%）。
- FEMNIST：Case 1场景下准确率提升14.28%（从80.71%到94.99%）。
- Shakespeare：Case 1场景中准确率达40.44%，较Power-of-Choice（24.06%）提升显著。
通信效率
- MNIST：ToA@0.9-Case 2场景中通信轮次减少41.03%（从82轮降至69轮）。
- Shakespeare：ToA@0.4-Case 1场景中仅需33轮，而Power-of-Choice未达标。

讨论

梯度相似性的作用：通过余弦相似性量化客户端与全局梯度的一致性，有效过滤低贡献客户端，加速模型收敛。
非IID数据适应性：在数据分布差异较大的场景（如β=0.5的Shakespeare数据集）中，FedGSCS仍保持较高准确率，验证了其鲁棒性。
局限性：未考虑设备资源异构性（如计算能力、能耗），未来需结合资源感知策略优化选择过程。

思路

梯度平均计算：服务器计算所有客户端梯度的平均值 $g^t = \frac{1}{K}\sum_{i=1}^K g_i^t$ ，作为全局优化方向。
余弦相似性度量：通过公式 $cos_k^t = \frac{\langle g^t, g_k^t \rangle}{\|g^t\| \|g_k^t\|}$ 量化客户端梯度与全局梯度的相似性。
Top-P客户端选择：按相似性排序，选择前P个客户端参与聚合，提升模型更新质量。