人工智能安全——联邦学习的安全攻击与防护

参考论文FedMDFG: Federated Learning with Multi-Gradient Descent and Fair Guidance (AAAI-2023)

背景

随着人工智能技术的飞速发展，隐私保护和数据安全越来越受到重视。联邦学习（Federated Learning, FL）作为一种分布式隐私保护的机器学习框架，通过让数据留在本地设备上，仅共享模型参数而非原始数据，显著降低了隐私泄露风险。然而，这一技术并非毫无漏洞，联邦学习仍然面临诸多安全威胁，现有的 FL 协议设计已被证明容易受到系统内部或外部的对手的攻击，从而损害数据隐私和系统稳健性。如何应对这些威胁成为了一个重要的研究方向。

联邦学习的安全攻击也常叫“中毒攻击”，这种攻击旨在损害联邦学习系统的稳健性、破坏和干扰联邦学习的正常进行，或者是故意使坏让联邦学习的模型可用性变得极低。常见的攻击手段有：

模型投毒攻击（拜占庭攻击）：恶意的client上传随机的模型参数/梯度给server，干扰FL的聚合效果。
后门攻击（特洛伊木马攻击），例如，攻击者给训练数据/模型加入隐秘的后门，并在预测阶段通过触发简单的后门触发器完成恶意攻击，意图让FL模型预测出攻击者所设定的错误标签。
女巫攻击：攻击者伪造大量的虚假用户加入FL，以在FL中获得更高的主导地位，或者将其真实的攻击行为给隐藏起来。

这些安全攻击手段极大地威胁了联邦学习，一定程度上加剧了联邦学习很难在真实应用场景下推广难的问题。因为在现实场景中，server、client的成分很复杂，总会存在一些恶意攻击者要破坏FL的正常运行。

联邦学习安全防护

目前学界提出了很多应对联邦学习安全威胁的应对方案。例如将同态加密、安全多方计算等结合到FL里面，采用复杂的密码协议为FL保驾护航，减轻客户端的恶意行为。但这会带来显著的计算开销，以至于损害系统性能。

另外也有人提出利用区块链来增加FL参与用户的可信度，比如说这篇文章：Defending Against Poisoning Attacks in Federated Learning with Blockchain。

但无一例外的是，这些方法都极大增加了联邦学习系统的复杂性。机缘巧合地，我发现前面读的那篇基于多目标优化的联邦学习算法FedMDFG，文章里面恰好讨论了方法对于应对联邦学习安全攻击的能力。

FedMDFG的文章解读可以参考我前面那篇博客：

该方法简言之，就是设计了一种具有理论保障的方法，能够计算一个公平的梯度下降方向来更新模型，如下图所示：

从FL安全防护的角度来看，这方法恰好能简单有效地应对模型投毒攻击、后门攻击，以及女巫攻击。这是因为，即便恶意用户上传错误的模型参数/梯度，抑或是故意安插后门，修改label，或者是试图主导FL，在FedMDFG面前，都会失效。这得益于更新方向对于所有用户而言都是梯度下降以及公平的。例如，有10个用户，其中8个都是恶意用户，那么，FedMDFG得到的更新方向，对于剩下的那两个个非恶意用户A和B而言，依旧是梯度下降的，依旧能够提升FL模型在该用户上的性能表现，模型依旧能在A和B上具有泛化性。

文章做了以下实验来分析FedMDFG的应对安全攻击的表现，它模拟了三种攻击手段：