联邦学习

1.1 联邦学习的概念

历史：联邦学习最早在 2016 年由谷歌提出，原本用于解决安卓手机终端用户在本地更新模型的问题；
本质：联邦学习本质上是一种分布式机器学习技术，或机器学习框架。
目标：联邦学习的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果。
联邦学习的架构分为两种，一种是中心化联邦（客户端/服务器）架构，一种是去中心化联邦（对等计算）架构。

• 针对联合多方用户的联邦学习场景，一般采用的是客户端/服务器架构，企业作为服务器，起着协调全局模型的作用；
• 针对联合多家面临数据孤岛困境的企业进行模型训练的场景，一般可以采用对等架构，因为难以从多家企业中选出进行协调的服务器方。

在客户端/服务器架构中，各参与方须与中央服务器合作完成联合训练，如图所示。

当参与方不少于两个时，启动联邦学习过程。在正式开始训练之前，中央服务器先将初始模型分发给各参与方，然后各参与方根据本地数据集分别对所得模型进行训练。接着，各参与方将本地训练得到的模型参数加密上传至中央服务器。中央服务器对所有模型梯度进行聚合，再将聚合后的全局模型参数加密传回至各参与方。

在对等计算架构中，不存在中央服务器，所有交互都是参与方之间直接进行的，如图所示。

当参与方对原始模型训练后，需要将本地模型参数加密传输给其余参与联合训练的数据持有方。因此，假设本次联合训练有$n$个参与方，则每个参与方至少需要传输$2(n-1)$次加密模型参数。
在对等架构中，由于没有第三方服务器的参与，参与方之间直接交互，需要更多的加解密操作。在整个过程中，所有模型参数的交互都是加密的。目前，可以采用安全多方计算、同态加密等技术实现。全局模型参数的更新可运用联邦平均等聚合算法。当需要对参与方数据进行对齐时，可以采用样本对齐等方案。

1.2 联邦学习分类

根据各方数据集的贡献方式不同，可以将联邦学习具体分为横向联邦学习、纵向联邦学习和联邦迁移学习，每种技术细分对应不同场景。
横向联邦学习适用于各数据持有方的业务类型相似、所获得的用户特征多而用户空间只有较少重叠或基本无重叠的场景。例如，各地区不同的商场拥有客户的购物信息大多类似，但是用户人群不同。
横向联邦学习以数据的特征维度为导向，取出参与方特征相同而用户不完全相同的部分进行联合训练。在此过程中，通过各参与方之间的样本联合，扩大了训练的样本空间，从而提升了模型的准确度和泛化能力。

纵向联邦学习适用于各参与方之间用户空间重叠较多，而特征空间重叠较少或没有重叠的场景。例如，某区域内的银行和商场，由于地理位置类似，用户空间交叉较多，但因为业务类型不同，用户的特征相差较大。
纵向联邦学习是以共同用户为数据的对齐导向，取出参与方用户相同而特征不完全相同的部分进行联合训练。因此，在联合训练时，需要先对各参与方数据进行样本对齐，获得用户重叠的数据，然后各自在被选出的数据集上进行训练。
此外，为了保证非交叉部分数据的安全性，在系统级进行样本对齐操作，每个参与方只有基于本地数据训练的模型。

联邦迁移学习是对横向联邦学习和纵向联邦学习的补充，适用于各参与方用户空间和特征空间都重叠较少的场景。例如，不同地区的银行和商场之间，用户空间交叉较少，并且特征空间基本无重叠。在该场景下，采用横向联邦学习可能会产生比单独训练更差的模型，采用纵向联邦学习可能会产生负迁移的情况。
联邦迁移学习基于各参与方数据或模型之间的相似性，将在源域中学习的模型迁移到目标域中。大多采用源域中的标签来预测目标域中的标签准确性。