联邦学习怎样应用在推荐系统中？

来源：知乎丨羊老头

说起联邦学习，大家再熟悉不过了，由于其能在数据不移动的前提下协同训练一个全局共享的模型，迅速成为了人工智能安全领域的一个研究热点。推荐系统作为人工智能领域最振奋人心的应用之一，与联邦学习相结合的研究也越发受到工业界和学术界的关注。

最近，中国科学：信息科学杂志最新综述《基于联邦学习的推荐系统》（以下简称“联邦推荐”）概述了一些联邦学习和推荐系统结合的研究工作，非常适合对联邦学习和推荐系统感兴趣的同学阅读。本文旨在帮助大家快速了解这篇综述，并给想入门联邦研究的同学推荐一些相关的论文。

需要说明的是，联邦推荐这一新兴方向发展迅速，作者研究方向和写作时间有限，文中难免有错误和不足之处，恳请读者和专家批评指正。

梁锋,羊恩跃,潘微科,杨强,明仲. 基于联邦学习的推荐系统综述[J]. 中国科学:信息科学, 2022, 52(5):1-29.

Feng Liang, Enyue Yang, Weike Pan, Qiang Yang and Zhong Ming. A Survey of Recommender Systems Based on Federated Learning (in Chinese) [J]. SCIENTIA SINICA Informationis, 52(5):1-29, 2022.

注：文末附有论文和幻灯片的链接。

引言

1.1 为什么需要联邦学习

你有没有想过，当你躺在沙发上刷抖音视频时，为什么刷到的视频大多是你喜欢的内容？当你打开淘宝的时候，为什么显示的商品大部分是你感兴趣的？好像这些APP比你自己更懂你！这正是推荐系统在其中发挥的作用。推荐系统通常会收集你的信息（例如，你在APP上注册时填写的性别、年龄和地理位置等信息），并通过你在APP上的行为（例如，你在APP上浏览的内容等）来刻画用户画像，然后通过推荐算法把一些可能感兴趣的物品推荐给你。

但是，享受个性化推荐服务的前提是你需要将自己的个人信息和历史行为记录交付给APP，即我们常说的“隐私换服务”。随着通用数据保护条例等隐私和数据保护法律法规的颁布, 以及人们隐私保护意识的提高，用户隐私安全愈发受到重视。你不禁会想，在享受个性化推荐服务的同时，能否保护用户的个人隐私？

当然！联邦学习能够让推荐系统中的用户重新获得数据的控制权。在联邦学习的训练过程中，用户的原始数据始终保留在用户（客户端）本地，服务端和用户之间通过共享加密的或不包含隐私信息的中间参数的方式，进行模型训练和参数更新，进而在保护用户隐私的前提下构建一个有效的机器学习模型。因此，联邦学习和推荐系统的结合旨在保护用户隐私和商业机密的前提下，为用户提供精准的个性化服务。

1.2 综述总览

在联邦推荐场景中，一个客户端可以是一个用户或一个组织，客户端需在不共享数据的前提下联合建模。如图 1 所示，我们可以从架构设计、系统的联邦化和隐私保护技术的应用三个角度，论述基于联邦学习的推荐系统的研究进展。

图1 联邦推荐系统分类

基于联邦学习的推荐系统

2.1 架构设计

与一般联邦学习领域的架构设计类似，在联邦推荐系统的研究中使用的架构可以分为客户端-服务端架构和去中心化架构，如图 2 所示。

客户端–服务端架构的训练流程为：

服务端初始化模型参数，并将模型参数发送给各个客户端；
客户端利用本地数据以及从服务端接收到的最新的模型参数进行训练，并将中间参数发送给服务端；
服务端聚合中间参数，更新全局模型，再把模型回传给客户端；
重复步骤（2）和（3），直到模型收敛。

特点：这类架构能够利用服务端的计算资源，减少客户端的计算压力，但容易发生单点故障。同时，对于好奇的服务端，其可能根据客户端上传的中间参数推断客户端的隐私信息，从而泄露客户端的隐私。

去中心化架构的训练流程为：

服务端初始化模型参数，然后将模型参数发送给各个客户端；
客户端利用本地数据进行模型训练并更新本地的模型参数；
客户端选取一些其他客户端, 发送本地的中间参数，同时接收其他客户端的中间参数，并更新本地的模型；
重复步骤（2）和（3），直到模型收敛。

特点：（1）匿名性。在模型训练过程中，客户端能以匿名的方式发送中间参数给其他客户端，从而解决客户端之间的隐私泄露问题。（2）节省服务端的资源。服务端仅需初始化模型参数，将模型参数分发给各个客户端，不需要参与模型的更新。（3）高可用性。不存在单点故障，即不会因为服务端的某一个部件出错而导致整个联邦学习系统中止训练。

两者的相同之处：客户端的原始数据不离开本地，通过服务端与客户端之间的通信或客户端与客户端之间的通信，以发送中间参数的训练方式来得到一个共享的模型。

图2 联邦学习的架构设计

2.2 推荐系统的联邦化

推荐模型的联邦化具有一定的共性，一个联邦推荐模型的训练框架通常适用于具有相同训练方式的其他模型。然而考虑到不同场景中的隐私保护级别可能不同以及不同模型参数可能带来的不同隐私问题，不同推荐模型在联邦化的过程中存在一定的差异。

对于模型的联邦化，可以划分为基于协同过滤的推荐算法的联邦化、基于深度学习的推荐算法的联邦化和基于元学习的推荐算法的联邦化三个类别。

在此分类下，一些经典的和前沿的推荐模型的联邦化例子及其特点如图 3 所示。

图3 推荐模型的联邦化

2.3 隐私保护技术的应用

基于不同的隐私保护技术，联邦推荐算法可以分为基于同态加密的联邦推荐算法、基于差分隐私的联邦推荐算法、基于本地差分隐私的联邦推荐算法和基于安全多方计算的联邦推荐算法。图 4 总结了一些隐私保护技术在联邦推荐算法设计中的应用。

图4 联邦推荐中的隐私保护技术

未来研究展望

3.1 推荐系统的联邦化

传统的推荐模型的联邦化方面的相关工作仍存在其他的隐私问题
在联邦推荐模型中，通过隐私保护技术来保护隐私方面会带来通信成本增加、计算复杂度增大和推荐性能下降等新的问题
联邦模型的训练方式与非联邦版本等价的同时，算法的训练效率较低
在对基于深度学习的推荐算法进行联邦化方面，客户端的存储资源和计算能力通常无法与庞大的神经网络相匹配，并且客户端自身的数据量有限，难以训练出较好的深度学习模型。边缘计算和知识蒸馏是两个解决客户端资源受限的研究思路
目前还没有公开发表的面向序列反馈和异构反馈建模的联邦推荐方法

3.2 联邦推荐系统的优化

模型压缩、通信策略的改进、激励机制和客户端采样等优化方法如何在联邦推荐模型中应用
如何为特定的推荐模型设计更有效的优化算法

3.3 联邦推荐场景中的隐私安全问题

如何衡量联邦场景中的隐私安全问题，并对已有工作中存在的隐私问题，设计一个更为有效的解决方法
如何在可能存在恶意的客户端和服务端或者存在一些数据质量较低的客户端的环境下，设计联邦推荐模型
客户端如何运用模型投毒防御和对抗攻击防御等防御手段来保护自己模型的安全性和有效性

4. 部分联邦推荐相关的论文（非完整列表）

去中心化的分布式矩阵分解框架（DMF）：Chaochao Chen, Ziqi Liu, Peilin Zhao, Jun Zhou, Xiaolong Li. Privacy preserving point-of-interest recommendation using decentralized matrix factorization [C]. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence (AAAI'18), pages 257-264, 2018. paper
联邦协同过滤推荐算法（FCF）：Muhammad Ammad-ud-din, Elena Ivannikova, Suleiman A. Khan, Were Oyomno, Qiang Fu, Kuan Eeik Tan, Adrian Flanagan. Federated collaborative filtering for privacy-preserving personalized recommendation system [J]. CoRR, 2019, abs/1901.09888. Paper
基于隐私保护的余弦相似度算法（PPCSC）：Harmanjeet Kaur, Neeraj Kumar, Mohammad S. Obaidat. Multi-party secure collaborative filtering for recommendation generation [C]. In: Proceedings of 2019 IEEE Global Communications Conference (GLOBECOM'19), pages 1-6, 2019. paper
用户能调节自身隐私级别的去中心化分布式矩阵分解框架（PDMFRec）：Erika Duriakova, Elias Z. Tragos, Barry Smyth, Neil Hurley, Francisco J. Pena, Panagiotis Symeonidis, James Geraci, and Aonghus Lawlor. PDMFRec: A decentralised matrix factorisation with tunable user-centric privacy [C]. In: Proceedings of the 13th ACM Conference on Recommender Systems (RecSys'19), pages 457-461, 2019. paper
联邦矩阵分解算法（FederatedMF）：Koustabh Dolui, Illapha Cuba Gyllensten, Dietwig Lowet, Sam Michiels, Hans Hallez, Danny Hughes. Towards Privacy-preserving Mobile Applications with Federated Learning: The Case of Matrix Factorization [C]. In: Proceedings of the 17th Annual International Conference on Mobile Systems, applications, and Services (MobiSys'19), pages 624--625, 2019. paper
基于秘密共享技术的共享矩阵分解方法（SharedMF）：Senci Ying. Shared MF: a privacy-preserving recommendation system [J]. CoRR, 2020, abs/2008.07759. paper
基于FATE平台的在线联邦推荐系统（FedRecSys）：Ben Tan, Bo Liu, Vincent W. Zheng, Qiang Yang. A federated recommender system for online services [C]. In: Proceedings of 14th ACM Conference on Recommender Systems (RecSys'20), pages 579-581, 2020. paper
基于位置敏感哈希的联邦推荐算法（FRecLSH）：Hongsheng Hu, Gillian Dobbie, Zoran Salcic, Meng Liu, Jianbing Zhang, Xuyun Zhang. A locality sensitive hashing based approach for federated recommender system [C]. In: Proceedings of 20th International Symposium on Cluster, Cloud and Internet Computing (CCGRID'20), pages 836-842, 2020. paper
基于差分隐私技术的本地协同过滤算法（DPLCF）：Chen Gao, Chao Huang, Dongsheng Lin, Depeng Jin, Yong Li. DPLCF: differentially private local collaborative filtering [C]. In: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'20), pages 961–970, 2020. paper
安全社交推荐框架（SeSoRec）：Chaochao Chen, Liang Li, Bingzhe Wu, Cheng Hong, Li Wang, Jun Zhou. Secure social recommendation based on secret sharing [C]. In: Proceedings of the 24th European Conference on Artificial Intelligence (ECAI'20), pages 506-512, 2020. paper
可快速训练的联邦推荐框架（FedFast）：Khalil Muhammad, Qinqin Wang, Diarmuid O'Reilly-Morgan, Elias Z. Tragos, Barry Smyth, Neil Hurley , James Geraci, Aonghus Lawlor. FedFast: going beyond average for faster training of federated recommender systems [C]. In: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD'2020), pages 1234–1242, 2020. paper
基于深度结构化语义模型的联邦多视图框架（FL-MV-DSSM）：Mingkai Huang, Hao Li, Bing Bai, Chang Wang, Kun Bai, Fei Wang. A federated multi-view deep learning framework for privacy-preserving recommendations [J]. CoRR, 2020, abs/2008.10808. paper
安全的联邦子模型学习框架（SFSL）：Chaoyue Niu, Fan Wu, Shaojie Tang, Lifeng Hua, Rongfei Jia, Chengfei Lv, Zhihua Wu, Guihai Chen. Billion-scale federated learning on mobile clients: A submodel design with tunable privacy [C]. In: Proceedings of the 26th Annual International Conference on Mobile Computing and Networking (MobiCom'20), pages 31:1-31:14, 2020. paper
联邦多视图矩阵分解算法（FED-MVMF）：Adrian Flanagan, Were Oyomno, Alexander Grigorievskiy, Kuan Eeik Tan, Suleiman A. Khan, Muhammad Ammad-ud-din. Federated multi-view matrix factorization for personalized recommendations [J]. CoRR, 2020, abs/2004.04256. paper
基于联邦学习的元矩阵分解框架（MetaMF）：Yujie Lin, Pengjie Ren, Zhumin Chen, Zhaochun Ren, Dongxiao Yu, Jun Ma, Maarten de Rijke, Xiuzhen Cheng. Meta Matrix Factorization for Federated Rating Predictions [C]. In: Proceedings of the 43rd International ACM SIGIR conference on research and development in Information Retrieval (SIGIR'20), pages 981-990, 2020. paper
隐私保护的推荐框架（PriRec）：Chaochao Chen, Jun Zhou, Bingzhe Wu, Wenjing Fang, Li Wang, Yuan Qi, Xiaolin Zheng. Practical privacy preserving POI recommendation [J]. ACM Transactions on Intelligent Systems and Technology, 2020, 11(5):52:1-52:20. paper
联邦新闻推荐框架（FedNewsRec）：Tao Qi, Fangzhao Wu, Chuhan Wu, Yongfeng Huang, Xing Xie. Privacy-preserving news recommendation model training via federated learning [J]. CoRR, 2020, abs/2003.09592. paper
面向显式反馈的无损联邦推荐算法（FedRec++）：Feng Liang, Weike Pan, Zhong Ming. FedRec++: Lossless federated recommendation with explicit feedback [C]. In: Proceedings of the 35th AAAI Conference on Artificial Intelligence (AAAI'21), pages 4224-4231, 2021. paper
基于同态加密技术的安全联邦矩阵分解框架（FedMF）：Di Chai, Leye Wang, Kai Chen, Qiang Yang. Secure federated matrix factorization [J]. IEEE Intelligent Systems, 2021, 36(5):11-20. paper
隐私保护的推荐系统框架（PPRSF）：Jiangcheng Qin, Baisong Liu, Jiangbo Qian. A novel privacy-preserved recommender system framework based on federated learning [C]. In: Proceedings of the 4th International Conference on Software Engineering and Information Management (ICSIM'2021), pages 82-88, 2021. paper
强隐私保护的面向隐式反馈的联邦协同过滤：Lorenzo Minto, Moritz Haller, Benjamin Livshits, Hamed Haddadi. Stronger privacy for federated collaborative filtering with implicit feedback [C]. In: Proceedings of the 15th ACM Conference on Recommender Systems (RecSys'21), pages 342–350, 2021. paper
联邦序列推荐模型（DeepRec）：Jialiang Han, Yun Ma, Qiaozhu Mei, Xuanzhe Liu. DeepRec: On-device deep learning for privacy-preserving sequential recommendation in mobile commerce [C]. In: Proceedings of the 30th International Conference on World Wide Web (WWW'21), pages 900–911, 2021. paper
GNN联邦推荐学习框架（FedGNN）：Chuhan Wu, Fangzhao Wu, Yang Cao, Yongfeng Huang, Xing Xie. FedGNN: federated graph neural network for privacy-preserving recommendation [J]. CoRR, 2021, abs/2102.04925. paper
基于虚假掩码和秘密共享的联邦推荐（FR-FMSS）：Zhaohao Lin, Weike Pan, Zhong Ming. FR-FMSS: federated recommendation via fake marks and secret sharing [C]. In: Proceedings of the 15th ACM Conference on Recommender Systems (RecSys'21), pages 668–673, 2021. paper

论文链接：基于联邦学习的推荐系统综述 https://www.sciengine.com/publisher/scp/journal/SSI/doi/10.1360/SSI-2021-0329?slug=abstract

幻灯片链接：https://pan.baidu.com/link/zhihu/7dh0zauOh5imVRNGp2ZF1LJzN5VMp0TQQ5AT==

注：幻灯片首页截图

bibtex格式引文：

中文：

% Journal
@article{Journal-CN-SSI-22-Suvery,author = {梁锋，羊恩跃，潘微科，杨强，明仲},title = {基于联邦学习的推荐系统综述},journal = {中国科学:信息科学},volume = {52},number = {5},pages = {1--29},year = {2022}
}

英文：

% Journal
@article{Journal-CN-SSI-22-Suvery,author = {Feng Liang and Enyue Yang and Weike Pan and Qiang Yang and Zhong Ming},title = {A Survey of Recommender Systems Based on Federated Learning (in Chinese)},journal = {SCIENTIA SINICA Informationis},volume = {52},number = {5},pages = {1--29},year = {2022}
}

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”