【联邦学习贡献评估综述——未来展望（研究点）】

贡献评估的研究展望

参与方贡献评估作为激励参与方加入联邦的关键问题, 目前已有一些探索性研究工作, 但是现有工作在价值度量有效性和可靠性、贡献评估方案公平合理性、评估算法在联邦学习应用上的性能和安全性等问题上仍存在不足之处, 有待未来研究攻克这些挑战.

1. 设计有效可靠的数据估值指标

目前, 相关研究已经尝试了以下的指标来度量数据价值

基于测试集的测试准确率
基于信息论的信息增益
模型相似度
数据统计特征

这些指标在所适应的联邦场景和价值度量的假设约束上各有优劣与不同, 未来数据估值指标设计与选择, 需从联邦场景设定和对数据与参与方的相关假设来综合考虑.

1.1 联邦场景设定

数据估值指标设计需明确其所适合的联邦场景, 明确价值度量在联邦场景中的泛化性和针对特定场景的性能提升之间的平衡取舍.

联邦类型
- 明确价值度量在横向联邦、纵向联邦和横纵联邦这 3 种联邦类型的适应性.
- 目前, 仅有依赖测试集的测试准确率指标同时适合于横向与纵向联邦; 此外, 条件互信息指标适合于纵向联邦, 其他指标均只适用于横向联邦,
- 因此, 未来需要研究更多适用于纵向联邦或者适用于横纵联邦的通用指标.
任务相关性
- 明确价值度量是否任务相关. 在明确联邦具体的分类或回归任务时, 可以针对相关任务特性的优化目标函数设计更加合理的估值指标.
- 而对于任务目标函数尚未完全明确或者对联邦聚合查询分析需求的任务来说, 可以考虑从数据统计指标、分布特性和时效性等角度切入, 量化联邦主观需求来设计复合指标的数据估值是未来可供探索的方向.
模型依赖
- 明确价值度量是否依赖于具体联邦任务模型. 设计模型无关的数据估值指标可以有更大的应用场景与泛化性, 而设计任务模型依赖的指标, 比如 K 近邻法, 可以实现在特定的联邦任务下出色的性能.
测试集依赖
- 明确价值度量是否依赖并且多大程度上依赖于联邦测试集.
- 目前, 价值度量完全划分为测试集依赖与测试集无关的指标, 尚未有结合不完善联邦测试集的半监督价值度量指标. 此外, 测试集无关指标仍存在价值度量不合理的问题.
- 未来方法需要考虑实际中如何结合联邦的不完善测试集和参与方训练集来度量价值的问题. 另外, 设计测试集无关的指标时, 需考虑价值度量与任务性能的相关合理性与潜在假设.

1.2 数据估值假设

设计数据估值指标需明确其对于参与方数据所服从分布的假设, 需要能够有效显著区分高低价值的数据, 在度量指标设计上需要严谨、可靠, 能够有效地抵御低价值或者恶意参与方的攻击.

数据分布假设
- 明确数据估值指标是否依赖于参与方数据分布假设.
- 对联邦参与方数据分布的信息有充分了解, 能够简化数据价值度量, 比如, 假设所有参与方数据独立并来自统一分布时, 任务数据量达到能够完全反映数据统计分布规律前, 数据价值与数据量呈正相关; 达到足够完全反映数据统计分布规律后, 数据整体的价值不再随数据量升高.
价值度量标准
- 明确数据估值指标, 能够有效地量化联邦对数据的诉求 .
- 在联邦提供测试集场景时, 测试集的准确率即代表联邦对所需数据的诉求. 在未提供测试集或者测试集不完善的情况下, 价值度量应当反映联邦任务对数据统计指标和分布特性的需求, 不能简单凭借数据体量、分布多样性或者参与方之间的一致性来量化数据价值.
恶意参与方
- 明确数据估值指标, 能够防御的攻击类型
- 实际应用中, 存在低价值、无价值或者不同类型恶意参与方的情况, 数据价值度量不能假设联邦全体参与方组合的数据价值最高, 数据估值指标设计时, 需要尽可能地甄别对任务不利的数据, 在数据中掺杂入随机噪声或者恶意数据时, 能够有效地判定数据价值下降.

2. 探索公平合理的贡献评估方案

目前, 在联邦学习参与方贡献评估中,

夏普利值是被普遍采用的方案;
与夏普利值具备类似应用潜力的最小核法最近才被调研, 目前尚未得到充分关注与性能验证
留一法通常被当作基准方法;
而个体法因为简单直观仍被广泛采用

未来贡献评估方案选择可考虑如下要点：

公平性: 评估方案对参与方贡献评估需要具备对称性、零贡献特性, 面向不同参与方个体或者组合的公平性, 需要充分考虑联邦场景下参与方为联邦合作带来的边际贡献, 即参与方的组合价值增益.
合理性: 参与方贡献评估结果中, 各参与方贡献评估之和为全体参与方联邦合作的组合数据价值, 其中可能存在某些参与方的贡献为负的情况.
其他性质: 评估方案具备其他有利于联邦贡献评估方案的性质, 比如价值度量指标的可加性、评估结果的稳定性等.
联邦场景: 明确贡献评估方案所适应的联邦场景设定. 经典的联邦学习场景是对多个地位对等的参与方的数据贡献进行评估, 然而实际中更常见的情况是参与方的出现有先后次序和不同地位权重的情况. 未来需要考虑这些新设定下的贡献评估方案探索, 比如联邦已有部分固定的参与方, 如何对新来的参与方进行公平合理的贡献评估.