论文笔记--FEDERATED LEARNING: STRATEGIES FOR IMPROVING COMMUNICATION EFFICIENCY
- 1. 文章简介
- 2. 文章概括
- 3 文章重点技术
- 3.1 联邦学习(federated learning, FL)
- 3.2 Structured updates
- 3.3 Sketched Update
- 4. 文章亮点
- 5. 原文传送门
1. 文章简介
- 标题：FEDERATED LEARNING: STRATEGIES FOR IMPROVING COMMUNICATION EFFICIENCY
- 作者：Jakub Konecny, H. Brendan McMahan, Felix X. Yu, Ananda Theertha Suresh, Dave Bacon
- 日期：2016
- 期刊：arxiv
2. 文章概括
文章给出了一种联邦学习(federated learning, FL)的新的方法，可以提升多终端之间的交流效率，从而支持多台设备在不稳定网络下的快速传输。
3 文章重点技术
3.1 联邦学习(federated learning, FL)
先简要叙述下联邦学习的概念：一个共享的全局模型被部署于中央服务器，然后各个客户端通过本地数据进行训练，并将更新后的模型传输回中央服务器。假设FL的目的是学习一个参数为 W ∈ R d 1 × d 2 W\in\mathbb{R}^{d_1\times d_2} W∈Rd1×d2的模型，则联邦学习的第 t ≥ 0 t\ge 0 t≥0轮按如下几个步骤执行：
- 随机选择 n t n_t nt个可用的客户端集合 S t S_t St，在这些客户端上从中央服务器下载当前的模型 W W W
- 上述选定的客户端用各自的本地数据更新模型，得到更新后的参数分别为 W t 1 , … , W t n t W_t^1, \dots, W_t^{n_t} Wt1,…,Wtnt，从而各自的更新量为 H t i : = W t i − W t , i = 1 , … , n t H_t^i := W_t^i - W_t ,i = 1, \dots, n_t Hti:=Wti−Wt,i=1,…,nt，
- 上述选定的客户端将更新量 H t 1 , … , H t n t H_t^1, \dots, H_t^{n_t} Ht1,…,Htnt分别发送到中央服务器
- 服务器将所有更新的模型进行聚合（通常采用均值）: H t : = 1 n t ∑ i ∈ S t H t i H_t := \frac 1{n_t} \sum_{i\in S_t} H_t^i Ht:=nt1∑i∈StHti，并更新全局模型： W t + 1 = W t + η t H t W_{t+1} = W_t + \eta_t H_t Wt+1=Wt+ηtHt。
其中， η t \eta_t ηt表示每一轮的学习率，简单起见文章采用 η t = 1 \eta_t=1 ηt=1。
上述步骤中，第3步耗时较长，尤其是模型很大或者网络不稳定的时候。文章提出了两种方法来减少第3步的耗时：Structured updates和Sketched updates。
3.2 Structured updates
文章提出的第一种效率提升方式为结构更新，即限制更新的 H t i H_t^i Hti为某种预定义的结构。文章考虑了两种预定义的结构
- low rank：限制每一轮更新的参数矩阵 H t i ∈ R d 1 , … , d 2 H_t^i \in \mathbb{R}^{d_1, \dots, d_2} Hti∈Rd1,…,d2的秩最多为某个固定数值 k k k。为此，我们可以将 H t i H_t^i Hti表示为两个矩阵的乘积： H t i = A t i B t i H_t^i = A_t^i B_t^i Hti=AtiBti，其中 A t i ∈ R d 1 , … , k , B t i ∈ R k , … , d 2 A_t^i \in \mathbb{R}^{d_1, \dots, k}, B_t^i \in \mathbb{R}^{k, \dots, d_2} Ati∈Rd1,…,k,Bti∈Rk,…,d2，则由 rank ( A B ) ≤ rank ( A ) \text{rank} (AB) \le \text{rank} (A) rank(AB)≤rank(A)可以知道 H t i ≤ k H_t^i \le k Hti≤k。我们初始化一个随机的 A t i A_t^i Ati，然后训练的时候仅更新 B t i B_t^i Bti的参数。则模型上传的时候我们只需上传 A t i A_t^i Ati的随机种子和 B t i B_t^i Bti的参数即可。故我们将效率从 d 1 × d 2 d_1 \times d_2 d1×d2提升为 k × d 2 k \times d_2 k×d2，提升了 d 1 / k d_1/k d1/k倍。
- random rank：限制每一轮更新的参数矩阵 H t i ∈ R d 1 , … , d 2 H_t^i \in \mathbb{R}^{d_1, \dots, d_2} Hti∈Rd1,…,d2为一个稀疏矩阵，满足某种与定义的稀疏模式（只需随机选出non-zero的索引即可），更新的时候我们只更新non-zero的参数。上传模型的时候只需上传稀疏化的随机种子和非零元素的更新值即可。
3.3 Sketched Update
文章提出的第二种效率提升方法为sketched update，核心思想为在各个客户端训练完整的参数更新，然后将更新的参数进行压缩上传，再在中央服务器上解压然后更新全局模型的参数。文章实验了几种不同的压缩方法：
- subsampling：各个客户端每次更新完模型之后从 H t i H_t^i Hti中随机采样一小部分值 H ^ t i \hat{H}_t^i H^ti发送到中央服务器，然后取各个客户端的平均更新值作为全局的更新值。当每个客户端每一轮的随机mask独立时，我们有 E [ H ^ t ] = H t \mathbb{E} [\hat{H}^t] = H_t E[H^t]=Ht。
- probabilistic quantiazation：首先介绍one-bit的情况。令 h = ( h 1 , … , h d 1 × d 2 ) h = (h_1, \dots, h_{d_1\times d_2}) h=(h1,…,hd1×d2)为 H t i H_t^i Hti的平铺向量，取 h m a x = max j ( h j ) h_{max} = \max_j (h_j) hmax=maxj(hj), h m i n = min j ( h j ) h_{min} = \min_j (h_j) hmin=minj(hj)，则可以将 h h h压缩为： h ‾ j = { h m a x , with probability h j − h m i n h m a x − h m i n h m i n , with probability h m a x − h j h m a x − h m i n \overline{h}_j = \begin{cases} h_{max}, \quad \text{with probability} \quad \frac {h_j - h_{min}}{h_{max}-h_{min}}\\h_{min}, \quad \text{with probability} \quad \frac {h_{max} - h_j}{h_{max}-h_{min}}\end{cases} hj={hmax,with probabilityhmax−hminhj−hminhmin,with probabilityhmax−hminhmax−hj，则可以得到 E [ h ‾ ] = h m a x h − h m i n h m a x − h m i n + h m i n h m a x − h h m a x − h m i n = h \mathbb{E} [\overline{h}] = h_{max} \frac {h - h_{min}}{h_{max}-h_{min}} +h_{min} \frac {h_{max} - h}{h_{max}-h_{min}} = h E[h]=hmaxhmax−hminh−hmin+hminhmax−hminhmax−h=h，从而 h ‾ \overline{h} h为 h h h的无偏估计。上述为one-bit的情况，我们可以增加bit数，将 [ h m i n , h m a x ] [h_{min}, h_{max}] [hmin,hmax]划分为 2 b 2^b 2b个区间，然后按照上述定义将每个子区间内的 h j h_j hj进行压缩。发送的时候我们只需要发送区间数和每个子区间端点的个数即可，对应的发送量为 2 b 2^b 2b。
- Quantilization by structured random rotations：上述方法当不同维度的数值比较相近的时候效果较好。比如大部分的值为0，但 m a x = 1 , m i n = − 1 max =1, min = -1 max=1,min=−1，则上述压缩方法有明显的误差。为此，我们可以先对 h h h应用一个旋转（乘一个随机正交矩阵），则上述误差可以得到有效控制（有其它研究可以支撑）。解码阶段，需要首先将压缩后的参数乘正交矩阵的逆阵再进行聚合、更新。
4. 文章亮点
文章提出了两类联邦学习加速的算法：基于预定义参数和基于参数压缩的方法。数值实验表明我们的方法可以在精度损失很少的情况下更快地发送参数。
5. 原文传送门
FEDERATED LEARNING: STRATEGIES FOR IMPROVING COMMUNICATION EFFICIENCY
方法函数)
