A Machine Learning Framework

对于现有的云计算辅助下的无线系统，可能已经收集了大量的历史场景数据并存储在云端。利用云的强大计算能力，为这些历史场景寻找最优或接近最优的解决方案。通过对这些解决方案进行分类，将隐藏在这些历史场景中的相似性提取出来，作为一种基于机器学习的资源分配方案。将当 BS 部署到一个新的区域时，通常没有关于历史场景的可用数据。在这种情况下，初始历史数据可以从具有实际BS位置、准确的建筑蓝图（accurate building footprints）、假定的用户分布（presumptive user distribution），需求（requirements）以及无线传播模型的抽象数学模型生成。当新的BS投入使用时，实时场景（real-time scenarios）的测量数据将从实际系统中收集，然后作为历史数据用于学习。

所提出的机器学习框架如图2所示。在云端，大量的场景的历史数据使用云存储进行存储。历史数据具有很多属性，包括用户号、用户CSI、用户的国际移动用户综合管理指数等。有些属性，例如 IMSIs of users，可能与具体的资源分配无关；因此，在Eq. 1优化问题的参数向量 $\mathbf{a}$ 中不包含这些不相关的属性。从大量属性较多的原始数据中学习，一般需要大量的内存和计算能力，可能会影响学习精度[8]。因此，可以去掉不相关的属性，而不会造成数据质量的很大损失。为了降低数据的维度，使学习过程运行得更快更有效，进行特征选择，尽可能多地识别和删除不相关属性，这将在下一节中讨论。

通过特征选择，从历史数据中选择一些关键属性，并作为特征向量呈现出来。但是，在数据测量（data measurement）、传输（transmission）、存储（storage）过程中可能存在一些操作故障，导致特征向量中的值异常、不完整或重复。因此，需要进行必要的预处理，删除错误或重复的特征向量。然后将所有剩余的特征向量收集起来，形成一个非常大的数据集。进一步，一个数据集中的所有特征向量被随机分成一个训练集和一个测试集。正常情况下，70% - 90%的特征向量被分配到训练集。

有了训练集，采用机器学习中的监督学习算法来发现隐藏在历史数据中的相似性。通过这样做，可以建立一个预测模型，该模型将用于对未来意想不到的场景做出资源分配决策。更具体地说，借助云计算，可以利用先进的计算技术，用更多的计算时间来搜索Eq. 1优化问题的解。与传统的拉格朗日松弛法（Lagrangian relaxation）或贪心法（greedy methods）相比，搜索到的解的性能可以得到显著提高。因此，可以离线搜索一个高性能的资源分配解决方案，并与每个训练特征向量相关联，如下一节所述。所有具有相同解决方案的训练特征向量都被分类为一类，每一类都与自己的解决方案相关联。资源分配问题现在被转化为一个多类分类问题，在下一节中概述（outlined in the next
section）。为了解决多类分类问题，将用两个函数建立一个预测模型。第一个是预测未来场景的类，可以用数学方法描述为分类器 $I=\text{ Classifier }\left(F_T\right)$。$F_T$ 为从场景中提取的输入特征向量，$I$ 为表示该场景属于第 $I$ 类的 output class index。然后选择第 $I_{th}$ 类的关联解，为 $F_T$ 描述的场景分配无线电资源。在部署模型之前，由测试集对最近构建的预测模型进行评估，并进一步优化，直到评估结果令人满意。

通过回程链路（backhaul links），将建立的预测模型和各类的关联解传输到 BS。在 BS，首先使用实时场景的测量数据形成其新的特征向量。然后将新的特征向量输入到构建的预测模型中，以分配无线资源。同时，新的特征向量将被采集并临时存储在BS上，然后转发到云端更新数据集，这对于跟踪真实场景的演变非常重要，包括用户行为和无线传播环境。

虽然构建预测模型需要消耗大量的计算资源，但在非高峰时间，计算工作可以离线进行。而且，数据集更新和模型部署也可以在非高峰时间完成。因此，云可以与多个BSs共享，并可以灵活调度计算任务，充分利用可用的计算资源。

---

Application of Supervised Learning to Resource Allocation

在本节中，以[13]中考虑的单cell多用户大规模多输入多输出(massive multiple multiple-input multiple- output, MIMO)系统中的波束分配问题为例，展示我们提出的资源分配机器学习框架的效率。

在单小区系统中，假设 $BS$ 位于圆形小区的中心，$K$ 个用户均匀分布在以单位半径为单位的小区内，每个用户配备单个天线。通过在 $BS$ 部署由 $N$ 个相同各向同性天线单元组成的线性阵列的 Butler 网络[14]，可以形成大量的 $N>>K$ 固定波束。在这样的固定波束系统（fixed-beam system）中，一个用户由分配给它的波束提供服务，如图5所示，其中每个用户由相同颜色的波束提供服务，$\left({\rho }_k,{\theta }_k\right)$ 表示用户 $k$ 的极坐标。要同时服务多个用户，关键问题是如何高效地为用户分配波束，使和速率最大化。

由于波束 $N$ 的数量远大于用户 $K$ 的数量，且每个用户由一个波束服务，因此只有一部分波束会主动服务于用户。因此，我们首先需要确定哪些波束是活跃的。这个问题可以通过应用我们的机器学习框架来解决。 具体来说，主动波束解决方案（the active beam solution）作为预测模型的输出。假设一个LOS通道，由于 $K$ 个用户从 $N$ 个波束获得的波束增益由 $K$ 个用户的位置决定，因此用户布局 $u=\left[\left({\rho }_1,{\theta }_1\right),\left({\rho }_2,{\theta }_2\right),\cdots ,\left({\rho }_K,{\theta }_K\right)\right]$ 作为输入数据，其中包含径向距离和相位信息。

由于一个用户从不同波束获得的波束增益随其相位显著变化，如图5所示，因此采用波束分配方案时的可达和速率主要由 $K$ 个用户的相位信息决定。因此，将一个用户布局数据 $u$ 的特征向量 $F_u$ 选取为

$$F_T=\left[\cos {\theta }^{(1)},\cos {\theta }^{(2)},\dots ,\cos {\theta }^{(K)}\right],\text{\hspace{1em}(2)}$$

${\theta }^{(1)}\le {\theta }^{(2)}\le \cdots \le {\theta }^{(K)}$

在进行资源分配之前，我们首先需要通过学习大量的训练用户布局数据来训练预测模型，这些数据可以由计算机根据其分布生成。对于每个训练用户布局，其根据Eq. 2形成的特征向量与其主动波束解相关联（active beam solution），可以通过采用离线波束分配算法获得主动波束解。由于强大的云计算能力，如前所述，可以采用最优穷举搜索或接近最优的元启发式算法（near-optimal
metaheuristics algorithms）。在本节中，假设用户和波束数量较少，应用穷举搜索进行演示。

在将训练集中的每个特征向量与其主动波束解（active beam solution）关联之后，所有的训练特征向量就会根据它们的主动波束解自然地归类到各种类别中。具体来说，共享同一主动波束解的特征向量属于同一类。Specifically, the feature vectors sharing the same active beam solution are in the same class. 然后，可以通过应用简单的 k-NN 算法建立 active beam solution 的预测模型，然后可以对该模型进行评估和优化以保证其性能，如图2所示。例如，它可以通过添加更多的训练数据来改进。通过图6b来讨论训练集大小的影响。

然后将建立的预测模型部署在 BS 上进行波束分配。对于一个新的用户布局 $u_i$，通过形成其特征向量 $F_{u_i}$，并定义其特征向量 $F_{u_i}$ 到存储的训练特征向量 $F_{T_{J^{\prime }}}$, 距离记为 $d_{u_i,T_{j^{\prime }}}$

$$d_{u_i,T_j}={\Vert F_{u_i}-F_{T_j}\Vert }^2,\text{\hspace{1em}(3)}$$

选择 $k$ 个距离最小的 $k$ 个最近邻特征向量。根据k-NN算法，在这 $k$ 个邻居中选择最常见的一类作为输入用户布局 $u_i$ 的预测类，预测模型输出其预测类的关联 active beam solution。基于主动波束信息，通过假设用户间的功率分配相等，将每个主动波束分配给其具有最高接收信干噪比（SINR）的最佳用户。此外，还收集了新的特征向量 $F_{u_i}$，以进一步更新数据集，跟踪用户布局的演变。

图6展示了我们提出的波束分配机器学习框架下的平均和速率与传输信噪比（SNR）和训练集大小的对比。为了比较，我们还绘制了[13]中提出的最优穷举搜索和低复杂度波束分配（low-complexity beam allocation, LBA）的平均和率。从图6b可以看出，随着训练数据数量的增加，我们提出的机器学习框架实现的平均和速率也在增加，并逐渐接近最优穷举搜索的平均和速率。从图6中也可以看出，在更大的训练集下，我们的算法优于[13]中提出的LBA算法，说明我们提出的资源分配机器学习框架优于传统技术。

注意，对于前面提到的 k-NN 算法，新数据和现有训练数据之间的距离是实时计算的。因此，在有大量训练数据的情况下，在实际系统中计算复杂度会变得非常高。因此，设计一个低复杂度的多类分类器是很重要的，下面讨论。

---

Research Challenges and Open Issues

Low-Complexity Classifier

设计低复杂度的多类分类器需要更先进的技术。有前途的技术之一是将多类分类问题转化为一组二分类问题，利用二分类器可以有效地解决这些问题。到目前为止，支持向量机(SVM)被认为是设计低复杂度的二分类器中鲁棒性最强、最成功的算法之一，它通过利用高维空间中的线性边界(超平面)来确定新特征向量的类别。更具体地说，这两个类别仅由几个超平面划分。

相应地，根据新特征向量落在超平面的哪边来确定类别。与 k-NN 算法相比，基于svm的二分类器的复杂度非常低。

对于前面提到的波束分配的例子，主动波束解的总数为 $2^N$。换句话说，最多有 $2^N$ 个类别，这表明确定场景类别的复杂度为 $O(2^N)$。同时，穷举搜索的复杂度为 $O(N^K)$。显然，我们提出的资源分配的机器学习框架可以以较低的复杂度逼近穷举搜索的最优性能。值得一提的是，针对未来第五代(5G)通信[15]，已经定义了几个具有不同 QoS 要求的典型场景。例如，“great service in a crowd” 的场景侧重于提供不错的体验，即使在拥挤的区域，包括体育场、音乐会和购物中心。对于每个典型的场景，隐藏的用户行为和无线传播环境的共同特征可能会减少类的数量，这可以被利用来进一步降低分类器的复杂性。最近，深度学习在挖掘隐藏的公共特征（exploiting the hidden common features）方面表现出了显著的优势[16,17]。

Multi-BS Cooperation

Fast Evolution of Scenarios

在许多真实的场景中，用户行为和无线环境本质上是时间变化的[19]。即隐藏在历史场景中的特性也是动态的。在大多数情况下，这样的演变过于缓慢和温和，难以引起人们的注意。通过不断收集数据和定期更新数据集进行学习，可以很容易地追踪到这种缓慢的进化。然而，在某些特殊情况下，这种演化可能会非常突然和显著。例如，对一条非常繁忙的道路进行应急维修，极大地改变了用户位置分布和移动特性；对高层建筑进行爆破拆除，传播环境发生显著变化。由于预测模型是用过时的历史数据建立的，这样的快速演化可能会导致资源配置的显著性能损失。在机器学习中，只要有新的数据，就可以通过更新预测模型来解决这个问题。但是，由于云计算是由许多应用程序共享的，因此新数据只能临时存储在基站中，然后稍后转发更新数据集。如何在资源分配中应对场景的快速演化，是未来研究的一个具有挑战性的课题。

---

Conclusion

在未来的无线通信中，传统的资源分配方法将面临巨大的挑战，以满足无线资源稀缺情况下，用户日益增长的 QoS 需求。受AlphaGo胜利的启发，本文提出了一个用于资源分配的机器学习框架，并讨论了如何应用监督学习（supervised learning）来提取隐藏在大量场景历史数据中的相似性。通过利用提取的相似性，采用最相似的历史场景的最优或接近最优解来为当前场景分配无线电资源。以多用户大规模MIMO系统中的波束分配为例，验证了本文提出的基于机器学习的资源分配优于传统方法。简而言之，基于机器学习的资源分配是云计算辅助的未来无线通信的一个令人兴奋的领域。