3.1 图神经网络的发展与轻量级框架下的知识蒸馏

图数据无处不在，图神经网络的研究也蓬勃发展。目前主流的图神经网络处理方法相似，基本都离不开节点本身的表征和节点之间的相互关系（即图的拓扑结构信息）。然而，训练图神经网络常需耗费大量时间和资源，在工业界并不受欢迎。

那么，如何在保证较高准确率的同时获得轻量级框架呢？一个明显的选择是利用预训练的图神经网络（如GCN（Graph Convolutional Network）或GAT（Graph Attention Network））提取精华知识，然后将其传授给轻量级网络（较小的图神经网络或MLP（Multilayer Perceptron））。

那么从图神经网络中可以获得哪些知识呢？主要包括两个方面：一方面是Logits，代表Softmax函数的输入及软标签预测；另一是结构信息（即拓扑信息），描述了图元素（如节点和边）的连接和关系，在图数据建模中起着重要作用。目前基于知识蒸馏的无图学习也主要在这两个方向进行研究，具体工作见下图：