线性时空预测

这篇文章在时空预测领域，搭建了一个简单高效的线性模型，且使用了channel-independence的方式进行建模。
模型的整体结构如下图所示，是一个级联的结构。输入分为三个部分：temporal embedding、spatial embedding、data embedding。其中temporal embedding代表日期相关的特征，例如一天中的第几个小时；spatial embedding代表空间特征，例如每个节点的embedding和空间拓扑结构；data embedding代表时间序列的信息。这三个部分的输入，分别经过独立的MLP，每一个部分的数据经过MLP后，下一个部分的信息拼接到一起，再输入到下一层的MLP。最后使用一个线性层进行预测。整体的网络结构非常简单。

论文标题：ST-MLP: A Cascaded Spatio-Temporal Linear Framework with Channel-Independence Strategy for Traffic Forecasting

线性模型结构

图时空预测

论文标题：Localised Adaptive Spatial-Temporal Graph Neural Network

本文基于ASTGNNs类型的网络，对模型自动学到的图结构进行了分析。分析结果如下图，绘制了两个边模型学到的权重的分布，可以看到绝大多数的边都是接近0的数，因此表明了节点间关系有稀疏性的倾向，大多数节点之间都不存在比较强的对时空预测有用的关联关系。

为了在ASTGNN中引入稀疏性，文中采用了Mask的方法。具体来说，模型的图自适应学习模块同时学习两个矩阵，一个是图结构邻接矩阵A，另一个是mask矩阵M，二者的尺寸相同。M表示两个节点间的边是否应该被剪枝，也就是设置为0，M中的元素是1或0两种类型。损失函数的整体形式如下：

其中，第一项L表示时空预测的损失，使用的图结构是A和M的element-wise product，也就是剪枝后的临接矩阵。第二项是一个正则化项，也就是要求M矩阵尽可能小，即满足稀疏性的约束。M矩阵的学习方式是直接根据节点的embedding和一个全连接进行拟合。

整体的算法流程如下，在稀疏化之前，会先进行正常的时空网络预训练，然后递归的对边进行剪枝。