【深度学习】【STWave】时空图预测，车流量预测，Efficient Spectral Graph Attention Network

Spatio-Temporal meets Wavelet: Disentangled Traffic Flow Forecasting via Efficient Spectral Graph Attention Network

代码：https://github.com/LMissher/STWave
论文：https://arxiv.org/abs/2112.02740

帮助：
https://docs.qq.com/sheet/DUEdqZ2lmbmR6UVdU?tab=BB08J2

模型结构：

在这里插入图片描述

一、数据

在这里插入图片描述

二、环境

conda create -n MAE python=3.9 -y
conda activate MAE
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -ypip install -r requirements.txt

requirements.txt：

easy_torch==1.2.12
easydict==1.10
numpy==1.21.5
positional_encodings==6.0.1
scikit_learn==1.0.2
scipy==1.13.1
setproctitle==1.3.2
sympy==1.10.1
timm==0.6.11
torch==1.13.1
torch_summary==1.4.5
tvm==1.0.0


pip install fastdtw PyWavelets  -i https://pypi.tuna.tsinghua.edu.cn/simple

三、训练


mkdir -p ./cpt/PeMSD8
mkdir -p ./log/PeMSD8
python main.py --config config/PeMSD8.conf

在这里插入图片描述

四、论文

摘要

交通流量预测对于公共安全和资源优化至关重要，但面临三大挑战：1) 当前工作大多在一个模型中利用复杂的时序模式（如短期雷阵雨和长期日常趋势），无法在不同模式下准确捕捉时空依赖性；2) 图位置编码的探索不足限制了全图注意力网络中空间信息的提取；3) 全图注意力的二次复杂度引入了沉重的计算需求。为实现有效的交通流量预测，我们提出了一种高效的谱图注意力网络，该网络包含解耦的交通序列。

具体而言，利用离散小波变换从交通序列中获得低频和高频成分，这些成分能反映长短期模式的时序特征。精心设计的双通道时空编码器准确捕捉了不同尺度时序模式下的时空依赖性。此外，我们还提出了一种融合注意力来聚合双尺度时序模式的潜在表示，并实施多监督以预测未来低频成分序列，这与交通流量预测并行进行。在空间维度上，为了提升全GAT在交通流量预测中的性能，我们提出了一个高效谱图注意力网络，它是自注意力的一种变体，具有O(NlogN)的复杂度。新颖的基于小波的图位置编码和查询抽样策略被引入到我们的注意力机制中，用以指导信息传递并稀疏化自注意力查询中的节点。

本论文的核心技术贡献是精心设计了一个名为STWave的模型，它同时在时空维度上利用图和离散小波。在四个真实世界数据集上的实验结果显示，STWave在交通流量预测方面显著优于当前最优方法。

Introduction

根据观测到的交通状况和底层道路网络，交通流量预测旨在预测未来一段时间的交通流量，这对日常出行和交通管理都有很大的好处。尽管其重要性显而易见，交通预测却极具挑战性，因为它涉及复杂的时空依赖性。近年来，数据驱动算法在这一领域受到了广泛关注。其中，循环神经网络（RNN）、时间卷积网络（TCN）和基于Transformer的方法被广泛采用来单独捕捉每条道路的时间依赖性【Zhou等，2021；Xu等，2021；Sutskever等，2014；Lv等，2018；Elmi，2020】。尽管上述方法通过单变量模型进行交通流量预测，它们在单个模型中利用了纠缠的时间模式（例如，使用序列模型来提取车祸和流行病中流量增加和减少的相反影响），但未能准确提取不同模式下的时空信息。

最近，图卷积网络（GCNs）的采用解决了交通预测中捕捉空间相关性的问题。DCRNN【Li等，2018】和STGCN【Yu等，2018】使用GCN来建模相邻道路的相互作用。后续工作如Graph WaveNet、AGCRN、STFGNN和STGODE【Wu等，2019；Bai等，2020；Li和Zhu，2021；Fang等，2021】提出了多种GCN变体，通过扩展空间感受野来提高性能。然而，基于GCN的方法忽略了道路网络图中边的权重随时间不断变化的事实。ST-CGA【Zhang等，2020】和LSGCN【Huang等，2020】使用图注意力网络（GAT）及其变体来学习每个时间步相邻道路之间的权重。ST-GRAT【Park等，2020】和GMAN【Zheng等，2020】进一步利用完全GAT进行交通速度预测，取消了原始GAT中的输入图以减轻硬归纳偏差的影响并捕捉全局空间依赖性。尽管完全基于GAT的工作在其他交通预测任务中表现出了良好的性能，但它们大多存在两个局限性：1）忽略了完全注意力的学习效率，即著名的自注意力的时间和空间复杂度为O(N²)，这引入了巨大的计算需求；2）原始GAT的中心问题在于输入图将空间感受野限制在邻居中，而完全GAT缺乏结构信息来有效指导信息传递。

为了解决上述限制，我们提出了一种新的高效光谱图注意力网络，用于具有解耦交通序列的交通流量预测。在时间维度上，为了单独建模复杂的时间模式，我们首先利用离散小波变换从交通序列中获得低频和高频成分，其中低频和高频成分可以反映长期和短期模式的时间特征。然后我们精心设计了一个双通道时空编码器来表示不同的双尺度时间模式。此外，我们提出了一种融合注意力来聚合双尺度时间模式的潜在表示，并执行多重监督以预测一系列未来的低频成分，这与交通流量预测并行。在空间维度上，为了提高完全GAT在交通流量预测中的性能，我们提出了一种高效的光谱图注意力网络，这是自注意力的一种变体，复杂度仅为O(NlogN)。我们在注意力机制中引入了新颖的小波基图位置编码和查询采样策略，以指导信息传递并稀疏自注意力查询中的节点。本文的关键技术贡献是一个精心设计的模型，名为STWave，该模型同时利用图和离散小波在时空维度上的特性。四个真实数据集上的实验结果表明，STWave在交通流量预测方面显著优于现有的最先进方法。