Deep Learning for Spatio-Temporal Data Mining: A Survey
被引用次数：392
[Submitted on 11 Jun 2019 (v1), last revised 24 Jun 2019 (this version, v2)]
主要内容： 该论文是一篇关于深度学习在时空数据挖掘中的应用的综述。论文首先介绍了时空数据挖掘的背景和意义，然后详细介绍了深度学习在时空数据挖掘中的应用，包括卷积神经网络（CNN）、循环神经网络（RNN）等模型在时空数据中的特征学习、时空数据的表示方法、时空数据的预测和分类等任务。此外，论文还介绍了一些深度学习在时空数据挖掘中的应用案例，如交通流量预测、犯罪预测等。
Ⅰ. introduction
-
介绍了时空数据挖掘的背景和意义
- 时空数据挖掘是指从时空数据中发现有用的知识和模式的过程。
- 时空数据挖掘在很多领域都有应用，如交通、气象、医疗等，可以帮助人们更好地理解和预测现象。
-
传统数据挖掘方法在处理时空数据时的局限性。
- 随着时空数据集的数量、体积和分辨率的迅速增加，传统的数据挖掘方法，特别是基于统计的方法，已经无法处理这些数据。
因此，深度学习技术的发展为时空数据挖掘提供了新的机会和挑战。
Ⅱ. categorization of spatio-temporal data
- 数据类型
- 点数据
- 线数据
- 面数据
- 数据来源
- 传感器数据
- 人工采集数据
- 模拟数据
- 数据表示
- 矢量数据
- 栅格数据
Ⅲ. Framework
- ADAIN model ：包括了多源数据的特征提取和融合、FNN和RNN模型的特征学习、全连接层的预测等步骤。
- ST-ResNet ： 基于残差神经网络，用于预测城市中每个区域的人流量。该模型框架包括了外部特征和人流量数据的特征提取和融合、残差神经网络的特征学习等步骤。
Ⅳ. Deep Learning Models for addressing different STDM problems
主要介绍了基于深度学习模型解决不同时空数据管理问题的方法。
- 首先将时空数据管理问题分为不同的类别，包括预测、表示学习、检测、分类、推断/估计、推荐等。
- 介绍了针对不同类别问题所提出的深度学习模型，包括卷积神经网络、循环神经网络、自编码器、生成对抗网络等。
- 总结了当前深度学习模型在不同领域的应用，包括交通、气候和天气、人类移动性、基于位置的社交网络、犯罪分析和神经科学等。
Ⅴ. Applications
- 交通流量预测
- 按需服务
- 气候/天气
- 人流预测
- 基于位置的社交网络(LBSN)
- 犯罪预测
- 神经科学
Ⅵ. Open Problem
- 模型可解释性
- 深度学习模型选择
- STDM任务的扩展应用
- ST数据集多模态融合
Spatio-Temporal Data Mining: A Survey of Problems and Methods
被引用次数：418
[Submitted on 13 Nov 2017 (v1), last revised 17 Nov 2017 (this version, v2)]
问题&方法
- 1.轨迹模式挖掘
- 基于聚类的方法：基于密度聚类、基于网络聚类、基于子轨迹聚类
- 基于序列模式挖掘的方法：频繁序列挖掘、序列聚类
- 基于分类的方法：基于决策树分类、基于SVM分类
- 基于关联规则方法：频繁模式挖掘、关联规则挖掘
- 2.时空聚类
- 传统聚类方法：K-means、层次聚类、共享最近邻聚类、归一化割聚类
- 混合模型方法：高斯混合模型、隐马尔可夫模型
- 密度聚类方法：DBSCAN聚类、OPTICS聚类
- 基于图的聚类方法：谱聚类，模块度最优化聚类
- 基于子序列聚类方法：基于动态时间规整的子序列聚类
- 3.时空分类
- 基于统计学习的方法：支持向量机、决策树、随机森林
- 基于聚类的方法：K-mean聚类、层次聚类、DBSCAN聚类
- 基于贝叶斯网络的方法：动态贝叶斯网络、半马尔可夫决策过程
- 基于规则的方法：分类规则、关联规则
- 基于神经网络的方法：卷积神经网络、循环神经网络
- 4.时空关联规则挖掘
- 基于时空窗口的方法：滑动时空窗口、固定时空窗口
- 基于序列模式挖掘的方法：频繁序列挖掘、序列聚类
- 基于关联规则挖掘的方法：频繁模式挖掘、关联规则挖掘
- 5.时空异常检测
- 基于统计学习的方法：支持向量机、随机森林、神经网络
- 基于聚类的方法：K-means、DBSCAN聚类
- 基于密度的方法：LOF、OPTICS
- 基于时空窗口的方法：滑动时空窗口、固定时空窗口
- 基于时空关联规则的方法：时空关联规则挖掘
- 6.时空预测
- 基于时间序列的方法：ARIMA模型、指数平滑模型、状态空间模型
- 基于回归的方法：线性回归、岭回归、Lasso回归
- 基于机器学习的方法：支持向量机、随机森林、神经网络
- 基于时空关联规则的方法：时空关联规则挖掘
- 基于深度学习的方法：卷积神经网络、循环神经网络
Transformers in Time Series: A Survey
被引用次数：188
[Submitted on 15 Feb 2022 (v1), last revised 11 May 2023 (this version, v5)]
主要内容
本论文是一篇关于时间序列Transformer的综述，系统地回顾了Transformer在时间序列建模中的应用。论文首先介绍了Transformer的基本概念，然后从网络修改和应用领域的角度提出了一个新的分类法。在网络修改方面，论文讨论了对Transformer进行的低层次（即模块）和高层次（即架构）的改进，以优化时间序列建模的性能。在应用方面，论文分析和总结了用于流行的时间序列任务（包括预测、异常检测和分类）的Transformer。对于每个时间序列Transformer，论文分析了其见解、优点和局限性。为了提供有效使用Transformer进行时间序列建模的实用指南，论文进行了广泛的实证研究，包括鲁棒性分析、模型大小分析和季节趋势分解分析。最后，论文讨论了时间序列Transformer的未来发展方向。
主要贡献
本论文的主要贡献在于系统地回顾了Transformer在时间序列建模中的应用，提出了一个新的分类法，并分析了每个时间序列Transformer的见解、优点和局限性。此外，论文还进行了广泛的实证研究，为使用Transformer进行时间序列建模提供了实用指南。
网络修改方面的改进
- 位置编码：将输入时间序列的位置信息编码为向量，并注入到模型中作为一个额外的输入。
- 门控线性单元：GLU可以在Transformer中引入非线性性，从而提高模型的表达能力。
- 多层感知机：可以使用MLP来提高模型的表达能力。
- 自适应注意力（Adaptive Attention）：可以根据输入序列的特征自适应地调整注意力权重，从而提高模型的性能。
- 时间卷积（Temporal Convolution）：可以提高模型的表达能力。
- 时序卷积网络（Temporal Convolutional Networks，TCN）
- 时序自注意力（Temporal Self-Attention）
Table 1: Complexity comparisons of popular time series Transformers with different attention modules.
| Training | Testing | ||
|---|---|---|---|
| Methods | Time | Memory | Steps |
| Transformer | O(N^2) | O(N^2) | N |
| LogTrans | O(NlogN) | O(NlogN) | 1 |
| Informer | O(NlogN) | O(NlogN) | 1 |
| Autoformer | O(NlogN) | O(NlogN) | 1 |
| Pyraformer | O(N) | O(N) | 1 |
| Quatformer | O(2cN) | O(2cN) | 1 |
| FEDformer | O(N) | O(N) | 1 |
| Crossformer | O(DN^2/(Lseg^2)) | O(N) | 1 |
Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing: A Survey
被引用次数：9
[Submitted on 25 Mar 2023 (v1), last revised 27 Apr 2023 (this version, v2)]
本文的主要内容是关于Spatio-Temporal Graph Neural Networks（STGNN）在城市计算中的预测学习应用。文章介绍了STGNN技术的基本原理、应用场景、算法模型和实验结果，并探讨了STGNN在城市交通、气象预测、社交网络等领域的应用前景。
STGNN应用于城市计算
STGNN基本原理
将图神经网络（GNNs）和各种时间学习方法相结合，以提取复杂的时空依赖关系。具体来说，STGNN通过构建时空数据，将空间信息和时间信息相结合，然后使用GNNs对空间信息进行建模，使用时间学习方法对时间信息进行建模，最后将两者结合起来，以实现对复杂时空依赖关系的建模和预测。
基本架构
- GNN
- Spectral Graph Convolutional Network
- Spatial Graph Convolutional Network
- Graph Attention Network
- Recurrent Neural Networks
- Long-Short Term Memory Network
- Gated Recurrent Unit Network
- Temporal Convolutional Netowrks
- Gated Temporal Convolutional Network
- Causal Temporal Convolutional Network
- Temporal Self-Attention Networks
- Spatio-Temporal Fusion Neural Architecture
- Factorized Neural Architecture
- Coupled Neural Architecture
应用场景
- 交通方面
- 交通需求预测
- 交通意外预测
- 交通用时预测
- 交通轨迹预测
- 环境方面
- 空气质量预测
- 气候预测
- 公共安全方面
- 犯罪频率预测
- 灾难方位预测
- 公共健康方面
- 传染病预测
- 救护车需求预测
- 其他应用领域：能源、经济、金融、生产
STGNN变体
- 空间学习方法
- Multi-Graph Convolution
- Adaptive Graph Learning
- Muti-Scale Spatial Learning
- Heterogeneous spatial learning
- 时间学习方法
- Multi-Scale Temporal Learning
- Multi-Granularity Temporal Learning
- Decomposition Temporal Learning
- 时空融合方法
- Spatio-Temporal Joint Modeling
- Automated Spatio-Temporal Fusion
先进学习框架
- Adversarial Learning
- Meta Learning
- Self-Supervised Learning
- Continuous Spatio-Temporal modeling
- Physics-Informed Learning
- Transfer Learning
