机器学习周报第33周

目录

  • 摘要
  • Abstract
  • 一、文献阅读
    • 1.1 论文标题
    • 1.2 论文摘要
    • 1.3 论文背景
    • 1.4 过去研究
    • 1.5 论文介绍
      • 1.5.1 论文模型
      • 1.5.2 时空交互学习模块(Spatiotemporal Interactive Learning Module)
      • 1.5.3 动态图推理模块(Dynamic Graph Inference Module)
      • 1.5.4 动态图卷积模块(Dynamic Graph Convolution Module)

摘要

本周学习了一篇基于STFGNNs的多变量时间序列预测的论文,论文的模型为DSTIGNN(动态时空交互图神经网络),主要包括如下四个模块:时空交互学习模块(Spatiotemporal Interactive Learning Module)、动态图推理模块(Dynamic Graph Inference Module)、动态图卷积模块(Dynamic Graph Convolution Module)以及输出模块(Output Module)。动态图推理模块通过融合两类异构信息对变量之间的动态空间关联进行建模,并与动态图卷积模块相结合,在空间维度上进行信息传播。同时,利用下采样操作和多个样本卷积模块联合捕获多分尺度时间相关性。随后,这些模块被集成到一个时空交互学习框架中,实现了时间和空间特征的同步捕获。在6个基准数据集上进行了大量实验,实验结果表明,DSTIGNN表现出了最先进的性能。

Abstract

This week, We learned a paper on multivariate time series forecasting based on STFGNNs. The model of the paper is DSTIGNN (Dynamic Spatio-Temporal Interaction Graph Neural Network), which mainly includes the following four modules: Spatiotemporal Interactive Learning Module, Dynamic Graph Inference Module, Dynamic Graph convolution module Convolution Module) and Output Module. The dynamic graph inference module models the dynamic spatial association between variables by fusing two types of heterogeneous information, and combines it with the dynamic graph convolution module to propagate information in the spatial dimension. At the same time, the down-sampling operation and multiple sample convolution modules are used to jointly capture the multi-subscale temporal correlation. Subsequently, these modules are integrated into a spatio-temporal interactive learning framework, which enables the simultaneous capture of temporal and spatial features. Extensive experiments are conducted on six benchmark datasets, and the experimental results show that DSTIGNN exhibits the state-of-the-art performance.

一、文献阅读

1.1 论文标题

Dynamic spatiotemporal interactive graph neural network for multivariate time series forecasting

1.2 论文摘要

多变量时间序列(MTS)预测对于复杂现实现象的决策具有重要意义。然而,变量内部的非线性时间相关性和变量之间的动态空间相关性使得准确的MTS预测具有挑战性。目前,有许多研究人员构建了各种时空图神经网络(spatiotemporal graph neural networks,STGNNs)并将其应用于该领域。然而,现有的方法大多使用单一类型的信息构建图结构,并分别捕获时间和空间特征。这些因素会导致模型无法提取完整的时空特征,从而限制其性能。为克服这些限制,本文提出动态时空交互图神经网络(DSTIGNN),一种用于MTS预测的新型STGNN。所提出的动态图推理模块(dynamic graph inference module,DGIM)通过融合两类异构信息对变量之间的动态空间关联进行建模,并与动态图卷积模块(dynamic graph convolution module,DGCM)相结合,在空间维度上进行信息传播。同时,利用下采样操作(downsampling operations)和多个样本卷积模块(sample convolution modules,SCM)联合捕获多分尺度时间相关性。随后,这些模块被集成到一个时空交互学习框架中,实现了时间和空间特征的同步捕获。在6个基准数据集上进行了大量实验,实验结果表明,DSTIGNN表现出了最先进的性能。

1.3 论文背景

多变量时间序列(MTS)预测的目标是通过揭示历史数据之间的模式和关系来预测未来数据。数据科学和人工智能技术的进步,将MTS预测提升为数据驱动决策和优化的重要工具。MTS预测广泛应用于能源、天气、交通等领域,包括电力负荷预测、天气预测、交通流量预测等。准确的MTS预测对于使个人能够做出明智的决定和驾驭不确定的未来至关重要。MTS预测的困难在于捕获每个变量内在的非线性时间相关性。必须充分考虑多个变量之间的相互作用和影响,这种相关性可能会随着时间的推移而变化。近年来,深度学习因其能够从数据中自动学习最优的特征表示而得到迅速普及。许多研究人员开始构建基于深度学习的方法,用于MTS预测领域的应用。例如,有许多方法结合了循环神经网络(RNNs)和卷积神经网络(CNNs),以捕获变量内的时间相关性和变量之间的空间相关性。然而,CNN具有全局聚合属性,阻止了它们捕获变量之间的成对依赖关系,这可能会限制模型的性能。最近,图神经网络(GNNs)的出现能够用来解决这个问题。GNN将MTS中的每个变量视为图结构中的一个节点,变量之间的成对依赖关系视为图结构中的边。然后通过图结构进行信息传播,允许每个节点与其相邻节点交互并学习其特征表示。因此,许多研究人员开始将GNNs与其他深度神经网络结合在专用时空图神经网络(STFGNNs)中以提高模型的预测性能。

1.4 过去研究

目前,STGNNs可以根据其架构和构造的图结构进行分类。从STGNNs的架构来看,这些网络通常将GNNs与注意力机制(Attention)、CNN或RNN相结合,以捕获MTS中的时空依赖关系。然而,与基于CNN和基于RNN的方法相比,这种方法在捕获短期依赖方面相对较低效,并且可能受到内存和计算资源的限制。基于CNN的方法通常使用时间卷积网络(TCN)来有效捕获数据中的时间依赖关系,然后将其与以串行或并行方式捕获空间依赖关系的GNN相结合以预测MTS。然而,这些方法忽略了时间和空间特征之间的相互作用,潜在地削弱了时空相关性。基于循环神经网络的方法通常使用循环神经网络及其变体,长短期记忆网络(LSTM)和门控循环单元(GRU)可以有效地提取时间特征。这些方法通常将GNN嵌入到RNN单元中,以同步捕获空间和时间依赖关系。基于RNN的方法考虑了时空特征之间的相互作用,但可能面临梯度爆炸或消失等挑战。尽管现有方法在MTS预测任务中取得了很好的效果,但仍然存在一定的局限性。此外,这些方法在捕获时序依赖关系时往往忽略了时间序列的特性,如季节性和趋势性。在论文Spatial-Temporal Interactive Dynamic Graph Convolution Network for Traffic Forecasting中率先将时间序列的特性与时空交互学习相结合,在交通数据上取得了优异的预测性能。然而,他们的模型采用了单层结构,这在一定程度上限制了其对其他时间序列数据中可能存在的各种依赖关系的适用性。因此,设计一个灵活高效的模型,同时考虑时空交互学习和时间序列的特性,是一项具有挑战性的任务。无论STGNNs的架构如何,都需要建立信息传播的图结构。因此,构建一个合适的图结构也是非常重要的。

根据构造的图结构,STGNNs可以根据预定义图、自适应图(动态图)进行分类。基于预定义图的方法通常基于先验知识或单一规则构建图结构,如空间距离、Pearson相关系数、动态时间规整(dynamic time warping)等。虽然这些预定义的图可以在一定程度上反映节点之间的因果关系,但对于抽取节点之间的复杂关系还不够。自适应图的出现很好地解决了这个问题。它们对节点信息进行参数化,并自适应地学习变量之间的空间关系。然而,预定义图结构和自适应图结构都是静态的,缺乏建模节点之间动态空间关联的能力。如下图(a)所示,四条不同颜色的折线代表四个不同传感器处的交通流。从图中可以看出,节点间的空间关联随时间变化,每个时间步长的空间关联可以建模为图结构。这个问题促使研究人员构建动态图。论文Dynamic and Multi-faceted Spatio-temporal Deep Learning for Traffic Speed Forecasting通过分配三个节点嵌入矩阵和一个可学习的核心张量在每个时间步骤计算动态图。节点嵌入可以将节点映射为捕捉节点之间内在结构信息的潜在信息,通常以空间维度表示。论文Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting使用膨胀卷积来提取序列内的多尺度时间相关性,然后在每一层网络中递归地构建演化动态图。虽然两组都取得了很好的效果,但它们只考虑了单一的信息来构建动态图。如下图(b)所示,每个传感器处的车流量不仅受到实时车流量的影响,还受到固定道路结构的影响。因此,需要将这两类异构信息结合起来建模动态空间关联。由于不同类型的异构信息可能会相互限制或排除,因此平衡这些信息是一个挑战。
在这里插入图片描述

1.5 论文介绍

为了克服这些挑战,本文提出了DSTIGNN。为了有效地建模动态空间关联,设计了一个新的动态图推理模块(DGIM),利用节点嵌入信息和动态输入信息来推断最优的动态图。同时,引入GRU层来平衡这两类异构信息。生成的动态图作为动态图卷积(DGCN)模块的输入,实现信息传播。此外设计了一种用于MTS预测的分层时空交互学习架构。该架构通过将MTS下采样为子序列并使用多个样本卷积(SConv)模块来提取多分尺度时间特征,其中每个SConv模块由两个不同的卷积filter组成。然后,将多个SConv模块与DGCN模块集成,以同步捕获非线性时间相关性和动态空间相关性。
本文为基于GNNs的MTS预测提供了一个详细的问题表述。使用图来建模变量之间的关联,将每个变量看作图结构中的一个节点,变量之间的关联看作图结构中的一条边。

1.5.1 论文模型

DSTIGNN的总体架构如下,其核心思想是利用异构信息对动态空间关联进行建模,并通过考虑时间序列特性的交互式学习架构同步捕获时间和空间相关性。该模型采用由动态图推理模块、多个时空层(ST层)和输出模块组成的分层结构,如下图(a)所示。每个ST层由3个时空交互学习模块组成,以二叉树结构排列,有利于在多种尺度下捕获时空特征。初始输入X首先被送入1 × 1卷积以获得初始特征表示H,如下图(b)所示。然后,每个STIL模块将数据下采样为两个子序列,然后将它们馈送到交互式学习结构中,以同步提取时间和空间相关性。该结构主要由样本卷积模块和动态图卷积模块组成。样本卷积模块用于捕获数据中的时间相关性,如下图(e)所示。另一方面,利用动态图卷积模块捕获数据中的空间相关性,如下图©所示。如下图(d)所示,动态图推理模块旨在根据两类异构信息推断出动态图,对节点之间的动态空间关联进行建模,作为动态图卷积模块的输入之一。在每个ST层的末尾,将捕获到的特征按照原始时间顺序集成到一个新的序列中。通过残差拼接将其与原始序列相结合,得到最终的序列表示。通过堆叠多个ST层来获得深度时空特征。最后,通过由ReLU激活函数和两个1 × 1卷积层组成的输出模块得到预测结果。
在这里插入图片描述

1.5.2 时空交互学习模块(Spatiotemporal Interactive Learning Module)

时间序列数据有一个独特的性质,即当将数据下采样为两个序列时,原始数据中的时间关系在很大程度上得到保留。受此启发,设计了一个STIL模块,通过下采样操作将原始MTS分割为两个子序列,然后通过样本卷积模块和动态图卷积模块之间的交互学习同步捕获时间和空间相关性。从递归思维中汲取灵感,设计了一个具有三个STIL模块的二叉树结构,对多个子序列进行建模,并捕获多分尺度时空特征。Fig.1(b)显示了STIL模块的结构。给定输入H \in R^{W \times N \times D},其中W表示窗口长度,N表示节点数,D表示通道数。分裂操作根据奇偶索引排列将H分为两个子序列H_{even}\in R^{W/2\times N\times D}和H_{odd}\in R^{W/2\times N\times D}。这些子序列的尺度较低,但仍然保留了大多数时间关系。通过交互结构传递它们,从两个独立捕获时间相关性的样本卷积模块开始。Fig.1(e)显示了样本卷积的结构,由两个不同的卷积核组成,便于从数据中提取不同但有价值的时间特征。然后,将提取的时间特征输入到动态图卷积模块中以捕获空间相关性。最后,两个子序列在动态图卷积模块中相互学习共享参数权重,完成初始时空交互学习过程。形式上,第一个交互式学习可以定义如下:
在这里插入图片描述

1.5.3 动态图推理模块(Dynamic Graph Inference Module)

对于基于STGNN的模型,图结构的精确构建至关重要。已有研究倾向于构建预定义或自适应的图,但它们是静态的,无法反映节点之间的时变关系。最近的研究从单一的动态信息推断出动态图,取得了较好的结果。然而,动态空间关联往往受到多种类型信息的影响。为解决这个问题,本文提出一种新的DGI模块,旨在基于两种不同类型的异构信息来建模节点之间的动态空间关联:动态输入信息和内在结构信息。DGI模块的架构如Fig.1(d)所示。具体来说,给定时间步t的动态输入信息X_{t}\in R^{N\times F},其中F表示初始节点维度。使用CNN提取特征,得到X’{t}\in R^{N\times d},其中d是节点嵌入维度。同时,初始化一个节点嵌入字典E{d} \in R^{N\times d}作为内在结构信息。节点嵌入促进了将每个节点的信息映射到低维向量表示中,从而能够在训练期间推断结构信息。为了有效地利用两类异构信息,并缓解它们之间潜在的冲突或约束,使用GRU层进行平衡。GRU层的数学表达式为:
在这里插入图片描述

1.5.4 动态图卷积模块(Dynamic Graph Convolution Module)

图卷积主要通过聚合相邻节点的信号来提取和利用每个节点的特性。论文Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting是将交通流视为图结构上的扩散过程的先驱,使捕获节点之间的空间相关性成为可能。这种直观的建模方法已经在众多时空建模任务中得到了验证。具体地,对于输入序列X \in R^{W\times N\times D}、带有自环的归一化邻接矩阵A和参数矩阵W_{k},扩散图卷积的形式化表示如下:
在这里插入图片描述
其中M表示输出,K是扩散步骤的数量。P^{k} \in R^{N\times N}表示转移矩阵的幂级数,同时P=D{-1}A,其中D是A的度矩阵。这个过程是针对无向图的。对于有向图,图卷积的扩散过程具有前向和后向两个方向。P_{f}=D{-1}{f}A为正向转移矩阵,P{b}=D{-1}_{b}A{T}为逆向转移矩阵。形式上,对于有向图,扩散图卷积可以表示为:
在这里插入图片描述
这些图卷积方法是针对静态图设计的。本文提出一种图卷积的动态变体。这种动态图卷积是基于从动态图推理模块获得的动态推断图。动态图卷积模块的架构如Fig.1©所示。它在不同的时间步骤执行图卷积,以捕获节点之间不断演化的空间关系。重要的是要强调,论文的动态图是规范化的,可以认为等同于P。因此,动态图卷积的表述可以表示为:
在这里插入图片描述
其中H_{S}和H_{D}分别表示样本卷积模块和动态图卷积模块的输出。W_{c}是模型参数。在本研究中,将K设为2。通过上面的等式,能够捕获节点之间的空间特征。回想一下,在5.2.1节中,论文使用动态图卷积模块和样本卷积模块构建了一个时空交互学习模块。该模块的目的是通过有效地同步捕获时间和空间相关性来提高MTS预测的准确性。
最后,算法1中概述了DSTIGNN的训练过程。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/769313.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Java】基于SpringCloud的考研复试辅导平台

1、前端请求后端服务提供的接口。 2、后端服务的控制层Controller接收前端的请求。 3、Contorller层调用Service层进行业务处理。 4、Service层调用Dao持久层对数据持久化。 XXX-api:接口工程,为前端提供接口。 XXX-service: 业务工程,为…

SQLite使用的临时文件(二)

返回:SQLite—系列文章目录 上一篇:SQLite数据库文件损坏的可能几种情况 下一篇:未发表 ​ 1. 引言 SQLite的显着特点之一它是一个数据库由一个磁盘文件组成。 这简化了 SQLite 的使用,因为移动或备份 数据库就像复制单个文…

第4周 Python程序流程控制刷题(选择结构)

单击题目,直接跳转到页面刷题,一周后公布答案。 B2050:三角形判断B2037:奇偶数判断B2039:整数大小比较P5711:闰年判断P5714:肥胖问题B2043:判断能否被 3,5,7…

shell编程-jq命令详解

文章目录 前言一、jq简介1. 简介2. 语法3. 命令选项 二、用于处理json数据1. 过滤1.1 标识运算符1.2 基本过滤1.3 获取对象属性1.3 迭代数组元素1.4 获取数组元素1.5 使用运算符 2. 类型和值2.1 数组构造2.2 对象构造2.3 递归下降 3. 内置运算符和函数3.1 算术运算符3.2 函数3.…

PCL点云处理之最小中值平方(Lmeds法)拟合平面(二百三十四)

PCL点云处理之 最小中值平方法(Lmeds)拟合平面(二百三十四) 一、算法介绍一、拟合原理二、具体实现1.代码2.结果一、算法介绍 (本文提供详细注释,输出拟合平面参数和平面点云) Lmeds(Least Median of Squares)是一种统计学方法,用于拟合数据并减少异常值对拟合结果…

CISP证书如何查询?软考信息安全工程师和CISP哪个好?

在信息安全领域,证书是衡量一个人专业能力和经验的重要标志。 CISP(国家信息安全专业人员认证)和软考信息安全工程师证书都是业内认可度较高的证书。 那么,对于想要提升自己信息安全能力的人来说,究竟应该如何选择呢? 下面将为…

汽车信息安全--密钥管理系统初探(1)

目录 1.为什么需要密钥管理 2.常见密钥种类 3.小结 当真正开始思考如何设计基于HSM的密钥管理系统,才发现基于之前vHSM的套路是相当不完备的。 仅仅是依靠AUTOSAR KeyM和CSM提出的密钥管理要点作为需求,总觉得是无根之水,不够踏实。因此我打算从密钥的实际使用场景、HSM…

基础篇Redis

基础篇Redis 1.Redis简单介绍 Redis是一种键值型的NoSql数据库,这里有两个关键字: 键值型NoSql 其中键值型,是指Redis中存储的数据都是以key.value对的形式存储,而value的形式多种多样,可以是字符串.数值.甚至json…

前端-html-01

1.HTML的标签分类 1.1常用排版标签 标签名语义和功能属性单标签还是双标签h1 ~ h6一级标题~六级标题无双标签p段落无双标签hr分隔线无单标签br换行无单标签pre原格式显示无双标签div无语义&#xff0c;用于页面布局无双标签 1.1.1h标题标签 <!DOCTYPE html> <htm…

【Node.js 常用命令(第一篇)】揭秘Node.js:掌握这些常用命令,让你在开发路上风生水起!

目录 前言 30条常用的Node.js 命令 1. node - 启动 Node.js REPL 或执行脚本 2. npm - Node.js 包管理器 3. npx - 执行 Node 包程序 4. nodemon - 自动重启 Node.js 应用 5. express - 快速搭建 Web 应用框架 6. git - 版本控制系统 7. mocha - 测试框架 8. eslint …

面试算法-104-乘积最大子数组

题目 给你一个整数数组 nums &#xff0c;请你找出数组中乘积最大的非空连续 子数组 &#xff08;该子数组中至少包含一个数字&#xff09;&#xff0c;并返回该子数组所对应的乘积。 测试用例的答案是一个 32-位 整数。 示例 1: 输入: nums [2,3,-2,4] 输出: 6 解释: 子数…

python ch8 函数

# 如何编写函数&#xff0c;以及如何传递实参&#xff0c;让函数能够访问完成其工作所需 # 的信息&#xff1b;如何使用位置实参和关键字实参&#xff0c;以及如何接受任意数量的实参&#xff1b;显示输出的函数和返 # 回值的函数&#xff1b;如何将函数同列表、字典、if语句…

Android_NDK调试

第一步&#xff1a; 链接log动态库 在Android.mk文件中添加 LOCAL_LDLIBS -llog 注意&#xff1a;一定要在 include $(BUILD_SHARED_LIBRARY) 之上添加&#xff0c;因为当执行到这句话的时候就表示所有的lib动态库已经加载完毕了&#xff0c;所以当你在这句代码之后再添加…

C++ 中常用的 STL

标准模板库 (STL) 是 C 标准库中一个强大的组件&#xff0c;它提供了各种通用数据结构和算法。STL 旨在提高代码的可重用性、效率和可读性。本文将介绍 C 中一些常用的 STL&#xff0c;并提供代码示例。 容器 容器是用于存储和组织数据的对象。STL 中提供了以下几种容器&…

Redis I/O多路复用

I/O多路复用 Redis的I/o多路复用中&#xff0c;将多个连接放到I/O复用程序中&#xff0c;这个复用程序具体是什么&#xff0c;是Redis的主线程吗 在Redis的I/O多路复用机制中&#xff0c;“复用程序”实际上指的是操作系统提供的系统调用接口&#xff0c;如Linux下的epoll、sel…

ZYNQ学习之Ubuntu环境下的Shell与APT下载工具

基本都是摘抄正点原子的文章&#xff1a;<领航者 ZYNQ 之嵌入式Linux 开发指南 V3.2.pdf&#xff0c;因初次学习&#xff0c;仅作学习摘录之用&#xff0c;有不懂之处后续会继续更新~ 一、Ubuntu Shell操作 简单的说Shell 就是敲命令。国内把 Linux 下通过命令行输入命令叫…

如何本地搭建群晖虚拟机并实现无quickconnect服务环境远程访问

文章目录 前言本教程解决的问题是&#xff1a;按照本教程方法操作后&#xff0c;达到的效果是前排提醒&#xff1a; 1. 搭建群晖虚拟机1.1 下载黑群晖文件vmvare虚拟机安装包1.2 安装VMware虚拟机&#xff1a;1.3 解压黑群晖虚拟机文件1.4 虚拟机初始化1.5 没有搜索到黑群晖的解…

蓝桥04数组矩阵

04数组矩阵 顺时针打印二维数组 0所在行列清零 z字形打印二维数组 找出边界为1的最大子方针 返回子数组最大累加和 子矩阵最大累加和 矩阵运算 顺时针打印二维数组 int[][] arr {{1,2,3,4},{5,6,7,8},{9,10,11,12},{13,14,15,16},{17,18,19,20}};int r 0;int c 0;int…

中国象棋C++

题目描述 在中国象棋中正所谓新手玩车&#xff0c;熟手玩炮&#xff0c;老手玩马&#xff0c;由此可见象棋中炮的地位还是比较高的。 给定一个nm的棋盘&#xff0c;全部摆满炮&#xff0c;我们视所有炮都不属于同一阵营&#xff0c;他们之间可以相互攻击但不能不进行攻击直接移…

解密Google Cloud 全新 PaLM2及创新应用

&#x1f4f8;背景 因长期在大模型相关的部门工作&#xff0c;每天接收到很多和AI相关的信息&#xff0c;但小编意识到目前理解到的一些AI知识还有些片面。 恰逢稀土掘金开发者大会有谈到大模型相关的知识&#xff0c;于是借此机会&#xff0c;对大模型相关的一些知识再了解一…