TRB 2024论文分享:融合Transformer和自监督学习的长时交通流预测模型

TRB(Transportation Research Board,美国交通研究委员会,简称TRB)会议是交通研究领域知名度最高学术会议之一,近年来的参会人数已经超过了2万名,是参与人数和国家最多的学术盛会。TRB会议几乎涵盖了交通领域的所有主题,主要包括公路、铁路、水运、航空、管道等诸多领域,接收来自交通系统、交通工程、交通政策、交通管理、交通实际操作、政府研究、学术研究和工业界最新的研究成果。TRB会议的论文反映了交通领域的研究前沿,具有广泛的参考价值。

本文主要介绍我们在长时交通流预测方面的最新研究成果《Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction》,论文的第一作者为朱旺。交通流预测是智能交通系统的重要组成部分,一直是交通领域的研究热点。相较于短时预测,由于误差的积累和数据的时延性,长时交通流预测更具挑战性。此外,以往的模型只是对时空相关性进行建模,而现实生活中不同功能区域的交通模式往往不同,时空异质性在一定程度上也会影响预测效果。基于以上问题,本文设计了一个融合Transformer和自监督学习的长时交通流预测模型。实验结果表明,在自监督任务的辅助下,模型可以更好地捕获交通数据的长时时空特征,从而得到更准确的预测效果。

1. 研究背景与解决的关键问题

交通流预测是智能交通系统的重要组成部分,实时、准确的预测对优化交通流、管理拥堵以及提高整体交通效率至关重要。交通数据是典型的时空数据,交通流预测由于其动态的时间相关性和复杂的空间依赖性,一直是一项具有挑战性的任务。相较于短时预测,由于数据时延性、模型长时记忆困难和预测误差积累等问题,长时交通流预测更具挑战性。本文针对以下挑战进行合理建模:

(1) 模型长时记忆困难

以往的研究中,大多数预测模型都是基于RNN及其变体,如LSTM和GRU等。这类模型在长时记忆问题上有一定的局限性。我们通过多头注意力机制考虑上下文信息,从而更有效地处理长时依赖关系。

(2) 特征捕获不全面问题

不同功能区域的交通模式往往不同,时空异质性在很大程度上影响了模型的预测效果。我们设计了两个自监督学习任务分别对时间异质性和空间异质性进行建模,从而捕获更全面的时空特征,进而提升模型的预测能力。

(3) 数据不全面问题

交通流预测问题本质上是从观测到的数据中学习时空特征,从而对未来一段时间内的数据进行预测。因此数据对预测的影响十分重要。我们设计了一个自适应图增强模块,对交通数据进行自适应增强。

2. 方法

本文提出的基于Transformer和自监督学习的混合模型的整体框架如图1所示。该模型主要由3个模块组成,分别为自适应图增强模块、时空嵌入模块、自监督学习模块。为了增强交通数据的表征,我们引入了一个自适应图增强模块,分别从序列级和拓扑结构级进行数据增强,从而增强模型的鲁棒性。考虑到一般深度学习模型长时记忆困难的问题,我们设计了一个基于Transformer和图卷积的时空嵌入模块,分别对交通数据的时间特征和空间特征进行建模。在时间特征维度,Transformer通过多头注意力机制关注全局信息,从而有效地进行长序列数据的特征捕获。在空间特征维度,我们通过切比雪夫多项式图卷积进行建模,在减少复杂度的同时,可以有效聚合节点信息。此外,考虑到时空异质性对预测的影响,我们设计了两个自监督学习任务分别对时空异质性进行建模,从而提高模型的泛化能力和预测精度。

图1 T-ST-SSL模型的整体框架

3. 实验结果

本文的实验在PeMS04和PeMS08两个公开数据集上进行,通过跨度为一小时的交通速度数据,分别对未来30分钟、45分钟、60分钟的交通速度进行预测。通过MAE、MAPE、RMSE、SMAPE四个评价指标对预测的结果进行全面地评估。相比于7种基线模型,我们提出的模型在长时预测上具有优越的表现。通过对预测结果进行可视化,可以直观地看出,我们的模型拥有更准确的预测结果,同时对数据的拐点更敏感,更能捕获数据的变化。此外,为了验证模型各个模块的有效性,我们进行了消融实验。实验结果表明,我们基于Transformer和图卷积设计的时空嵌入模块可以有效捕获时空特征,在两个自监督学习任务和自适应图增强模块的协同作用下,模型可以更好地进行长时预测。

4. 结论

本文提出了一种融合Transformer和时空异质性自监督学习的模型,有效地解决了长时记忆困难、数据不全面、特征捕获不全面的问题。该模型通过Transformer的自注意机制和图卷积分别对动态的时间相关性和复杂的空间依赖性进行建模,从而捕获长时时空依赖性。为了更好地挖掘交通数据中的时空特征,引入了自适应数据增强方法,对交通信息进行序列级和图结构级的增强。此外,我们设计了两个自监督学习任务对时空异质性进行建模,进一步提高了模型的性能。在两个真实数据集上进行的大量长时交通流预测实验表明,我们的模型展现出了优越的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/627658.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ceph的介绍与部署

目录 存储基础 单机存储设备 DAS(直接附加存储,是直接接到计算机的主板总线上去的存储) NAS(网络附加存储,是通过网络附加到当前主机文件系统之上的存储) SAN(存储区域网络) 单…

基于ssm的数学课程评价系统的设计与开发+jsp论文

摘 要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本数学课程评价系统就是在这样的大环境下诞生,其可以帮助管理者在短时间内处理完毕庞大的数据信息…

List转数组,使用toArray时,new String[0] 的数组空间大小怎么传?

我们在日常开发中,经常遇到List转数组,数组转List的场景。当我们List转数组时,一般使用这种方式: String[] queryTaskIdArr queryTaskIds.toArray(new String[0]); 但是toArray方法中的入参有什么需要注意的呢? 如下…

Hive日期函数详细讲解

Hive 提供了一系列的内建日期函数,用于处理日期和时间数据。以下是您提到的日期函数的详细讲解,包括案例和使用注意事项: FROM_UNIXTIME() 功能:将 Unix 时间戳(秒为单位)转换为日期时间格式。语法&#xf…

故障处理流程规范(新)

一、背景 为什么要重新制定故障处理流程? 2020年写过一篇文章: 故障处理流程和规范,在过去的这三年内,故障处理流程输出了好几个版本,但都没有很好的落地,所以本次的目标是,制定一个简单、易操…

【架构】docker实现集群主从扩容【案例3/4】

实现集群主从扩容 当整个集群扛不住流量的情况时,需要给集群扩容增加设备,由3主3从,扩为4主4从。实现: 示意图如下: 第一步:新创建两个节点(redis-node-7,端口6387和 redis-node…

sqli-labs关卡25(基于get提交的过滤and和or的联合注入)

文章目录 前言一、回顾上一关知识点二、靶场第二十五关通关思路1、判断注入点2、爆显位个数3、爆显位位置4、爆数据库名5、爆数据库表名6、爆数据库列名7、爆数据库数据 总结 前言 此文章只用于学习和反思巩固sql注入知识,禁止用于做非法攻击。注意靶场是可以练习的…

11 最小字符子串

给你一个字符串 s 、一个字符串 t 。返回 s 中涵盖 t 所有字符的最小子串。如果 s 中不存在涵盖 t 所有字符的子串,则返回空字符串 "" 。 注意: 对于 t 中重复字符,我们寻找的子字符串中该字符数量必须不少于 t 中该字符数量。如果…

LeetCode每周五题_2024/01/15~01/19

文章目录 82. 删除排序链表中的重复元素 II题目题解 82. 删除排序链表中的重复元素 II 82. 删除排序链表中的重复元素 II 题目 给定一个已排序的链表的头 head , 删除原始链表中所有重复数字的节点,只留下不同的数字 。返回 已排序的链表 。 题解 /**…

数据结构之list类

前言 list是列表类。从list 类开始,我们就要接触独属于 Python 的数据类型了。Python 简单、易用,很大一部分原因就是它对基础数据类型的设计各具特色又相辅相成。 话不多说,让我们开始学习第一个 Python 数据类型一list。 1. list的赋值 输…

【shell】读取表格文件的数据

碎碎念 shell在处理复杂问题的时候不具备优势,如果业务环境能够使用python的话用python又简单又好用,但是很多云平台的现场可能需要shell脚本文件(还好是要求bash) 但是现在有一个业务场景就是运维人员会把参数写在excel表格中 …

连接世界:2024 年 5G 及未来技术趋势

在不断发展的技术领域,2024 年有望实现突破性的进步,从而重塑我们与世界的联系方式。 这场革命的前沿是备受期待的 5G 技术的推出及其后续发展。 当我们步入互联无极限的未来时,可能性似乎是无限的。 5G的兴起: 开启互联新时代 …

《教育》期刊是什么级别的期刊?是正规期刊吗?能评职称吗?

《教育》以教育行业的各类新闻为重点,积极推广各地教育部门改革经验及优秀成果,努力挖掘教育一线先进单位和个人,充分发挥新闻舆论的监督作用。 收录情况:知网收录 投稿方式:教育类|《教育》省级 出版周期&…

ftp的介绍与安装

ftp 文章目录 ftp1. ftp简介2. ftp架构3. ftp数据连接模式4. 用户认证5. vsftpd5.1 vsftpd安装5.2 vsftpd配置5.3 vsftpd虚拟用户配置 1. ftp简介 网络文件共享服务主流的主要有三种,分别是ftp、nfs、samba。 FTP是File Transfer Protocol(文件传输协议…

Java 常用加密解密

Java 常用加密解密 常见的加密算法可以分成三类,对称加密算法,非对称加密算法和Hash算法。 对称加密 指加密和解密使用相同密钥的加密算法。对称加密算法的优点在于加解密的高速度和使用长密钥时的难破解性。假设两个用户需要使用对称加密方法加密然后…

B端产品经理学习-B端产品的项目管理

项目管理的作用 指导Roadmap落地 每个节点的项目时间需要按照时间点落地,才不会影响后面的项目事件 为了明确需求,明确研发的工作 避免产研部门因为需求扯皮、研发部门抱怨需求文档不够清晰、在开发过程中增加很多细节需求、增加了研发的工作量、初次…

java自定义工具类在List快速查找相同字段值对象

根据对象某一字段名,获取字段值,将List转换为Map中包含list,Key为字段值,Value为相同字段值的对象list,快速定位具有相同字段值的对象,转换之后便于在Map中根据字段值快速查找相同字段值的对象 //List转Map…

OPC UA 开源库编译方法及通过OPC UA连接西门S7-1200 PLC通信并进行数据交换[一]

前言 在现代工业自动化领域,OPC UA(开放性生产控制和统一架构)是一种广泛应用的通信协议。本文将以通俗易懂的方式解释OPC UA的含义和作用,帮助读者更好地理解这一概念。 一、OPC UA的定义 OPC UA全称为“开放性生产控制和统一…

R语言【paleobioDB】——pbdb_orig_ext():绘制随着时间变化而出现的新类群

Package paleobioDB version 0.7.0 paleobioDB 包在2020年已经停止更新,该包依赖PBDB v1 API。 可以选择在Index of /src/contrib/Archive/paleobioDB (r-project.org)下载安装包后,执行本地安装。 Usage pbdb_orig_ext (data, rank, temporal_extent…

生存分析序章4——生存分析之Python篇:自定义方法与进阶技术探索

目录 写在开头1. 定制生存曲线1.1 利用Python自定义生存曲线1.1.1 构建生存函数1.1.2 自定义曲线样式1.2 特殊需求下的曲线绘制2. 高级Cox模型2.1 引入时间依赖性的Cox模型2.1.1 时间依赖性的概念2.1.2 模型调整2.1.3 场景举例2.2 处理复杂数据的Cox模型应用2.2.1 类别型特征处…