【时序预测】-Transformer系列

Transformer 2017 NIPS

重点:Attention Is All You Need

核心:Attention Is All You Need

Informer 2021 AAAI(Best Paper)

重点:Transformer + Sparse attention (稀疏)

核心:Sparse attention(ProbSparse attention)结构:只让key和关键的query进行稀疏的attention减少大量计算量,效率优化

Autoformer 2021 NIPS (清华大学机器学习团队)

重点:Transformer + 趋势季节分解(基于自相关)

核心:Series Decomposition 模块 + 多头注意力升级的Auto-Correlation Mechanism。

FEDformer 2022 ICML(阿里达摩院)

重点:Transformer + 趋势季节分解(基于频域)

核心:与Autoformer类似,在拆分趋势线和季节项的基础上,FEDformer使用傅里叶变换以及小波变换去加速attention模块。

Pyraformer 2022 Oral (蚂蚁)

重点:Transformer + Pyramidal Attention (金字塔)

核心:Pyramidal Attention,金字塔注意力机制,尺度间连边用于从原始序列中构建多分辨率特征,尺度内连边捕获在同一尺度下的相邻节点之间之前的依赖关系。

PatchTST 2023 ICLR(普林斯顿大学)

重点:Transformer + Patch(源于计算机视觉Vision Transformer)

核心:长时间序列分解为Patch进行建模,每个patch序列被单独映射到独立的embedding进行建模,而不是将多个变量融合到一个embedding建模。

D-Linear* 2023 AAAI

(*表示非Transformer类模型)

重点:质疑Transformers的预测实用性

核心:Transformers的时序性较差,且embedding忽略变量间物理关联,而D-Linear(Decomposition-Linear),用于处理具有趋势和季节性模式的数据能够获得同样好的结果。

CrossFormer 2023

重点:Transformer + Patch + Two-Stage Attention

核心:窗口划分分多个patch(类似patch-embdedding),第一阶段在时间维度进行attention,第二阶段在变量维度进行attention。(patch纬度)

iTransformer 2023 (清华大学机器学习团队)

重点:Transformer + inverted

核心:Temporal Token Embedding -> Variable Embedding,捕获各通道时间序列内全局信息的能力,具有变量间相关性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/30213.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django REST framework数据展示技巧:分页、过滤与搜索的实用配置与实践

系列文章目录 Django入门全攻略:从零搭建你的第一个Web项目Django ORM入门指南:从概念到实践,掌握模型创建、迁移与视图操作Django ORM实战:模型字段与元选项配置,以及链式过滤与QF查询详解Django ORM深度游&#xff1…

【修复Win11错误 0x80010135: 路径太长】

1. 问题现象: 一个意外错误使你无法复制该文件。如果你继续收到此错误,可以使用错误代码来搜索有关此问题的帮助。 错误 0x80010135: 路径太长 或者这样 2. 分析问题 造成这个问题的主要原因包括: 文件路径长度超过 260 个字符&#xf…

Qt利用Coin3D(OpenInventor)进行3d绘图

文章目录 1.安装1.1.下载coin3d1.2.下载quarter1.3.解压并合并 2.在Qt中使用3.画个网格4.加载wrl模型 1.安装 1.1.下载coin3d 首先,到官网下载[coin3d/coin] 我是Qt5.15.2vs2019的,因此我选择这个coin-4.0.2-msvc17-x64.zip 1.2.下载quarter 到官网…

Docker:现代软件开发的基石

在当今快速发展的科技世界中,Docker 已成为现代软件开发和部署的关键工具。作为一种开源平台,Docker 使开发者能够在容器中创建、部署和运行应用程序,从而极大地提高了开发效率和环境一致性。本文将深入探讨 Docker 的基本概念、主要优势及其…

【信息资源组织与管理】【开卷考】如何准备 期末考试复习必备

索引篇 先去xhs找了开卷考有什么准备技巧,来自Prozac ❗️首先,适用于考试范围为课本内容或者课堂内容,如果有那种拓展题,脱离课本的,那我就没办法了。 ✅一定要熟悉熟悉熟悉课本 1. 第一遍略看课本,可以不…

万界星空科技QMS质量管理介绍

产品的生产质量是企业发展之根本,对所有企业来说,建立完善质量控制体系,对企业生产经营以及发展竞争具有至关重要的影响,可以说是企业质量保证的防火墙。QMS质量管理系统对任何一家企业都具有重要意义,可帮助企业提高生…

shell脚本监控docker容器和supervisor 运行情况

1.ASR服务 需求: 在ASR服务器中 docker 以下操作中 忽略容器名字叫 nls-cloud-mongodb 的容器 在ASR服务器中 docker ps 查看正在运行的容器 docker stats -a --no-stream 可以监控容器所占资源 确认是否有pid且不等于0 docker inspect -f “{{.RestartCount}}” 容器名称 可…

为何Proteus用户争相拥抱SmartEDA?揭秘背后的强大吸引力!

在电路设计与仿真领域,Proteus一度以其稳定性能和丰富功能赢得了众多用户的青睐。然而,近年来,越来越多的Proteus用户开始转向SmartEDA,这一新兴电路仿真软件正迅速崭露头角,成为行业内的翘楚。那么,究竟是…

【Java】已解决java.util.ConcurrentModificationException异常

文章目录 一、分析问题背景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项 已解决java.util.ConcurrentModificationException异常 一、分析问题背景 java.util.ConcurrentModificationException异常是Java集合框架中常见的一个运行时异常。这个异常通常会…

llama-factory微调工具使用入门

一、定义 环境配置案例: https://zhuanlan.zhihu.com/p/695287607chatglm3 案例多卡训练deepspeedllama factory 案例Qwen1.5报错 二、实现 环境配置 git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama_factory python3.10 conda …

适合企业的TTS文本转语音接口:微软TTS最新模型,发布9种更真实的AI语音

微软对Azure Al语音服务的Personal Voice功能进行了升级,引入了新的零样本学习(zero-shot)的文本到语音(TTS)模型。与初始模型相比,这些新模型提高了合成语音的自然度,并更好地模仿了提示语音中的语音特征。 微软提供了超过400种神经语音&am…

视频监控管理平台智能边缘分析一体机安防监控平台离岗检测算法

在工业自动化和智能制造的背景下,智能边缘分析一体机的应用日益广泛。这些设备通常在关键岗位上执行监控、分析和数据处理任务。然而,设备的稳定运行至关重要,一旦发生故障或离岗,可能会导致生产线停滞甚至安全事故。因此&#xf…

llama-factory微调chatglm3

一、定义 案例/多卡 二、实现 案例 1. 下载chatglm3-6b-32k模型 2. 配置数据集微调指令 CUDA_VISIBLE_DEVICES0,1 llamafactory-cli train \--stage sft \--do_train True \--model_name_or_path /home/chatglm3-6b-32k \--finetuning_type lora \--template chatglm3 \--d…

LeetCode 算法:回文链表 c++

原题链接🔗:回文链表 难度:简单⭐️ 题目 给你一个单链表的头节点 head ,请你判断该链表是否为回文链表。如果是,返回 true ;否则,返回 false 。 示例 1: 输入:head…

spdlog学习笔记

学习spdlog的一些记录 项目下载 git clone https://github.com/gabime/spdlog.git 创建异步日志器 void initSpdlog(const std::string& strPath) {std::string strLogPath strPath "/logs/skyense.log";// 异步就一定需要线程或线程池日志队列,这里给一个线…

1:25万基础电子地图(重庆版)

我们为你分享过四川版、江西版和贵州版的1:25万基础电子地图,现在再为你分享重庆版的电子地图。 现在我们再为你分享重庆的1:25万基础电子地图,你可以在文末查看该数据的领取方法。 基础电子地图重庆版 下载后可以看到该数据由14个压缩包所…

Windows11电脑在使用GPU的时候有时候会卡顿

原来我一直以为是电脑的某些组件可能坏掉了 但是后来发现通过更新gpu的驱动可以让它变好: NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA 下载好以后,然后安装最新的驱动就可以了,感觉可能是因为win11和某些需要显卡的驱动不支持的原因吧 …

2024前端面试准备5-React相关

1. React 事件机制 ​ React并不是直接把事件绑定到div的真实DOM上的,而是在document(>16绑定的document,17开始绑定到root元素,方便微前端处理)处通过事件代理的方式,统一绑定了所有事件,然后根据冒泡上来的事件,…

Flash基础知识

1、Flash发展历程 存储器通常分为两类型,即随机存取的RAM(内存)与只读的ROM(外存)。 RAM,也称随机存取存储器,数据可以被读取和修改。它主要用于存储正在运行的程序和临时数据,是计…

redis穿透解决方案

Redis缓存穿透是指查询一个不存在于数据库中的数据(通常是恶意用户发起的连续请求),由于缓存中没有,每次请求都会穿透到数据库,这可能会对数据库造成不必要的压力。解决缓存穿透问题的常见策略包括: …