自然语言处理:第三十八章: 开箱即用的SOTA时间序列大模型 -Timsfm

文章链接:[2310.10688] A decoder-only foundation model for time-series forecasting (arxiv.org)

项目链接: google-research/timesfm: TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting. (github.com)

摘要

本文介绍了由谷歌研究团队成员共同设计的一种专为时间序列预测设计的解码器通用大基础模型。该模型通过预训练一个采用输入分块技术的解码器风格注意力模型，并结合输入补全（input patching）技术，在包含真实世界和合成数据的大量时间序列语料上实现。其零样本（zero-shot）性能在多种公开数据集上接近于针对每个数据集的最先进监督预测模型的准确性。研究显示，这一模型能够跨越不同领域、预测时段及时间粒度，生成精确的零样本预测。

背景介绍

时间序列数据在零售、金融、制造业、医疗健康和自然科学等多个领域中都扮演着至关重要的角色。在这些领域中，时间序列预测是一项核心任务，对于零售供应链优化、能源和交通预测以及天气预报等科学和工业应用都至关重要。传统的预测方法，如ARIMA或GARCH等统计模型，虽然有其优点，但在处理复杂、多变的时间序列数据时往往力不从心。近年来，深度学习模型，尤其是循环神经网络（RNN）、长短时记忆网络（LSTM）和Transformer等模型，在时间序列预测领域取得了显著的成功，并在多个预测竞赛中表现出色。

然而，这些深度学习模型通常需要大量的有监督数据进行训练，并且在面对新的、未见过的数据集时，其泛化能力往往受到限制。因此，开发一种能够在不同领域、不同预测范围和时间粒度上产生准确预测，并且无需大量有监督数据的模型，具有重要的理论意义和实际应用价值。