超越传统时序！多模态+时间序列8个创新方案，刷新SOTA

传统时间序列无法有效捕捉数据中复杂的非线性关系，导致在处理具有复杂动力学特性的系统时效果不佳。为解决此问题，研究者提出了多模态+时间序列。

在预测任务中，多模态+时间序列能够整合来自不同类型数据源的信息，从而提供更全面的洞察，提高预测结果的准确性和鲁棒性，尤其在面对动态变化或噪声干扰时。

在分析任务中，这种策略能够揭示不同数据模态之间的关联性，提供更深层次的洞见，从而更好地识别和解释时间序列中的特定模式，这些模式是通过单一模态难以觉察的。

因此对于数据丰富的应用场景，比如社交媒体分析、医疗诊断、金融市场预测等领域，多模态+时间序列更具创新性和实用性。

为帮助同学们深入了解该方向，获得灵感，本文分享多模态+时间序列8种创新方案，包含2024最新的成果，另外还帮同学们罗列了方法和创新点，更详细的工作细节还是建议各位仔细阅读原文。

论文原文合集需要的同学看文末

Predicting Sales Lift of Influencer-generated Short Video Advertisements: A Ladder Attention-based Multimodal Time Series Forecasting Framework

方法：论文提出了一个新的时间序列预测框架，利用阶梯注意力的多模态模型来预测多个ISA的销售增长。通过一个新颖的阶梯注意模型和一个定制的基于LSTM的时间序列预测模型，该框架解决了预测多个ISA销售增长的挑战。

创新点：

首次提出了一种新颖的基于阶梯注意力的多模态时间序列预测框架，用于预测多个ISA的销售增长。该框架结合了一个新颖的阶梯注意力模型和一个定制的基于LSTM的时间序列预测模型，明显优于基线方法。
识别了与短视频广告销售相关的多模态特征，为未来在多模态分析和短视频广告领域的研究提供了基础基准。

A multimodal time-series method for gifting prediction in live streaming platforms

方法：论文提出了一种创新的多模态时间序列方法（MTM），通过融合直播流中的文本、音频和视觉信息，并利用正交投影模型（OP）和可堆叠的联合表示层，有效提高了对观众赠送行为的实时预测准确性，同时确保了模型的鲁棒性和可迁移性。

创新点：

多模态信息融合：创新性地融合了直播中的文本、音频和视觉三种模态的信息，以全面捕捉影响观众赠送行为的因素。
正交投影模型：提出了一种新的正交投影模型，用于在不增加额外参数的前提下，促进跨模态信息的有效交互，并减少信息冗余。
联合表示层设计：设计了可堆叠的联合表示层，使得每种模态的信息能够在同等层次上相互补充，增强了模型对综合信息的处理能力。
残差连接：引入残差连接以确保信息在不同层级间的有效传递，减少信息丢失，提升模型性能。
实时预测能力：方法针对直播环境的实时性要求进行了优化，能够实时预测观众的赠送行为，对直播平台具有实际应用价值。

GPT4MTS: Prompt-Based Large Language Model for Multimodal Time-Series Forecasting

方法：论文提出基于提示调整的LLM模型GPT4MTS，用于具有多模态输入的时间序列预测。作者还提出了一种基于大型语言模型（LLM）的创新流程，可以生成与时间序列数据相对应的文本数据。作者展示了如何为数据集收集文本信息的一个例子。

创新点：

提出了一个通用的流程，将文本数据纳入时间序列数据集中。此外，我们提出了GDELT数据集，按照我们提出的流程，它作为我们创新的流程和方法的实际应用。
基于提出的流程，创建了一个基于GDELT的多模态时间序列预测数据集，该数据集包含时间序列数值和事件的文本摘要。GDELT数据库记录了全球事件及其相关的媒体报道，支撑着新闻在引导我们生活中的深远影响。我们的数据集的建立可以增强不同领域对多模态时间序列数据集的可访问性，并促进多模态计算传播分析的进一步研究。

A Multimodal Spatial-Temporal Graph Attention Network for Time Series Anomaly Detection

方法：论文提出了一种基于图注意力网络的新型多模态时间序列异常检测方法MST-GAT。MST-GAT通过联合优化变分自编码器的重构模块和多层感知机的预测模块，以整合它们的优点。

创新点：

提出了MST-GAT，一种基于图注意力网络的新型MTS异常检测方法。MST-GAT是首个在多模态时间序列数据中探索显式建模时空依赖性进行异常检测的方法。
综合优化了基于变分自动编码器的重构模块和多层感知器（MLP）的预测模块，以整合它们的优势。MST-GAT在基准数据集上表现出最高的F1分数，均在0.60以上，最佳AUC值，均在0.92以上，优于强基线。
提出了一种基于重构和预测结果的高效异常解释方法。MST-GAT具有很好的可解释性，并能够获得与人类直觉一致的结果。