今天来聊聊一个在量化交易、网络安全检测、自动驾驶汽车和大型工业设备的日常维护等领域都有重要作用的研究主题:时间序列异常检测。
时间序列异常检测是一种在时间序列数据中识别和标识与预期模式、趋势或行为不符的异常点或事件的技术。鉴于它如此广泛的应用范围,不难看出时序异常检测也是当前数据科学和机器学习领域的一个热门研究方向。
在最近几年中,时序异常检测的发展非常活跃,例如Transformers在时间序列预测中的兴起,以及时间序列嵌入方法的进步,这些都为异常检测和分类方面带来了新的突破。
我这次也帮大家整理了今年最新以及一些非常经典的时序异常检测论文,另外还有时序异常检测必备的工具和数据集,需要的同学看文末
论文合集
1.AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly Detection using Data Degradation Scheme
用于时间序列异常检测的预训练BERT
简述:论文介绍了一种检测多元时间序列异常的新方法。该方法通过创建一种数据退化方案,将输入数据的一部分替换为合成的异常值。然后,使用基于Transformer的架构来识别时间上下文并检测不自然的序列。该模型能将多元数据点转换为具有相对位置偏置的时间表示,并产生异常分数。这种方法在五个现实基准测试中超过了以前的最先进方法,显示出强大的检测能力。
2.Unsupervised Model Selection for Time-Series Anomaly Detection
时间序列异常检测的无监督模型选择
简述:论文探讨了如何在没有标签的情况下选择最准确的时间序列异常检测模型。作者提出了三种无监督指标,包括预测误差、模型中心度和注入合成异常上的性能,并发现这些指标与标准监督异常检测性能指标(如F1分数)高度相关。文章进一步将多个不完美替代指标组合的问题形式化为一个稳健的排名聚合问题,并提供理论支持。大规模实验表明,所提出的无监督方法与基于部分标记数据的选择方法同样有效。
3.DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection
用于时间序列异常检测的双注意力对比表示学习
简述:DCdetector是一种用于时间序列异常检测的模型。它通过双注意力机制和对比学习来学习异常样本的表示。这种模型能够有效地发现时间序列中的异常样本,并且具有较好的性能。与其他方法相比,DCdetector能够更好地适应各种时间序列异常检测任务,并且可以在不同的数据集上实现最先进的结果。
4.Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
使用关联差异进行时间序列异常检测
简述:时间序列异常检测很难,需要模型找到可分辨的标准。之前的方法学习点和关联,但都不完全有效。最近,Transformer模型在统一学习点和关联方面表现出色。作者发现每个时间点的自注意力可以展示与整个系列的丰富关联。关键发现是异常是稀有的,因此从异常点建立到整个系列的关联很困难,所以异常主要关联到它们相邻的时间点。这导致了一种基于关联的内在标准,可以明确地区分正常和异常点。作者提出了“异常Transformer”,它在六个基准上取得了最先进的结果。
5.TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
用于多变量时间序列数据异常检测的深度变换网络
简述:论文提出了TranAD,一个基于深度转换器网络的模型,用于异常检测和诊断。它使用注意力序列编码器,可以快速推断,并利用更广泛的时序趋势知识。TranAD还使用关注得分进行自我调节,实现稳健的多模式特征提取,并通过对抗训练获得稳定性。与现有基线方法相比,TranAD在检测和诊断性能方面表现出色,同时减少了数据和训练时间。
6.Multivariate Time Series Anomaly Detection and Interpretation using Hierarchical Inter-Metric and Temporal Embedding
使用分层交互式度量和时间嵌入的多变量时间序列异常检测和解释
简述:异常检测对于监控各种实体状态非常重要,例如制造系统和互联网服务。这些实体通常由多变量时间序列(MTS)表示。InterFusion是一种无监督方法,可以同时建模MTS的跨度量和时间依赖关系。它通过分层变分自编码器学习正常模式,并使用两个随机潜在变量来学习低维跨度量或时间嵌入。作者还提出了一种基于MCMC的方法,以获得合理的嵌入和重构,以解释MTS的异常部分。
7.Adaptive Memory Networks with Self-supervisedLearning for Unsupervised Anomaly Detection
基于自监督学习和自适应记忆网络的时间序列异常检测方法
简述:AMSL是一种新的方法,通过结合自监督学习和自适应记忆融合来提高泛化能力。它使用卷积自编码器结构,学习一般的正常模式和丰富的特征表示。实验表明,与其它最先进的方法相比,AMSL的性能得到显著提高,特别是在最大的CAP睡眠阶段检测数据集上。此外,AMSL对输入噪声也更具鲁棒性。
8.GRAPH-AUGMENTED NORMALIZING FLOWS FOR ANOMALY DETECTION OF MULTIPLE TIME SERIES
用于多时间序列异常检测的图增强归一化流
简述:论文介绍了一种新的方法,用于检测多个时间序列中的异常。该方法使用图增强的归一化流(GANF),它是一种无监督的异常检测方法。这种方法假设异常值出现在分布的低密度区域,并使用归一化流进行密度估计。此外,该方法通过在组成时间序列之间使用贝叶斯网络来引入因果关系的建模。这种图增强的归一化流方法能够有效地检测异常,并识别时间序列分布的变化。
9.Calibrated One-class Classification for Unsupervised Time Series Anomaly Detection
用于无监督时间序列异常检测的校准单类分类
简述:论文提出了一种新的无监督时间序列异常检测方法,称为校准的单类分类。这种方法通过两种方式进行校准:一是自适应地惩罚不确定的预测,以消除异常污染的影响,并强调模型有信心的预测;二是区分正常样本和本地异常示例,以模拟真实时间序列的异常行为。这种方法能够显著改善正常建模,并在六个真实数据集上的实验中表现出优于其他先进竞争对手的性能,提高了6% - 31%的F1分数。
10.Deep Learning for Time Series Anomaly Detection: A Survey
时间序列异常检测的深度学习
简述:论文是关于时间序列异常检测的深度学习综述。时间序列异常检测在很多领域都有应用,比如制造和医疗。深度学习模型被用来检测时间序列中的异常模式。文章提供了一个分类法,根据不同的因素将异常检测模型分为不同类别,并描述了每个类别的基本异常检测技术、优点和限制。最后,文章总结了采用深度异常检测模型时面临的开放问题和挑战。
11.Revisiting Time Series Outlier Detection:Definitions and Benchmarks
重访时间序列异常检测:定义和基准
简述:论文重新审视了时间序列异常检测,提出了新的分类法,将异常点分为点和模式两类,并生成了相应的合成数据集,以对现有算法进行基准测试。结果发现,一些经典算法在某些情况下可以比最近的深度学习算法表现更好。
12.Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
基于图神经网络的多元时间序列异常检测
简述:论文介绍了一种基于图神经网络和结构学习方法的高维时间序列异常检测方法。它能够捕捉传感器之间的复杂关系,并使用注意力权重解释检测到的异常。实验表明,该方法比现有方法更准确,可以更准确地检测异常,并准确捕捉传感器之间的相关性。此外,它还可以让用户推断检测到的异常的根本原因。
13.Time-Series Anomaly Detection Service at Microsoft
微软的时间序列异常检测服务
简述:微软开发了一个时间序列异常检测服务,帮助大公司实时监控应用程序和服务的各种指标,如页面浏览量和收入。该服务由数据摄取、实验平台和在线计算三个主要模块组成,采用基于谱残差和卷积神经网络的新型算法,旨在准确、高效和通用。这项工作首次尝试将SR模型应用于时间序列异常检测,并将SR和CNN相结合以提高性能。
14.Outlier Detection for Temporal Data: A Survey
时间数据的异常检测:综述
简述:论文是对时间序列数据异常检测的综述,介绍了不同类型的异常定义、新技术以及特定定义和技术被广泛使用的应用场景。由于硬件和软件技术的进步,各种形式的时间数据采集和管理机制得以实现,导致不同类型的数据集增长,例如数据流、时空数据、分布式流、时间网络和时间序列数据。因此,需要对时间数据集上的异常检测进行有组织且详细的研究。本文为各种形式时间数据的异常检测提供了一个全面且结构化的概述。
工具和数据集
-
TODS:TODS是一个用于多元时间序列数据上的离群点检测的全栈自动化机器学习系统。
-
skyline:Skyline是一个实时异常检测系统。
-
banpei:Banpei是异常检测的Python包。
-
telemanom:使用LSTM在多元时间序列数据中检测异常的框架。
-
DeepADoTS:用于多状态前沿深度学习方法的时间序列数据异常检测基准管道。
-
NAB:Numenta异常基准:NAB是为评估流式、实时应用程序中的异常检测算法而设计的新颖基准。
-
CueObserve:SQL数据仓库和数据库上的异常检测。
-
Chaos Genius:ML驱动的分析引擎,用于异常/异常检测和根本原因分析。
-
CRAN任务视图:用R进行异常检测:这个CRAN任务视图包含一个可以用于R的异常检测的包列表。
-
AnomalyDetection:AnomalyDetection是一个开源的R包,用于从统计角度来看,在季节性和潜在趋势存在的情况下检测异常。
-
anomalize:'anomalize'包为检测数据中的异常提供了一种“整洁”的工作流。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“时序异常检测”领取论文+数据集合集
码字不易,欢迎大家点赞评论收藏!