USAD: 多元时间序列的无监督异常检测

原创 小王搬运工 时序课堂 2024-06-20 10:43 四川

论文地址：https://dl.acm.org/doi/abs/10.1145/3394486.3403392

论文源码：https://github.com/manigalati/usad

期刊：KDD '20: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining

这篇论文介绍了一种名为USAD（UnSupervised Anomaly Detection for multivariate time series）的新型无监督异常检测方法，旨在应对IT系统监控中的挑战。随着IT操作规模和复杂性的增长，传统的基于专家的监控方法已不再适用。USAD利用对抗训练的自编码器架构，能够在没有标签数据的指导下学习，并通过放大异常输入的重建误差来检测异常。论文通过五个公共数据集的实验验证了USAD的鲁棒性、训练速度和高异常检测性能。此外，通过在Orange公司的专有数据上进行的可行性研究，证明了USAD在可扩展性、稳定性和高性能方面满足了工业应用的需求。USAD的提出，为大规模基础设施的自动化监控提供了一种有效的解决方案。

问题定义 (Problem Formulation)

• 时间序列：论文首先定义了单变量和多变量时间序列的概念，区分了它们在数据点上的不同。

• 异常检测任务：描述了在给定时间序列数据集的情况下，如何通过训练数据来识别异常点。

自编码器基础 (Autoencoder Basics)

• 自编码器结构：介绍了自编码器由编码器和解码器组成，编码器将输入数据映射到潜在空间，解码器则将潜在空间映射回输入空间。

• 重建误差：使用重建误差作为异常分数的指标，高误差意味着可能是异常点。

对抗训练 (Adversarial Training)

• 对抗训练概念：提出了USAD方法，结合了自编码器和对抗训练，通过训练一个模型来识别输入数据是否包含异常，从而提高重建质量。

• 训练框架：USAD采用两阶段训练框架，第一阶段是自编码器训练，第二阶段是对抗训练。

USAD方法 (USAD Method)

• 架构组成：USAD由一个编码器和两个解码器组成，形成两个共享相同编码器的自编码器AE1和AE2。

• 训练过程：详细描述了USAD的两阶段训练过程，包括自编码器训练和对抗训练的目标和方法。

实现细节 (Implementation Details)

• 数据预处理：说明了数据标准化和分割成时间窗口的方法。

• 训练和检测算法：提供了USAD训练和检测算法的伪代码，包括权重初始化、训练循环、损失计算和参数更新。

异常检测 (Anomaly Detection)

• 异常分数：定义了异常分数的计算方式，以及如何使用α和β参数来平衡误报和漏报。

网络架构 (Network Architecture)

• 编码器和解码器：描述了编码器和解码器的具体网络结构，包括使用的层类型和激活函数。

优化器 (Optimizer)

• 优化方法：提到了使用Adam优化器进行训练，并使用了默认的学习率。

在这篇论文中，作者提出了USAD，一种创新的无监督异常检测方法，专门针对多变量时间序列数据。USAD方法结合了自编码器的架构和对抗训练的策略，不仅提高了异常检测的准确性，还保持了训练过程的稳定性和快速性。通过在多个公共数据集上的广泛实验，USAD展现了其优越的性能，尤其在F1分数上超越了现有技术。此外，USAD的快速训练能力、对参数选择的鲁棒性以及可调节的检测灵敏度，使其成为工业环境中自动化IT系统监控的理想选择。论文还通过Orange公司的专有数据进行了可行性研究，进一步证明了USAD在实际应用中的潜力和效果。尽管在部署过程中可能会遇到一些挑战，如数据收集的纯净性问题，但USAD无疑为自动化监控提供了一个有前景的方向，并为未来的研究和应用奠定了坚实的基础。