大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW

近日,由阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会ICLR2024、ICDE2024和WWW2024接收。

论文成果是阿里云与华东师范大学、浙江大学、南京大学等高校共同研发,涉及时间序列与智能运维结合的多个应用场景。包括基于Pathways架构的自适应多尺度时间序列预测模型Pathformer;基于扰动技术的时间序列解释框架ContraLSP;多正常模式感知的频域异常检测算法MACE;轻量数据依赖的异常检测重训练方法LARA。此次,时间序列相关模型等多篇论文的入选,表明阿里云在大数据基础技术领域的研究得到了国际学术界的认可,不仅展示了阿里云的技术竞争力,也创造了更多国际合作交流的可能性。

  • ICLR(International Conference on Learning Representations)会议是机器学习和深度学习领域的顶级国际会议,与NeurIPS、ICML并称为机器学习三大顶级会议,在谷歌的全领域学术指标排行榜中位列前十,以展示人工智能、统计学和数据科学领域的深度学习各个方面的前沿研究以及机器视觉、计算生物学、语音识别、文本理解、游戏和机器人等重要应用领域而闻名全球。

  • ICDE(IEEE International Conference on Data Engineering) 是数据库研究领域历史悠久的国际会议,与SIGMOD、VLDB并称为数据库三大顶级会议,会议聚焦于设计,构建,管理和评估高级数据密集型系统和应用等前沿研究问题。

  • WWW(The Web Conference)是为交叉,新兴,综合领域的顶级会议,CCF-A类,会议关注万维网的未来发展,汇聚全世界相关的科研工作者、从业者和领域专家,共同讨论互联网的发展、相关技术的标准化以及这些技术对社会和文化的影响。

Pathformer:基于Pathways架构的自适应多尺度时间序列预测模型

现实场景中的时间序列在不同的时间尺度展现出不同的变化,如云计算场景中的CPU,GPU,内存等资源需求呈现出日、月、季节等独特尺度的时间模式。这为时间序列预测带来一定的困难。一个好的时间序列预测模型需要考虑完备的时序多尺度建模能力以及进一步自适应选择多尺度的能力。

基于Transformer模型的多尺度建模,主要有两个挑战。

1. 不完备的多尺度建模。只是针对时间分辨率不能有效地捕捉不同范围的时间依赖关系,相反,考虑时间距离虽然能提取不同范围的时间依赖,但全局和局部间隔受到数据划分的影响,单一的时间分辨率并不完备。

2. 固定地多尺度建模过程。对所有时序采用固定的多尺度建模阻碍了每个时序的重要特征捕捉,然而为每个数据集或每个时序手动调整最佳尺度非常耗时且难以处理。

针对这些问题,我们提出了一个基于Pathways架构的自适应多尺度Transformer模型 Pathformer,它整合了时间分辨率和时间距离提出了一个多尺度Transfomer模块,使用双重注意力机制建模局部和全局的时间依赖关系,使模型具备完备的多尺度建模能力。其次,我们提出自适应pathways,激活Transformer的多尺度间建模能力。它基于输入时序逐层地路由和聚合多尺度特征形成了自适应pathways的多尺度建模,可以提升模型的预测效果和泛化性。

图片

ContraLSP:基于对比稀疏扰动技术的时间序列解释框架

在智能运维等领域,为机器学习模型所做的预测提供可靠的解释具有极高的重要性。现有的解释方法涉及使用显著性方法,这些方法的解释区分取决于它们与任意模型的交互方式。一些工作建立了显著图,例如,结合梯度或构造注意力机制,以更好地处理时间序列特征,而它们难以发现时间序列模式。其他替代方法,包括Shapley值或LIME,通过加权线性回归在局部近似模型预测,为我们提供解释。这些方法主要提供实例级别的显著图,但特征间的互相关常常导致显著的泛化误差。在时间序列中最常见的基于扰动的方法通常通过基线、生成模型或使数据无信息的特征来修改数据,但这些扰动的非显著区域并不总是无意义的并且存在不在数据分布内的样本,导致解释模型存在偏差。

基于此,本文提出了ContraLSP框架,该框架如图所示。这是一个局部稀疏解释模型,它通过引入反事实样本来构建无信息扰动同时保持样本分布。此外,我们融入了特定于样本的稀疏门控机制来生成更倾向于二值化且平滑的掩码,这有助于简洁地整合时间趋势并精选显著特征。在保证标签的一致性条件下,其整体优化目标为:

图片

图片

论文在白盒时序预测,黑盒时序分类等仿真数据,和真实时序数据集分类任务中进行了实验,ContraLSP在解释性能上超越了SOTA模型,显著提升了时间序列数据解释的质量。

MACE:多正常模式感知的频域异常检测算法

异常检测是智能运维领域的重要研究方向。近来,基于重构类方法的异常检测模型独占鳌头,在无监督异常检测中达到了很高的准确度,涌现了大量优秀的神经网络模型,例如:基于RNN类的神经网络OmniAnomaly, MSCRED; 基于transformer类的神经网络AnomalyTransformer, DCdetector等,但这类方法一个模型只能较好地捕捉一种或少数几种正常模式。因此,涌现出了一批以元学习为辅助,快速适应不同正常模式的异常检测模型,例如PUAD, TranAD等。但这些方法依然要求对不同的正常模式定制不同的模型,当存在十万级不同正常模式的服务时,很难维护这么多神经网络模型。

与其他神经网络直接从数据样本中判断当前样本是否为异常不同,MACE从数据样本与该数据样本对应的正常模式的关系中提取异常。在MACE中,我们首先提出使用频域表征机制提取出正常模式的频域子空间,并使用频域表征技术把当前数据样本映射到该频域子空间中。若该数据样本离这个正常模式的频域子空间越远则在映射后,映射点与原始样本距离越远,重构误差越大。若该数据样本离这个频域子空间的频域子空间越近,则在映射后,映射点与原始样本距离越近,重构误差越小。因此,我们可以根据当前数据样本与其对应的正常模式频域子空间的关系,令对于当前正常模式而言的正常数据重构误差远小于异常数据的重构误差,以此检测异常。更进一步,我们提出上下文感知的傅里叶变换和反变换机制,有效利用频域的稀疏性提升计算效率,在频域上不存在时序依赖,可以对该模型进行细粒度的高并发实现,进一步减少异常检测的时间开销。另外,我们提出Peak Convolution与Valley Convolution机制对短期异常进行增强使其更容易被检测到。

图片

LARA:轻量数据依赖的异常检测重训练方法

在云服务的监控场景中,经常出现正常模式随时间不断变化,且在变化初期观测数据数量不足以支撑模型训练的问题。目前,可以解决正常模式更替变化的方法主要有迁移学习、元学习、基于信号处理的方法。但同时他们也存在一些弊端,并不完全适配当前问题。例如迁移学习未考虑本问题中多个历史正常模式之间存在的时序关系。元学习同样未考虑历史正常模式之间的时序关系,同时,需要存储大量的历史数据。基于信号处理的方法,这类方法推理阶段时间开销太大,无法在流量峰值处进行实时异常检测。

因此,我们提出方法LARA解决上述问题。为了解决重训练新观测数据不足的问题,我们提出反刍模块,该模块使用老模型恢复历史分布中与新观测数据相似的数据,并使用历史数据与新观测数据一起估计每一个新观测数据的隐藏状态z。为了解决重训练计算开销大的问题,我们使用映射函数M_z和M_x分别把老模型输出的隐藏状态和重构数据映射为当前分布的隐藏状态估计值与新观测数据,并数学证明了映射函数令映射误差最小的最优形式为线性,极大降低了重训练开销。更进一步,我们根据M_z 与M_x的形式,提出一种相应的损失函数设计范式,可以保证重训练问题是一个凸问题,具有唯一全局最优解,从而保证较快的收敛速率,降低重训练计算开销,避免陷入过拟合

图片

论文链接

▶论文标题Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting

  • 论文作者:陈鹏, 张颖莹, 程云爻, 树扬, 王益杭, 文青松, 杨彬, 郭晨娟

  • 论文链接:https://openreview.net/pdf?id=lJkOCMP2aW

  • 代码链接:

    https://github.com/alibaba/sreworks-ext/tree/main/aiops/Pathformer_ICLR2024

论文标题:Explaining Time Series via Contrastive and Locally Sparse Perturbations

  • 论文作者:刘子川,张颖莹,王天纯,王泽凡,骆东升,杜梦楠,吴敏,王毅,陈春林,范伦挺,文青松

  • 论文链接:https://openreview.net/pdf?id=qDdSRaOiyb

  • 代码链接:

    https://github.com/alibaba/sreworks-ext/tree/main/aiops/ContraLSP

论文标题:Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection

  • 论文作者:陈飞佚,张颖莹,秦臻,范伦挺,姜仁河,梁宇轩,文青松,邓水光

  • 论文链接:https://arxiv.org/abs/2311.16191

论文标题:LARA: ALight and Anti-overfitting Retraining Approach for   Unsupervised Time Series Anomaly Detection  

  • 论文作者:陈飞佚,秦臻,周孟初,张颖莹,邓水光,范伦挺,庞观

  • 论文链接:https://arxiv.org/abs/2310.05668

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/9564.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android 蓝牙实战——蓝牙电话通话状态同步(二十四)

前面分析了蓝牙电话通话状态的广播,我们可以在蓝牙电话中实时监听蓝牙电话的状态,但如果是其他音乐类 APP 呢,在播放的时候也需要知道当前是否有通话正在进行,但是有完全没必要实时监听电话的状态,这就需要一个获取通话状态的方法。 一、通话状态处理 1、CallsManager …

MySQL学习笔记12——效率和优化

效率和优化 一、对查询语句进行调优1、查询分析语句2、优化查询方法 二、改进表设计以提高性能1、优化数据类型2、合理增加冗余字段以提高效率3、拆分表4、使用非空约束 三、如何充分利用系统资源1、优化系统资源配置2、如何利用系统资源来诊断问题 一、对查询语句进行调优 你…

vscode触发建议缓慢问题

说明 关于vscode上vite项目文件过多导致触发建议缓慢问题, 本人框架主要使用的技术是 vite vue3 ts tailwind eslint 项目初始阶段建议提示秒出,当项目文件过多时,建议延迟太高,即使是console代码片段也会过好几秒才出现 …

【R语言】边缘概率密度图

边缘概率密度图是一种在多变量数据分析中常用的图形工具,用于显示每个单独变量的概率密度估计。它通常用于散点图的边缘,以便更好地理解单个变量的分布情况,同时保留了散点图的相关性信息。 在边缘概率密度图中,每个变量的概率密度…

react native 设置屏幕锁定

原生配置 android 在android/app/src/main/AndroidManifest.xml在这个文件里的入口activity里添加 android:screenOrientation"portrait" <activityandroid:name".MainActivity"android:label"string/app_name" …

数字工厂管理系统如何助力企业数据采集与分析

随着科技的不断进步&#xff0c;数字化已成为企业发展的重要趋势。在制造业领域&#xff0c;数字工厂管理系统的应用日益广泛&#xff0c;它不仅提升了生产效率&#xff0c;更在数据采集与分析方面发挥着举足轻重的作用。本文旨在探讨数字工厂管理系统如何助力企业数据采集与分…

JavaScript异步编程——06-Promise入门详解【万字长文,感谢支持】

前言 Promise 是 JavaScript 中特有的语法。可以毫不夸张得说&#xff0c;Promise 是ES6中最重要的语法&#xff0c;没有之一。初学者可能对 Promise 的概念有些陌生&#xff0c;但是不用担心。大多数情况下&#xff0c;使用 Promise 的语法是比较固定的。我们可以先把这些固定…

【Linux】冯诺依曼体系

冯诺依曼体系 冯诺依曼体系结构是我们计算机组成的基本架构 中央处理器&#xff08;CPU&#xff09;&#xff1a; 中央处理器是冯诺伊曼体系的核心部分&#xff0c;负责执行计算机程序中的指令。它包括算术逻辑单元&#xff08;ALU&#xff09;和控制单元&#xff08;CU&#x…

uniapp 自定义App UrlSchemes

需求&#xff1a;外部浏览器H5页面&#xff0c;跳转到uniapp开发的原生app内部。 1、uniapp内部的配置&#xff1a; &#xff08;1&#xff09;打开manifest->App常用其他设置&#xff0c;如下&#xff0c;按照提示输入您要设置的urlSchemes&#xff1a; &#xff08;2&am…

Flink面试整理-Flink集群的部署方式有哪些?

Apache Flink 支持多种集群部署方式,以适应不同的运行环境和应用需求。主要的部署方式包括: 1. 独立部署(Standalone) 特点:Flink 自带的简单集群模式,不依赖于外部的集群管理系统。适用场景:适用于小规模集群、测试或者学习环境。配置:需要手动配置 JobManager 和 Tas…

【p6】根据语法树求短语,直接短语和句柄

目录 步骤把根节点全部圈出来短语直接短语句柄 步骤 把根节点全部圈出来 意思是有孩子结点的结点圈出来 短语 从最后一层往上看&#xff0c;把根的叶子进行组合&#xff0c;在同一层上从左到右看&#xff0c;注意&#xff0c;这里说的叶子&#xff0c;是指每一个分支的最下…

【QT教程】QT6实时系统编程 QT实时系统

QT6实时系统编程 使用AI技术辅助生成 QT界面美化视频课程 QT性能优化视频课程 QT原理与源码分析视频课程 QT QML C扩展开发视频课程 免费QT视频课程 您可以看免费1000个QT技术视频 免费QT视频课程 QT统计图和QT数据可视化视频免费看 免费QT视频课程 QT性能优化视频免费看 免费…

【面试干货】HTTP和HTTPS之间的主要区别

【面试干货】HTTP和HTTPS之间的主要区别 1、URL前缀2、安全性3、端口4、工作层级5、加密6、证书 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; 1、URL前缀 HTTP 的URL以http://开头&#xff0c;而 HTTPS 的URL以https://开头&#xff0c;…

动联再掀创新风潮!P92 Max智能POS机惊艳发布

当下&#xff0c;智能支付与零售行业正经历着深刻变革&#xff0c;移动支付、无人支付等新型支付方式在我国广泛应用&#xff0c;显著优化了消费者的支付体验&#xff0c;同时也为零售行业带来新的发展契机。动联&#xff0c;凭借其在身份认证领域的深厚技术底蕴与创新精神&…

品鉴中的精神内涵:如何通过红酒品味生活的美好与哲学

红酒不仅仅是一种物质享受&#xff0c;更是一种精神体验。在品鉴云仓酒庄雷盛红酒的过程中&#xff0c;我们能够品味到生活的美好与哲学&#xff0c;感受到红酒所蕴含的精神内涵。 红酒的精神内涵源于其酿造过程中所融入的时间和匠心。一瓶上好的红酒需要经过长时间的陈年&…

952. 按公因数计算最大组件大小

Problem: 952. 按公因数计算最大组件大小 文章目录 思路解题方法复杂度Code 思路 这个问题可以通过并查集来解决。我们可以将每个数的因子看作是连接这些数的桥梁。如果两个数有共同的因子&#xff0c;那么这两个数就可以被归为同一组。我们的目标是找到最大的这样的组。 解题方…

【图像识别】Swin Transformer

一、引言 论文&#xff1a; Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 作者&#xff1a; Microsoft Research Asia 代码&#xff1a; Swin Transformer 特点&#xff1a; 提出滑动窗口自注意力 (Shifted Window based Self-Attention) 解决Vi…

RegExp魔法阵与Cookie记忆宫殿:JavaScript 中的秘密宝藏

个人主页&#xff1a;学习前端的小z 个人专栏&#xff1a;JavaScript 精粹 本专栏旨在分享记录每日学习的前端知识和学习笔记的归纳总结&#xff0c;欢迎大家在评论区交流讨论&#xff01; 文章目录 &#x1f506;RegExp &#x1f3b2; 1 什么是正则表达式 &#x1f3b2;2 创建…

「TypeScript」TypeScript入门练手题

前言 TypeScript 越来越火&#xff0c;现在很多前端团队都使用它&#xff0c;因此咱们前端码农要想胜任以后的前端工作&#xff0c;就要更加熟悉它。 入门练手题 interface A {x: number;y: number; }type T Partial<A>;const a: T { x: 0, y: 0 }; const b: T { …

数据可视化训练第二天(对比Python与numpy中的ndarray的效率并且可视化表示)

绪论 千里之行始于足下&#xff1b;继续坚持 1.对比Python和numpy的性能 使用魔法指令%timeit进行对比 需求&#xff1a; 实现两个数组的加法数组 A 是 0 到 N-1 数字的平方数组 B 是 0 到 N-1 数字的立方 import numpy as np def numpy_sum(text_num):"""…