学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021

简介: VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。

一、顶会概览

VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。

作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。

多篇研究成果的发布离不开25位计算平台布道师和达摩院布道师花费大量时间撰写和修改,布道师们通过撰写论文和参加学术会议,借助布道的力量,传播阿里云技术优势,为推动开放共赢的云计算生态作出积极贡献。

二、首次提出多种执行模式和调度策略混合的动态设计

Fangorn在业界首次提出通过混合执行模式来管理分布式作业的设计,允许执行框架自动探索性能与资源利用间的最佳平衡。 其采用的组件间轻耦合的分层架构,能根据实时数据统计信息,对分布式作业进行多层次的动态调整,为MaxCompute以及PAI平台上的多种计算作业提供自适应的最优执行计划。

”如何在超大规模集群和系统中,同时管理多种计算负载的问题,是当前业界数据公司的重点研究方向“,Fangorn在这些方向上的创新,以及在MaxCompute等多个生产平台上的全面落地,为分布式系统的多层次优化打开了大门。

图片 1.png

Fangorn执行框架整体架构

三、首个基于TVR Cost模型的通用增量计算优化器框架

Tempura提出了一种介于传统流处理和批处理之间的全新增量计算模式,结合批处理的高资源利用率和流处理低延迟的优势,提供了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活权衡。提出了世界上首个基于TVR Cost模型的通用增量计算优化器框架,在集成众多现有增量计算方法的同时,用户可以随时增添任意自定义增量计算方法。

世界上首个落地生产的渐进式优化项目,在MaxCompute渐进式智能数据仓库业务中广泛使用,相比传统批处理,在缩短作业运行时间的同时,节省大量计算资源。

图片 2png.png

四、阿里云布道师、论文作者:

论文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on

Shared Clusters

陈颖达、王家忙、陆一峰、韩颖、吕志强、闵雪宾、才华、张炜、范浩川、李超、关涛、林伟、贾扬清、周靖人

论文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing

王作至、曾凯、黄柏彤、陈唯、崔晓宗、王博、刘吉、樊莉亚、渠大川、侯震宇、关涛、李晨、周靖人

五、延伸阅读:

VLDB全称International Conference on Very Large Date Bases,是数据库领域的顶级学术会议,和SIGMOD、ICDE共同构成了数据管理与数据库领域的三大顶级会议。本次2021大会共收录了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。

论文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters(http://vldb.org/pvldb/vol14/p2972-chen.pdf)

论文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing(http://www.vldb.org/pvldb/vol14/p14-wang.pdf)

原文链接

本文为阿里云原创内容,未经允许不得转载。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512541.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux从新手到高手,1.3 养成良好的Linux操作习惯免费阅读_循序渐进Linux(第2版) 基础知识 服务器搭建 系统管理 性能调优 虚拟化与集群应用免费全文_百度阅读...

看出点玄机了吗?在上例中,其实“/etc/*”就代表了/etc目录下的所有文件以及子目录,而这刚好是zip命令“-r”选项完成的功能。5)将/opt/etc.zip压缩文件全部解压到/etc目录下,除了etc/inittab文件之外,并且在解压过程中…

技术干货 | 应用性能提升 70%,探究 mPaaS 全链路压测的实现原理和实施路径

简介: 全链路压测方案下,非加密场景下至少有 70% 的性能提升,加密场景下 10%的性能提升,并在 MGS 扩容完成后可实现大幅的性能提升,调优的结果远超预期。 业务背景 随着移动开发行业的步入存量时代,App 整…

python二叉树去重_python二叉树学习分享

介绍:树形结构是应用相当广泛的一种非线性结构,建立与应用大多使用链表来处理,当然也可用连续的列表来实现常见概念:满二叉树:如果树高位H,树的结点总数为2*H-1,H>0,称为满二叉树完全二叉树&…

投稿指南 | 云计算领域最前沿资讯、技术,期待您的专业解读!

我们是谁?CSDN云计算是CSDN旗下官方账号,提供云计算、大数据、虚拟化、数据中心、OpenStack、CloudStack、机器学习、智能算法等相关云计算观点、云计算技术、云计算平台、云计算实践、云计算产业咨询等服务。内容平台方面,我们的目标读者主要…

DataWorks 功能实践速览03期 — 生产开发环境隔离

简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 往期回顾: DataWorks 功能实践速览01期——数据同步解决方案:为您介绍不同场景下可选的数据同步方案。DataWorks 功…

鸿蒙手表esim,鸿蒙手表终于来了!或将支持 eSIM,实现独立通话

原标题:鸿蒙手表终于来了!或将支持 eSIM,实现独立通话根据此前的爆料消息,华为将于 6 月份带来与鸿蒙相关的产品发布会,备受瞩目的平板、手表等新品也将亮相。临近产品发布,华为官方也开始了新品的预热。今…

Pull or Push?监控系统如何选型

简介: 对于建设一套公司内部使用的监控系统平台,相对来说可选的方案还是非常多的,无论是用开源方案自建还是使用商业的SaaS化产品,都有比较多的可选项。但无论是开源方案还是商业的SaaS产品,真正实施起来都需要考虑如何…

k8s 集群居然可以图形化安装了?

作者 | 小碗汤来源 | 我的小碗汤今天分享一个可以图形化搭建k8s集群的项目,不妨试一试~本项目是基于 Kubespray 提供图形化的 K8S 集群离线安装、维护工具。Kubespray:https://github.com/kubernetes-sigs/kubesprayKuboard-SprayKuboard-Spray 是一款可…

poi excel导入 判断合并单元格_Excel合并单元格,你需要知道的那些事

合并单元格,是我们经常使用的一个功能。借助合并单元格功能,我们可以制作跨列表头,可以对数据进行显示上的分类,使数据看起来更加清晰明了,让我们的Excel表格看起来更加专业。找到菜单栏的合并单元格功能,我…

当设计模式遇上 Hooks

简介: 数据结构与设计模式能够指导我们在开发复杂系统中寻得一条清晰的道路,既然都说 Hooks 难以维护,那就尝试让「神」来拯救这混乱的局面。对于「设计模式是否有助于我们写出更优雅的 Hooks 」这个问题,看完本文,相信…

mac 电脑android环境变量设置,mac上Android环境变量配置

1.AndroidSDK路径查看(1)AndroidStudio:菜单栏AndroidStudio > Preferences > Appearences&Behavior > System Settins > Android SDK tab中的SDK Location。(2)Eclipse:菜单栏Eclipse > Preferences > Android tab中的SDK Location2.环境变量配置&#…

PostgreSQL数据目录深度揭秘

简介: PostgreSQL是一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统(RDBMS),被业界誉为“先进的开源数据库”,支持NoSQL数据类型,主要面向企业复杂查询SQL的OLTP业务场景,提供…

深入浅出 Spring 架构设计

作者 | 三太子敖丙来源 | 敖丙前言为什么需要Spring? 什么是Spring?对于这样的问题,大部分人都是处于一种朦朦胧胧的状态,说的出来,但又不是完全说的出来,今天我们就以架构设计的角度尝试解开Spring的神秘面纱。本篇文章以由浅入…

海云健康:上云为10万家药店带去了什么价值?

“全国每5个人里,就有1个正在接受海云健康系统提供的服务。” 在海云健康(以下简称“海云”)的系统后台上,每一分钟就有10万笔的买药订单涌动。也许很多人没有听过海云健康的名字,但当他们走进社区药店时,已经在享受海云的“存健康”药店会员管理系统提供的服务。 海云创办于…

pgsql数据库默认配置事务类型_postgreSql最佳配置详解(connection 申请、回收策略)...

一、引子合理配置一个应用的数据库参数,使其运行良好,这很重要。本文以某务中台的生产环境为例,从Apollo上拔下来一套配置,分析是否合理。二、MybatisPlus配置由于我们使用Apollo配置参数,所以分两部分:1.个…

android系统手势app,8种iOS手势规定和14种android手势规定详解

不知道大家对ios系统和android系统的规定的原生手势有哪些吗?看到这样的标题,你能够回答出几个呢?其实,APP设计师和h5开发工程师对移动设备的手势的了解和理解是非常有必要的。只有掌握了这些平台的手势规定才能设计出符合用户操作…

mPaas 运维流程介绍

简介: 金融级移动开发平台 mPaaS(Mobile PaaS)为 App 开发、测试、运营及运维提供云到端的一站式解决方案,能有效降低技术门槛、减少研发成本、提升开发效率,协助企业快速搭建稳定高质量的移动应用。在我们日常运维过程…

360借条通过CCRC权威认证,再获国家级认可

近日,中国网络安全审查技术与认证中心(CCRC)向360借条App颁发移动互联网应用程序(App)安全认证证书。通过该认证,表明360借条App在个人信息保护方面的工作再次取得了国家级肯定。 随着移动互联的蓬勃发展&…

在.NET环境中使用Python和TensorFlow进行深度学习入门篇

在.NET环境中使用Python和TensorFlow进行深度学习可能需要通过一些中介工具或者框架,因为TensorFlow原生支持的是Python、C等语言。以下是一种可能的入门步骤: 安装Python和TensorFlow: 首先,你需要在你的系统上安装Python&#x…

ElasticSearch IK 分词器快速上手

简介: ElasticSearch IK 分词器快速上手 一、安装 IK 分词器 1.分配伪终端 我的 ElasticSearch 是使用 Docker 安装的,所以先给容器分配一个伪终端.之后就可以像登录服务器一样直接操作docker 中的内容了docker exec -it 容器ID /bin/bash 2.使用 elasticsearch…