字节跳动基础架构两篇论文入选 VLDB 2024

2024 年 8 月 26 至 30 日,VLDB 2024 将在中国广州举行。字节跳动基础架构云原生中间件团队、批式计算团队研究成果分别被 VLDB 2024 接收,并受邀进行现场报告。

VLDB(International Conference on Very Large Data Bases)是数据库三大国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。自 1975 年成立以来,每年吸引全球顶级研究机构投稿,但录用率较低,对系统创新性、完整性、实验设计等方面都要求极高。VLDB 也因此成为数据库管理领域最杰出的研究和发展成果的实时传播场所,反映了当前数据库研究的前沿方向、工业界的最新技术和各国的研发水平。

ResLake: Towards Minimum Job Latency and Balanced Resource Utilization in Geo-distributed Job Scheduling

ResLake 是字节跳动基础架构计算和存储团队、应用研究中心和系统部网络团队,共同研发的多机房计算、存储、网络一体化资源管理系统。ResLake 既能兼顾作业完成时间(Job Completion Time, JCT),又能兼顾不同机房之间资源的负载均衡。ResLake 具备资源的全局视角,通过作业调度、数据调度、网络管控等手段,能显著优化计算和存储的排布,并有效降低运营成本。ResLake 上线后,作业平均 JCT 时间降低了 20%,机房间资源利用率均衡性提升了 53%,跨机房流量降低了 50%,并降低了46% 的存储成本。

Towards Resource Efficiency: Practical Insights into Large-Scale Spark Workloads at ByteDance

Spark 在字节跳动内部主要用来做大数据离线处理,日均运行百万级别的 Spark 作业,Shuffle 量高达 500 PB,CPU 资源需求达到千万核心级别。底层计算资源包括稳定资源和在离线混部资源。在追求降本增效的背景下,如何提高上述大规模 Spark 作业的资源使用效率是一个重大挑战。

为应对这一挑战,字节跳动基础架构批式计算和应用研究中心团队与上海交通大学的数据通信与数据工程实验室合作,基于线上的实际情况从三个方面进行了系统性的优化,包括多机制的 Shuffle 优化(稳定资源 External Shuffle Service 增强、混部资源自研 Remote Shuffle Service CSS)、细粒度的资源申请和运行时资源使用控制、规则+算法两个阶段的自动参数调优。在大规模上量 50w+ 作业中,日均可节省百万级 CPU 核、PB 级内存。

CSS 开源地址:

https://github.com/bytedance/CloudShuffleService

以上论文与现场报告将于 8 月底正式亮相 VLDB 2024。届时,字节跳动基础架构团队也将发布相关论文的对应解读文章,敬请持续关注。


往届VLDB论文解读

  • 数据库顶会 VLDB 2023 论文解读 - Krypton: 字节跳动实时服务分析 SQL 引擎设计_vldb2023中的所有关系型数据库论文、非关系型数据库论文、其他论文-CSDN博客

  • 数据库顶会 VLDB 2023 论文解读:字节跳动如何解决超大规模流式任务运维难题_数据库顶级会议 db的论文-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/26543.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ESP32-C6 闪耀 Apple WWDC24|使用 Embedded Swift 构建 Matter 设备

WWDC 是苹果公司的年度全球开发者大会,旨在向全球开发者展示最新技术和工具。在今年的 WWDC 2024 上,苹果宣布将 Swift 语言扩展至嵌入式设备领域。大会技术讲座中,乐鑫 ESP32-C6 也现身官方 Demo “Go Small with Embedded Swift​​​​​​…

Vue路由的使用

如图所示: 1.首先创建文件,views中有以上示例图看到的创建的以下路由页面名称: 这个是创建的名字,为了方便看清我把第1步创建的名字写在下面了,为了方便看到这篇文章,创建名字不明白的可以按照我这个名创建…

怎么推导顺序统计量的分布函数?求证下图?

倒腾了一下午( ͡ ͜ʖ ͡)✧ 老师ppt猝不及防po了这么一个式子,本科基础没学好的渣渣查了一个多小时才搞懂 ヾ(▽*))) 手写笔记

便捷生活,从便民平台开始

想要生活更轻松、更便捷吗?那就来试试我们的便民平台吧!生活中的琐事总是让人头疼不已,但有了我们的便民平台,一切问题都迎刃而解! 咸阳便民平台的张总说:无论您是需要家政服务、维修安装,还是寻…

yolov8通过训练完成的模型生成图片热力图--论文需要

源代码来自于网络 使用pytorch_grad_cam,对特定图片生成热力图结果。 安装热力图工具 pip install pytorch_grad_cam pip install grad-cam# get_params中的参数: # weight: # 模型权重文件,代码默认是yolov8m.pt # c…

【设计模式】行为型-模板方法模式

方法千变万化,心灵如潮,模板如画,画出生活的韵味。 文章目录 一、茶与咖啡二、模板方法模式三、模板方法模式的核心组成四、运用模板方法模式五、模板方法模式的应用场景六、小结推荐阅读 一、茶与咖啡 场景假设:我们需要完成茶…

基于Unet++在kaggle—2018dsb数据集上实现图像分割

目录 1. 作者介绍2. 理论知识介绍2.1 Unet模型介绍 3. 实验过程3.1 数据集介绍3.2 代码实现3.3 结果 4. 参考链接 1. 作者介绍 郭冠群,男,西安工程大学电子信息学院,2023级研究生 研究方向:机器视觉与人工智能 电子邮件&#xff…

Go变量作用域精讲及代码实战

1. 变量的作用域概述 在编程中,变量的作用域(Scope)定义了变量在程序中的可见性和生命周期。理解变量的作用域对于编写健壮且可维护的代码至关重要。Go语言(简称Go)提供了几种不同的作用域类型,使得开发者可…

在大数据时代:为何硬盘仍是数据中心存储的核心

在云计算和人工智能应用场景不断涌现的时代背景下,数据集的价值急剧上升,硬盘对于数据中心运营商来说变得比以往任何时候都更为关键。硬盘存储了全球大部分的艾字节(EB)数据,行业分析师预计,在艾字节持续增…

Oracle数据库面试题-10

1. 描述Oracle数据库体系结构的主要组件。 Oracle数据库体系结构由多个组件组成,这些组件协同工作以确保数据的存储、处理和安全性。以下是Oracle数据库的一些主要组件: 数据库实例(Database Instance):Oracle数据库的…

华为手机USB调试调过登录

【抓包工具】配置:绕过华为手机打开 USB 调试需要先登录华为账号问题 参考上面的文章。但是可能因为没有登录账号,没法切到生产模式。 登录荣耀账号,再试就可以了,记得默认允许电脑调试,然后退出荣耀账号

C++:十大排序

目录 时间复杂度分析 选择排序 引言 算法思想 动图展示 代码实现 (升序) 优化 代码实现 分析 冒泡排序 引言 算法思想 动图展示 代码实现 插入排序 引言 算法思想 动图展示 代码实现 计数排序 引言 算法思想 动图展示 代码实现 桶排序 引言 算法思…

利安科技上市首日股价大涨:2023营收净利润下滑,募资金额大幅缩水

《港湾商业观察》施子夫 6月7日,宁波利安科技股份有限公司(以下简称,利安科技)正式在深交所创业板挂牌上市,股票简称为利安科技,股票代码300784。 上市当天,利安科技股价大涨348.76%。 2022年…

46.Python-web框架-Django - 多语言配置

目录 1.Django 多语言基础知识 1.1什么是Django国际化和本地化? 1.2Django LANGUAGE_CODE 1.3关于languages 1.4RequestContext对象针对翻译的变量 2.windows系统下的依赖 3.django多语言配置 3.1settings.py配置 引用gettext_lazy 配置多语言中间件&#x…

深入理解Elasticsearch集群:节点与分片机制

Elasticsearch作为当下最流行的开源搜索引擎和数据分析引擎之一,其强大的分布式集群能力和可扩展性是其核心优势。在Elasticsearch集群中,节点(Node)和分片(Shard)是两个核心概念,它们共同构成了…

PyTorch -- 最常见损失函数 LOSS 的选择

损失函数:度量模型的预测结果与真实值之间的差异;通过最小化 loss -> 最大化模型表现代码实现框架:设有 模型预测值 f (x), 真实值 y 方法一: 步骤 1. criterion torch.nn.某个Loss();步骤 2. loss criterion(f(x…

广州·2025全国眼睛健康产业博览会眼科医学大会|全国眼博会

广州2025全国眼睛健康产业博览会眼科医学大会,2025年4月10-12日,在广州南丰国际会展中心举办; ——随着时代的进步和科技的飞速发展,人们的眼睛健康问题日益受到关注。为了推动眼睛健康产业的持续发展,加强眼科医学的…

实施ISO 26262与ISO 21434的关键要素分析

随着汽车工业的快速发展和智能化水平的不断提升,汽车的功能性和安全性成为了消费者关注的重点。为了确保车辆的安全性和可靠性,国际标准化组织(ISO)制定了一系列与汽车安全相关的标准,其中ISO 26262(道路车…

set与map的详细封装步骤

目录 一.set与map在STL中的源码 二.修改红黑树 1.插入与查找时的比较方式 2.插入时的返回值 3.补充成员函数 三.封装set与map 1.迭代器的实现 2.函数接口 3.map中的operator[] 四.完整代码 set.h map.h RBTree.h 一.set与map在STL中的源码 想要简单实现set与map 需…

短视频矩阵工具有哪些?如何辨别是否正规?

随着短视频平台的持续火爆,搭建短视频矩阵成为各大品牌商家提高营销效果和完成流量变现的主要方式之一,类似于短视频矩阵工具有哪些等问题也在多个社群有着不小的讨论度。 而就短视频矩阵工具的市场现状而言,其整体呈现出数量不断增长&#x…