FFA 2023|字节跳动 7 项议题入选

Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,作为最受 Apache Flink 社区开发者期盼的年度峰会之一,FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态,是中国 Flink 开发者和使用者不可错过的的技术盛宴。

今年 Flink Forward Asia(以下简称 FFA ) 回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。延续 FFA 惯例,峰会所有议题均为开放征集而来,并由专业的议题评选委员会评分筛选,确保内容代表行业领先水平,为开发者们输出更加优质的干货,并为各企业提供可借鉴的实践经验。本次大会,字节跳动 7 项议题入选,包括OLAP Serverless、流批一体、自动化运维的大规模落地实践外,也对抖音、头条等业务背后的监控预警、实时数仓推荐平台实践进行分享。

FFA 2023 官网:https://flink-forward.org.cn/

议题推荐

Flink OLAP Serverless 能力在字节跳动的落地实践

冯向宇,字节跳动基础架构工程师

演讲介绍:随着 Flink OLAP 在高 QPS 下的作业调度和作业执行优化逐渐落地,Flink OLAP 在字节内部的业务规模也大幅增长,同时也遇到了更多样化的计算挑战,其中最主要的一项挑战是计算能力的 Serverless 化。通过开发实现资源隔离、弹性扩缩容、优雅退出、冷启动优化、多策略限流等特性,我们完成了 Flink OLAP的Serverless 能力改造,并在内部成功完成了业务推广。本次分享我们将从 Flink OLAP 遇到的 Serverless 能力挑战、资源隔离实现、云原生能力增强、弹性扩缩容、业务落地及规划等五个方面进行介绍。

流批一体在字节跳动的大规模落地实践

苏德伟,字节跳动基础架构工程师

演讲介绍:Flink 是事实上的流计算标准,但在批计算场景的应用并不广泛。随着 Flink 引擎流批一体能力的完善,在字节跳动内部我们将离线数据同步场景下的 2.2w+ Spark SQL 作业迁移至 Flink Batch SQL,以推进流批一体的落地。Spark SQL 作业具有丰富的 Pattern,我们通过解决大量 Spark SQL 的兼容性问题,并进行数据准确性校验以及自动化迁移,将每日例行作业平滑迁移至 Flink Batch 并在线上稳定运行。本次分享将主要从以下五个部分介绍流批一体在字节跳动的大规模落地实践。

字节全增量一体化实时数据建设方案

秦冰伦:字节跳动实时数据工程师 & 刘想:字节跳动实时数据工程师

演讲介绍:字节的业务包含很多全增量一体化数据场景,典型场景如用户画像、风控、房产等,运营既需要过去长时间范围的数据来挖掘潜在的价值,也对数据新鲜度有很高的诉求,因此实时数据的全增量一体化价值很大。本次分享主要介绍全增量一体化流式计算建设过程中面临的挑战和解决方案。

Flink 自动化运维的大规模落地实践

陈张昊,字节跳动基础架构工程师

演讲介绍:过去几年中,字节跳动内部 Flink 作业规模逐渐增长到数万量级,业务有限的人力趋于无力应对随流量变化需人工调优资源配置、单机问题易导致慢节点需人工迁移等带来的运维压力。面对运维难题,沉淀出一套 Flink 自动化运维体系,并在内部大规模落地实践:托管了 1.5W+ 任务,在流量变化时自动扩缩容以避免消费积压的同时可以提升资源使用率、每日自动迁移 1K+ 次慢节点消除消费积压,有效减轻了业务的 Flink 作业运维压力。本次分享我们将从以下五个方面介绍 Flink 自动化运维的落地实践。

字节跳动实时数仓质量与成本治理平台实践

朱福生,字节跳动数据工程师

演讲介绍:随着业务对数据时效要求的提升和实时任务数量的不断增加,字节跳动已运行了上万的 Flink 实时任务,由于实时任务依赖的组件繁多、开发人员众多 、开发习惯和经验参差不齐等各类主客观因素,导致任务稳定性、资源浪费等问题频出。因此任务治理势在必行,但纵观整个治理过程,仍存在以下矛盾:业务与治理的矛盾、人力与治理的矛盾、问题与可评价的矛盾。本文将通过治理背景、健康分体系、治理收益、健康分规划四个方面来介绍实时健康分如何让实时治理简单、高效、可持续化。

字节推荐面向下一代特征工程架构演进之路

刘首维,字节跳动推荐架构工程师

刘方奇,字节跳动推荐架构工程师

演讲介绍:字节跳动在过去几年的发展中推荐系统基于 Flink、Spark、Hudi 等大数据组件打造了支持万亿数据吞吐的特征生产系统,随着直播、电商、生活服务等业务高速发展和算法工程师规模的扩大,对推荐系统中的离线组件在易用性、成本、架构方面提出了进一步挑战,我们也在此背景下,提出了新一代特征生产和入湖链路,其中包括引入推荐系统 Planner、面向用户的 Python SDK 以及 Flink 流批一体的样本入湖等功能,在开发效率、成本和性能上都有显著收益:其中原始特征生产的开发上线周期从 N 天至 1 周可以降低到小时级,推荐样本入湖的计算性能也提升到了原来的 3 倍+。

Flink 在抖音实时监控预警场景下的落地实践

张宏博,字节跳动数据工程师

演讲介绍:随着实时数仓的发展建设及业务对实时数据的强诉求,实时数仓支持了越来越多高优业务,同时也遇到了新的挑战。从最初快速支持业务,到更加注重时效性、准确性,我们的目标不断提升,架构不断完善,在提升数据时效性、准确性的道路上持续探索。经历了一系列的方案->工具->平台的迭代演进后,最终沉淀了一套基于 Flink SQL 的实时监控预警体系,帮助及时发现数据问题,助力业务实现监控诉求。本次分享从数据层面和业务层面两个角度出发,为大家介绍抖音基于 Flink 的实时监控预警能力落地实践。

直播预约&参会报名

PC 端可前往 FFA 2023 大会官网操作:https://flink-forward.org.cn/。

移动端可关注「Apache Flink」视频号预约直播。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/180977.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

中小型工厂如何进行数字化转型

随着科技的快速发展和市场竞争的日益激烈,中小型工厂面临着诸多挑战。为了提高生产效率、降低成本、优化资源配置,数字化转型已成为中小型工厂发展的必经之路。中小型工厂如何进行数字化转型呢? 一、明确数字化转型目标 在进行数字化转型之前…

怎么把dwg格式转换pdf?

怎么把dwg格式转换pdf?DWG是一种由AutoCAD开发的二维和三维计算机辅助设计(CAD)文件格式,它的名称是“绘图(Drawing)”的缩写。DWG文件通常包含了设计图纸、模型和元数据等信息,并且被广泛用于工…

Pytorch:torch.utils.data.DataLoader()

如果读者正在从事深度学习的项目,通常大部分时间都花在了处理数据上,而不是神经网络上。因为数据就像是网络的燃料:它越合适,结果就越快、越准确!神经网络表现不佳的主要原因之一可能是由于数据不佳或理解不足。因此&a…

接口01-Java

接口-Java 一、引入(快速入门案例)二、接口介绍1、概念2、语法 三、应用场景四、接口使用注意事项五、练习题1 一、引入(快速入门案例) usb插槽就是现实中的接口。 你可以把手机、相机、u盘都插在usb插槽上,而不用担心那个插槽是专门插哪个的,原因是做u…

解决git action发布失败报错:Error: Resource not accessible by integration

现象: 网上说的解决方法都是什么到github个人中心setting里面的action设置里面去找。 可这玩意根本就没有! 正确解决办法: 在你的仓库页面,注意是仓库页面的setting里面: Actions> General>Workflow permisss…

苹果手机如何格式化?五个步骤快速掌握!

如果手机出现异常情况,例如运行缓慢、频繁崩溃,又或者想将手机出售、转让给他人,那么将手机格式化可以有助于解决问题。苹果手机如何格式化?本文将为您介绍解决方法,只需要五个步骤就能搞定,帮助您快速掌握…

天软高频时序数据仓库

1天软高频时序数仓方案架构 天软高频时序数据仓库是深圳天软科技开发有限公司专为金融用户提供的专业高频行情数据处理方案,集数据接入、检查、处理、存储、查询、订阅、计算于一体。 方案支持各类系统的实时行情、非实时行情接入;还支持压缩存储、分布式…

使用 DMA 在 FPGA 中的 HDL 和嵌入式 C 之间传输数据

使用 DMA 在 FPGA 中的 HDL 和嵌入式 C 之间传输数据 该项目介绍了如何在 PL 中的 HDL 与 FPGA 中的处理器上运行的嵌入式 C 之间传输数据的基本结构。 介绍 鉴于机器学习和人工智能等应用的 FPGA 设计中硬件加速的兴起,现在是剥开几层“云雾”并讨论 HDL 之间来回传…

Peter算法小课堂—高精度减法

给大家看个小视频高精度减法_哔哩哔哩_bilibili 基本思想 计算机模拟人类做竖式计算,从而得到正确答案 大家还记得小学时学的“减法竖式”吗?是不是这样 x-y问题 函数总览: 1.converts() 字符串转为高精度大数 2.le() 判断大小 3.sub() …

【技术干货】宇视IPC音频问题解决步骤

近期技术人员从宇视官网下载sdk进行二次开发时,在启动实时直播,并通过回调函数拿到流数据,发现没有音频流数据。 通过下面的数据发现,codeType此字段一直是28,代表的是H.264数据,但未没发现有音频的数据包…

什么是Geo Trust OV证书

一、GeoTrust OV证书的介绍 GeoTrust OV证书是由GeoTrust公司提供的SSL证书,它是一种支持OpenSSL的数字证书,具有更高的安全性和可信度。GeoTrust是全球领先的网络安全解决方案提供商,为各类用户提供SSL证书和信任管理服务。GeoTrust OV证书…

如何使用ArcGIS实现生态廊道模拟

生态廊道是指一种连接不同生态系统的走廊或通道,其建立有助于解决人类活动对野生动植物栖息地破碎化和隔离化的问题,提高生物多样性,减轻生态系统的压力。在城市化和农业开发不断扩张的背景下,生态廊道对于野生动植物的生存和繁衍…

Hive安装与配置

你需要掌握: 1.Hive的基本安装; 2.Mysql的安装与设置; 3.Hive 的配置。 注意:Hive的安装与配置建立在Hadoop已安装配置好的情况下。 hadopp安装与配置 Hive 的基本安装 从 官网 下载Hive二进制包,下载好放在/op…

万人拼团团购小程序源码系统+拼团设置+拼团管理 附带完整的搭建教程

随着互联网的快速发展,电子商务和社交电商的兴起,团购作为一种高效的营销策略和消费方式,受到了广大消费者的热烈欢迎。在此背景下,我们开发了一款基于微信小程序的万人拼团团购系统,旨在为用户提供一种更加便捷、高效…

python爬虫进阶教程之如何正确的使用cookie

文章目录 前言一、获取cookie二、程序实现三、动态获取cookie四、其他关于Python爬虫技术储备一、Python所有方向的学习路线二、Python基础学习视频三、精品Python学习书籍四、Python工具包项目源码合集①Python工具包②Python实战案例③Python小游戏源码五、面试资料六、Pytho…

lxml 总结

xm 和 lxml库 哪个更好用点 1. 性能: lxml 通常比 xml.etree.ElementTree 更快。lxml 使用了 C 编写的底层解析器,因此在处理大型 XML 文档时可能更高效。 如果性能对你的应用很重要,特别是在处理大型 XML 文件时,选择 lxml 可能…

这款高性能分布式ID生成器,现在是你的了~

这是DDD&微服务系列的第17篇,欢迎持续关注~ 概述 在软件开发过程中,我们经常会遇到需要生成全局唯一流水号的场景,例如各种流水号和分库分表的分布式主键ID。特别是在使用MySQL数据库时,除了要求流水号具有“全局唯一”性外&…

继电保护-变压器纵联差动保护MATLAB仿真模型

微❤关注“电气仔推送”获得资料(专享优惠) 原理概述 差动保护是在两端设置的保护,通过比较两端测回来的电气量,进而看是否需要动作,纵联差动保护是变压器主保护。 纵联差动保护基本原则 双绕组变压器实现纵联差动…

泄密零容忍!迅软科技打造设计图纸安全防线,助您无忧创作!

对于建筑设计、鞋服设计、动漫设计、平面设计等设计行业而言,海量设计图纸都以电子数据的形式存在企业的终端电脑上,这些图纸蕴含着企业的核心竞争资源,一旦泄露将给企业带来巨大的经济损失。 因此,迅软科技采用了先进的数据加密技…

Ruoyi-cloud / 若依 SpringCloud服务器部署

1、redis 环境 服务器安装redis ,注意 密码 端口 2、mysql 环境 服务器安装 mysql 5.7 以上的版本 代码中的sql 文件夹中有 sql 文件 创建数据库ry-cloud并导入数据脚本ry_2021xxxx.sql(必须),quartz.sql(可选&…