年度回顾 | 2019 年的 Apache Flink

2019 年即将落下帷幕,这一年对于 Apache Flink 来说是非常精彩的一年,里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件,JIRA 中超过 4 千个 tickets,以及 GitHub 上超过 3 千个 PR,Apache Flink 迎来了快速的发展。笔者作为一名全职在 Flink 社区工作的成员,表示想要跟上社区的最新状态着实不太容易。

本文笔者将带大家一起回顾下 Flink 所经过的 2019 年,感受 Flink 蓬勃发展的同时,我们也将展望 2020 年。

Tips:文末有福利,不要错过哦~

大事记

笔者整理了 2019 年对于 Flink 社区而言发生的一些大事件(如有遗漏,敬请谅解)。

2019 年初,一篇阿里巴巴正式向 Apache Flink 贡献 Blink 源码的新闻点燃了社区,这也是 Apache Flink 在这一年能有如此快速发展的关键,此事件也直接加速了许多用户期待已久的功能快速落地,如 Hive 集成、更好的 Python 支持,高性能的批处理等等。

这一年,Apache Flink 保持着以往的快节奏,发布了两个大版本:Flink 1.8 和 Flink 1.9,以及即将发布的 Flink 1.10。Flink 1.10 已经进入了测试阶段,并有望于春节前与大家见面。Flink 1.9 和 Flink 1.10 是社区迄今为止所经历过的最大版本(见下图),从解决的 issue 数和提交的 commit 数上看,1.9 与 1.10 都已经达到了以前版本的两倍之多,而且也可以预见未来 Flink 还将保持着如此高速发展的态势。同时单版本的贡献者数量也在稳步增长中,说明越来越多的开发者加入到了社区中。值得一提的是,阿里巴巴通过 1.9 和 1.10 两个版本,历经 1 年左右将 Blink 中比较通用的部分都悉数回馈给了 Apache Flink 社区,回馈总代码量一百多万行。从邮件讨论与代码提交上看,国内贡献者正扮演者越来越重要的作用。

除此之外,Flink GitHub 仓库的 Star 数也早在 8 月份就突破了 1 万的里程碑。并且仅 2019 年一年的时间,Star 数就实现了翻番。

user@ 和 dev@ 邮件列表的活动表明了社区非常活跃,并且 user-zh@ 虽然年初才投入使用但也正在变得越来越活跃。从 2018 年同期的数字来看,dev@ 邮件列表的活动量激增最快,邮件和独立用户的数量平均增长了 2.5 倍,这很好地反映了上文提到的 Flink 代码库的极度活跃。

从 Apache 软件基金会在 2019 财年报告中,也能印证 Flink 的活跃,报告中提到 Flink:

  • 最活跃的邮件列表(user@ + dev@):第一
  • GitHub 访问流量:第三
  • 提交 commits 数:第五

与往年一样,今年 Flink 社区在北美(旧金山)、欧洲(柏林)、亚洲(北京)三地分别举办了 Flink Forward 大会,其中北京场到会人次突破 2000,同比增加了100%。

在 11 月份,社区发布了 Flink 生态网站(flink-packages.org),旨在推动围绕 Apache Flink 的生态建设,用于收集三方包并方便用户查找,包括连接器、类库、扩展等等。希望 flink-packages.org 能成为社区用于探索 Flink 插件的地方,并让专注于插件贡献者们获得用户的认可,从而可持续地打造更好的 Flink 生态。

社区发展

随着 Flink 社区贡献量的猛增,社区在 2019 年也有条不紊地邀请了 6 位 PMC member 以及 8 位 Committer。

  • 新增 Committers:Bowen Li,Andrey Zagrebin,Zili Chen,Hequn Cheng, Jiangjie (Becket) Qin, Rong Rong, Zhijiang Wang, Zhu Zhu。
  • 新增 PMC member: Jincheng Sun, Kete (Kurt) Young, Kostas Kloudas, Thomas Weise, Jiangjie (Becket) Qin, Jark Wu。

今年 Flink 社区的一个亮点就是拥抱了中文社区。年初的时候,就建立了中文邮件列表,从上文的邮件列表活跃图上也能看出国内用户对于中文邮件列表的接受度还是很高的。在 5 月份的时候,Flink 中文学习网站(ververica.cn)上线了,与此同时,中文社区微信公众号(Ververica)也同步上线。截止目前,微信公众号订阅量已突破一万。

从另外的维度也能看出中文社区的热情,在 Flink 官网(flink.apache.org)流量统计中,来自中国的流量占了全部流量的 24% ,位列所有国家之首。下图是 Flink 官网的流量分布图,图中不仅反映了 2019 年的整体流量要远高于往年,更有意思的是图中标出的两个流量波谷,其中第一个波谷正好是圣诞节,第二个更大的波谷恰好是中国的春节。从中也能看出中文社区影响力之大。

中文社区之所以能在国际开源项目中扮演越来越重要的作用,离不开这一年 Flink 中文社区的努力。据统计,Flink 中文社区在 2019 年共举办了 10 场 Meetup,横跨了北上深杭等多个城市,其中最大的北京场超过了 500 人参加。并且出品了 36 场 Flink 中文直播课程,覆盖了从基础到进阶到运维的各个方面,累积播放量达16万多。在此感谢每一位讲师以及工作人员为中文社区做出的贡献!

展望 2020 年

Flink 1.10 版本即将在 2020 年初与大家见面,1.10 版本可以看作一个比较重要的里程碑式版本,至此,Blink 功能都已经进入 Flink,包括 Blink 中比较关键的设计和通用的优化。该版本包含以下主要功能:

  1. SQL DDL 增强,支持在建表语句中定义计算列和 watermark。
  2. 生产级别的 Batch 支持与 Hive 兼容,其中 TPC-DS 10T 的性能是 Hive 3.0 的 7 倍。
  3. 更加强大的 Python 支持,支持 Python UDF。
  4. 支持原生 K8S 集成。
  5. 新增多个主流机器学习算法库,包括逻辑回归,随机森林,KMeans 等。

随着 Blink 的核心功能都已逐步贡献到 Flink,相信我们对 Flink 的未来有了更多的期盼,期盼 Flink 在 2020 年能带给我们更多的惊喜,当然这离不开社区中每一位同学的努力,也希望能有更多的人加入到社区中!

如果您想密切关注社区中发生的事情,请关注微信公众号(Ververica)以获取详细的每周更新、即将举办的活动、最新的技术文章与直播课程等。

如果你也喜欢 Apache Flink,可以点亮 Star 告诉我们哦。点击下方链接即可给 Flink 送星星,动动手指,Flink 爱你!


原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/517061.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VS Code 报错Vetur can‘t find ‘tsconfig.json‘ or ‘jsconfig.json‘的解决方法

文章目录一、原因二、说明三、显式项目四、解决方法(3选1)4.1. 配置Vetur插件,忽略提示4.2.在项目根目录创建jsconfig.json文件4.3.在项目根目录创建vetur.config.js文件一、原因 Vetur 0.31.0版本新增了一个vetur.config.js的配置文件&…

IDE 插件新版本发布,总有一个功能帮到你——开发部署提速 8 倍

对于开发者而言,提高工作效率大概有 2 种主要方式,第一种方式就是加快自己的工作速度,争取在同一段时间内多码一些代码、多干一些活来实现多产;而聪明的开发者会选择第二种方式,就是通过插件,让一些重复性的…

推特惊爆史诗级漏洞,App 恶意窃取用户隐私,云端安全路向何方?

作者 | 马超来源 | CSDN(ID:CSDNnews)近日,全球安全事件频发,先是推特惊爆史诗级漏洞,黑客对推特进行比特币钓鱼骗局,获取了对包括美国前总统奥巴马、钢铁侠埃隆马斯克、和世界首富比尔盖茨推特…

读懂这本书,才算读懂阿里大数据

2019年,是阿里巴巴第11个双11。众所周知,阿里的电商在线体系经过多年发展,可以支持峰值超过每秒50几万笔交易。但鲜有人知的是,海量的交易,创造了海量的数据,爆炸性的数据量激增,给狂欢过后的大…

Vue封装预约日期插件和发布到npm上

插件代码 <template><div class"subscribe-time" v-show"setting.display"><div class"subscribe-content"><div class"subscribe-date" v-if"setting.dateBlock true"><div class"subsc…

VS Code Element 提示 VSCode-Element-Helper 插件

文章目录1. 安装插件2. 效果图1. 安装插件 2. 效果图

9张图总结一下阿里云的2019

9月25日云栖大会&#xff0c;阿里云智能总裁张建锋展示了阿里巴巴第一颗自研芯片——含光800&#xff0c;打破了两项世界纪录&#xff0c;性能和能效比均为第一&#xff0c;是全球最强的AI推理芯片。 张建锋说&#xff1a;“在全球芯片领域&#xff0c;阿里巴巴是一个新人&…

坦白讲!做 Java 工程师,挺好!

很多想要入行编程圈的人问到我该学哪一种语言&#xff0c;我都毫不犹豫的说Java。首先我们先看个排行榜&#xff0c;来自权威开发语言排行榜TIOBE的数据&#xff08;截止到2020年4月&#xff09;&#xff0c;可以看到Java语言依然在语言排行榜霸占第一的位置&#xff01;看到这…

达摩院2020十大科技趋势发布:科技浪潮新十年序幕开启

2020年第一个工作日&#xff0c;“达摩院2020十大科技趋势”发布。这是继2019年之后&#xff0c;阿里巴巴达摩院第二次预测年度科技趋势。 回望2019年的科技领域&#xff0c;静水流深之下仍有暗潮涌动。AI芯片崛起、智能城市诞生、5G催生全新应用场景……达摩院去年预测的科技…

VS Code Rainbow Fart 小姐姐语音提示插件

文章目录1. 安装插件2. 启用Rainbow Fart3. 效果图1. 安装插件 Rainbow Fart2. 启用Rainbow Fart ctrl shirt p输入Rainbow Fart回车&#xff08;Enter&#xff09; 打开open 3. 效果图

日志服务(SLS)集成 Spark 流计算实战

前言 日志服务作为一站式的日志的采集与分析平台&#xff0c;提供了各种用户场景的日志采集能力&#xff0c;通过日志服务提供的各种与与SDK&#xff0c;采集客户端&#xff08;Logtail&#xff09;&#xff0c;Producer&#xff0c;用户可以非常容易的把各种数据源中的数据采…

再见了,Python!!

结合我最近这些年的Python学习、开发经验&#xff0c;发现90%的人在学Python时都会遇到下面这些问题&#xff1a;1.想学Python&#xff0c;但没什么经验根本不知道从何学起&#xff0c;而且应用方向太多了根本不知道该选择什么方向...2.基础入门看似简单&#xff0c;但是进阶实…

上去很美的 Serverless 在中国落地的怎么样了?

说起当前最火的技术&#xff0c;不得不提的一个概念就是 Serverless。2019 年几乎所有人都在说 Serverless&#xff0c;实际落地 Serverless 的有多少&#xff1f;Serverless 作为一种新型的互联网架构&#xff0c;直接或间接推动了云计算的发展&#xff0c;从 AWS Lambda 到阿…

Knative 驾驭篇:带你 '纵横驰骋' Knative 自动扩缩容实现

Knative 中提供了自动扩缩容灵活的实现机制&#xff0c;本文从 三横两纵 的维度带你深入了解 KPA 自动扩缩容的实现机制。让你轻松驾驭 Knative 自动扩缩容。 注&#xff1a;本文基于最新 Knative v0.11.0 版本代码解读 KPA 实现流程图 在 Knative 中&#xff0c;创建一个 Rev…

MongoDB 计划从“Data Sprawl”中逃脱

原文作者 | Adrian Bridgwater译者 |天道酬勤&#xff0c;责编 |晋兆雨头图 | CSDN 付费下载自视觉中国提供特定技术子集的软件供应商&#xff0c;喜欢用尽可能广泛的标签来提升自己&#xff0c;这是一种传达平台宽度和能力的方式。我们知道MongoDB以开源根数据库而闻名&#x…

FastMock

文章目录官网文档官网 官网&#xff1a;https://www.fastmock.site/#/ 文档 https://marvengong.gitee.io/fastmock/#/

关于在nw里使用require('printer')和nw.require('printer')报错的问题

公司项目为了兼容xp所以使用nw.js&#xff08;0.14.7-sdk&#xff09;&#xff0c;用到了printer模块&#xff08;第三方的c打印模块&#xff09;&#xff0c;在引入该模块的时候&#xff0c;使用了require导致一直报cannot find modul “.”&#xff0c;后来改用nw.require&am…

小蜜团队万字长文 | 讲透对话管理模型最新研究进展

对话管理模型背景 从人工智能研究的初期开始&#xff0c;人们就致力于开发高度智能化的人机对话系统。艾伦图灵&#xff08;Alan Turing&#xff09;在1950年提出图灵测试[1]&#xff0c;认为如果人类无法区分和他对话交谈的是机器还是人类&#xff0c;那么就可以说机器通过了…

mockjs

文章目录官网文档地址示例官网 &#xff1a;http://mockjs.com/ 文档地址 https://github.com/nuysoft/Mock/wiki/Getting-Started 示例 http://mockjs.com/examples.html

炸裂!谷歌这波操作,预警了什么?

我们都知道谷歌爸爸收购了Cask Data一家公司。长期以来&#xff0c;谷歌致力于推动围绕 GoogleCloud 的企业业务&#xff0c;但在这方面一直被亚马逊和微软吊打&#xff0c;这次的收购正是为了弥补自身的短板。被收购的 Cask Data 是一家专门提供基于Hadoop的大型数据分析服务解…