Flink基础篇|002_Flink前世今生

在这里插入图片描述

📫 作者简介:「六月暴雪飞梨花」,专注于研究Java,就职于科技型公司后端工程师
🏆 近期荣誉:华为云云享专家、阿里云专家博主、腾讯云优秀创作者
🔥 三连支持:欢迎 ❤️关注、👍点赞、👉收藏三连,支持一下博主~

文章目录

  • 伊始
  • 关于Stratosphere
  • 派生Apache Flink
  • 阿里巴巴和Blink
  • 当前的Apache Flink
  • 总结

伊始

2010年,由Volker Markl(德国研究基金会——DFG资助)领导的研究项目“平流层:云上的信息管理”作为柏林工业大学、柏林洪堡大学和波茨坦Hasso-Plattner-Institut的合作项目启动。Flink从平流层分布式执行引擎的一个分支开始,并于2014年3月成为Apache孵化器项目。2014年12月,Flink被接受为Apache顶级项目。
在这里插入图片描述

关于Stratosphere

当我看到这个单词的时候,我其实第一次翻译过来是stratosphere「平流层」,亦称同温层,是地球大气层里上热下冷的一层,此层被分成不同的温度层,当中高温层置于顶部,而低温层置于低部。在第二届网格和超级计算机多任务计算研讨会论上提出高效的并行数据处理,在当时stratosphere是作为一个研究性的项目,目标是开发下一代大数据分析平台。Stratosphere的官网地址大家如果有兴趣可以过去浏览下,主要是了解下当时的一些概念以及意图。
在这里插入图片描述

派生Apache Flink

2014年Flink从Stratosphere分布式执行引擎的一个分支开始,当时的版本为v0.9,并于2014年3月成为Apache孵化器项目。2014年12月,Flink被接受为Apache顶级项目,2015年第一个发布版本v0.9.1。下面是Apache Flink的发布表(截止到目前为止,最新的发布版本为v1.18)帮助我们了解flink的发展历史:
在这里插入图片描述

阿里巴巴和Blink

如果提到Flink,那么就不得不提一下阿里巴巴的Blink。阿里巴巴在2015年开始尝试使用Flink,基于Blink的计算平台于2016年正式上线。在当时,阿里绝大多数的技术部门都在使用Blink。Blink一直在阿里内部错综复杂的业务场景中锻炼成长着。所以,Blink是阿里巴巴基于Apache Flink(具体是从flink v1.5版本开始)构建的一站式、高性能实时计算平台,广泛应用于流式数据处理、离线数据处理、DataLake计算等场景。
2019年1月,阿里云宣布将Blink开源给Apache Flink社区。Blink融入了Blink Table API和Blink Planner,这些都是对Flink原有功能的扩展和优化。因此,可以说Blink是Flink的一个改进版本,旨在提供更好的性能和更多的功能。
在Flink的母公司Data Artisans被阿里巴巴收购后,阿里巴巴开始逐步将内部的Blink代码开源,并将其合并到Flink的主分支上。这一合并过程发生在2019年8月22日,正式发布Apache Flink 1.9.0 版本,合并后,Flink 1.9中存在两个Planner:Flink Planner和Blink Planner。
在v1.9的版本上,做了如下的改进:
● 细粒度批作业恢复 (FLIP-1)
● State Processor API (FLIP-43)
● Stop-with-Savepoint (FLIP-34)
● 重构 Flink WebUI
● 预览新的 Blink SQL 查询处理器
● Table API / SQL 的其他改进
● 预览 Hive 集成 (FLINK-10556)
● 预览新的 Python Table API (FLIP-38)
这表明Blink的代码已经被正式集成到Flink的官方代码中,并成为了Flink的一部分。

当前的Apache Flink

Apache Flink成为ASF项目之后,官网地址:https://flink.apache.org/
在Github中,地址为:https://github.com/apache/flink
在这里插入图片描述

在Github中,目前最新的发布版本为v1.18.1,而在主版本中v1.19已经在开发迭代中,相信在不久的将来也会成为发布版本。如果在我们开发中,尽量避免使用新版本,而是使用稳定版本。
在这里插入图片描述在这里插入图片描述

总结

本文通过Flink和Blink来了解Flink的由来,了解在阿里贡献了很多代码给Flink,作为一个全球最大的电商公司,阿里使用Flink搜索、搜索算法实时A/B测试、在线机器学习、系统精准推荐功能等。得力于Flink的能力,我们可以解决工作中的很多事情,Flink主要应用场景包括实时数据计算、实时数据仓库和ETL、事件驱动型场景(如告警、监控)等。

[引用]
1、Stratosphere项目官网:http://stratosphere.eu/
2、Stratosphere公开出版:http://stratosphere.eu/project/publications/
3、Apache Flink 维基百科:https://en.wikipedia.org/wiki/Apache_Flink


欢迎关注博主 「六月暴雪飞梨花」 或加入【六月暴雪飞梨花社区】一起学习和分享Linux、C、C++、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和技术。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/677496.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

latex双列排版下,插入表格但在单独一页出现,换页出现

问题描述: 在双列排版中,由于需要插入单列的整块表格,但表格出现在新的一页,如图: 解决: 注意是hb,不是htbp \begin{figure*}[hb] \centering \includegraphics[scale0.4]{img1.jpg} \caption…

11.3 OpenGL可编程顶点处理:几何着色器

几何着色器(Geometry Shaders) Geometry Shaders(几何着色器)是现代图形编程接口如OpenGL和DirectX中的一种可编程着色器阶段,它在传统的顶点着色器和片段着色器之间工作。几何着色器允许程序员对图元(如三…

2-2 动手学深度学习v2-损失函数-笔记

损失函数,用来衡量预测值和真实值之间的区别。是机器学习里面一个非常重要的概念。 三个常用的损失函数 L2 loss、L1 loss、Huber’s Robust loss 均方损失 L2 Loss l ( y , y ′ ) 1 2 ( y − y ′ ) 2 l(y,y^{\prime})\frac{1}{2}(y-y^{\prime})^{2} l(y,y′)21…

飞天使-k8s知识点14-kubernetes散装知识点3-Service与Ingress服务发现控制器

文章目录 Service与Ingress服务发现控制器存储、配置与角色 Service与Ingress服务发现控制器 在 Kubernetes 中,Service 和 Ingress 是两种不同的资源类型,它们都用于处理网络流量,但用途和工作方式有所不同。Service 是 Kubernetes 中的一个…

12.06 校招 实习 内推 面经

绿*泡*泡VX: neituijunsir 交流裙 ,内推/实习/校招汇总表格 1、校招 | 美团北斗计划持续招募中(内推) 校招 | 美团北斗计划持续招募中(内推) 2、校招 | 京东2024校招这些岗位持续热招中(内推…

【Flink入门修炼】1-2 Mac 搭建 Flink 源码阅读环境

在后面学习 Flink 相关知识时,会深入源码探究其实现机制。因此,需要现在本地配置好源码阅读环境。 本文搭建环境: Mac M1(Apple Silicon)Java 8IDEAFlink 官方源码 一、 下载 Flink 源码 github 地址:h…

学习数据结构和算法的第6天

时间复杂度和空间复杂度相关练习题 数组nums包含从0到n的所有整数,但其中缺了一个。请编写代码找出那个缺失的整数。你有办法在**O(n)**时间内完成吗? 示例1: 输入:[3,0,1] 输出:2示例2: 输入…

【设计模式】23中设计模式笔记

设计模式分类 模板方法模式 核心就是设计一个部分抽象类。 这个类具有少量具体的方法,和大量抽象的方法,具体的方法是为外界提供服务的点,具体方法中定义了抽象方法的执行序列 装饰器模式 现在有一个对象A,希望A的a方法被修饰 …

一、基础算法之排序、二分、高精度、前缀和与差分、双指针算法、位运算、离散化、区间合并内容。

1.快速排序 算法思想&#xff1a;选择基准元素&#xff0c;比基准元素小的放左边&#xff0c;比基准元素大的放右边。每趟至少一个元素排好。 每一趟实现步骤&#xff1a; low>high&#xff0c;返回&#xff0c;排序完成选取基准元素xa[low],ilow,jhigh当i<j时&#x…

ZOJ 3537 Cake 【区间DP + 凸多边形三角剖分】

Cake 题意 给定平面坐标上的 n n n 个点&#xff0c;如果是凸多边形的话&#xff0c;就用最少的花费把这个多边形剖分成若干个三角形&#xff0c;剖分的线段端点只能是原多边形的顶点&#xff0c;一条线段的花费为&#xff1a; ∣ x i x j ∣ ∣ y i y j ∣ m o d p |x_i…

lua:有关表访问的metamethod

针对在两种正常状态&#xff1a;表的不存在的域的查询和修改&#xff0c;Lua也提供了改变 tables的行为的方法。 index metamethod 我们可以通过index元方法来实现访问table内部不存在的域时人为操控返回数据。 比如以下测试代码&#xff1a; local set {1,2,3} setmetata…

部署一个在线OCR工具

效果 安装 1.拉取镜像 # 从 dockerhub pull docker pull mmmz/trwebocr:latest 2.运行容器 # 运行镜像 docker run -itd --rm -p 10058:8089 --name trwebocr mmmz/trwebocr:latest 使用 打开浏览器输入 http://192.168.168.110:10058/ 愉快滴使用吧

重学 VUE —— 一、创建一个应用

应用实例 每个 Vue 应用都是通过 createApp 函数创建一个新的 应用实例&#xff1a; import { createApp } from vueconst app createApp({/* 根组件选项 */ })根组件 我们传入 createApp 的对象实际上是一个组件&#xff0c;每个应用都需要一个“根组件”&#xff0c;其他…

亚马逊认证考试系列 - 知识点 - LightSail介绍

一、引言 在当今云计算的时代&#xff0c;亚马逊网络服务&#xff08;AWS&#xff09;已成为业界领先的云服务提供商。其中&#xff0c;LightSail服务是AWS为简化云计算的入门和使用而推出的一项服务。它特别适合那些想要快速搭建网站、开发环境或小型应用的用户。通过LightSa…

87.Go Redis实现可重入、自动续期分布式锁

在 86.分布式锁理论分析 中我们介绍了分布式锁的原理、"坑"以及解决办法。本文就给一下代码示例&#xff1a; 一、Redis实现分布式锁 package mainimport ("fmt""github.com/go-redis/redis""time" )var client redis.NewClient(&a…

Android Graphics 图像显示系统 - 开篇

“ 随着学习的不断深入和工作经验的积累&#xff0c;欲将之前在博客中整理的Android Graphics知识做进一步整理&#xff0c;并纠正一些理解上的错误&#xff0c;故开设Graphics主题系列文章 ” 序言 由于工作需要&#xff0c;也源于个人兴趣&#xff0c;终于下决心花时间整理一…

网络请求库axios

一、认识Axios库 为什么选择axios? 功能特点: 在浏览器中发送 XMLHttpRequests 请求在 node.js 中发送 http请求支持 Promise API拦截请求和响应转换请求和响应数据 补充: axios名称的由来? 个人理解没有具体的翻译. axios: ajax i/o system 二、axios发送请求 1.axios请求…

【开源】SpringBoot框架开发大病保险管理系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 系统配置维护2.2 系统参保管理2.3 大病保险管理2.4 大病登记管理2.5 保险审核管理 三、系统详细设计3.1 系统整体配置功能设计3.2 大病人员模块设计3.3 大病保险模块设计3.4 大病登记模块设计3.5 保险审核模块设计 四、…

2024 年 5 款适用于免费 iPhone 数据恢复的工具软件

搜索一下&#xff0c;你会发现许多付费或免费的iPhone数据恢复工具声称它们可以帮助你以很高的成功率找回所有丢失的数据。然而&#xff0c;这正是问题所在。真的很难做出选择。为了进一步帮助您解决数据丢失问题&#xff0c;我们在此列出了 5 款最好的免费 iPhone 恢复软件供您…

滑块识别验证

滑块识别 1. 获取图片 测试网站&#xff1a;https://www.geetest.com/adaptive-captcha-demo 2. 点击滑块拼图并开始验证 # 1.打开首页 driver.get(https://www.geetest.com/adaptive-captcha-demo)# 2.点击【滑动拼图验证】 tag WebDriverWait(driver, 30, 0.5).until(la…