浅议Flink中的通讯工具: Akka

在Flink中,各个组件之间需要频繁交换数据和控制信息。Flink选择了基于Actor模型的Akka框架作为通信基础。

Akka是什么

Actor模型

Actor模型是用于单个进程中并发的场景。

在Actor模型中:

  • ActorSystem负责管理actor生命周期

  • 将每个实体视为独立的 Actor,拥有自己的状态。

  • 每个Actor一次只处理一条消息,不需要担心线程

  • Actor之间通过消息传递进行异步通信,而不是直接调用[1]

    即:每个Actor都有一个类似信箱的消息队列(mailbox),用于接收其他Actor发来的消息以备后续处理。   (在不使用Actor模型时,假设actor2和actor3在各自线程中都要让actor1修改某个数据,那么actor1就不得不加锁来避免线程之间的竞争。而在Actor模型中,actor2和actor3只是通过发送邮件来让actor1修改某个数据。actor1逐一从邮箱中拿出邮件执行改名行为,这就不会产生竞争。)

这种设计既保证了并发安全,又提供了良好的扩展性。

070e2e47f4cecd67808c0586248f4722.jpeg

Akka:分布式Actor框架

Akka是一个将消息代理和Actor模型进行整合的分布式框架[2],actor被用来进行节点内和节点间的消息传递。在Akka中:

  1. 每个Actor都有唯一的路径标识

  2. 通过ActorRef(Actor的引用)进行通信

  3. 支持两种通信模式:

  • tell:发送消息后无需等待响应

  • ask:发送消息后通过异步回调函数处理响应

Flink中的Akka应用

Flink中的JobManager,TaskManager,Dispatcher等之间会相互通信(即Remote Procedure Call ,RPC),以进行fink作业的提交,资源分配和作业调度等。

baee2f4702671587c83d642ced360624.jpeg

RPC框架中涉及了JobManager,TaskManager,Dispatcher等类。

061b53e4b37e1e1575ae07ddd4a34279.jpeg

从运行日志中可知,JobManager/TaskManager/Dispatcher等组件在启动时都会被封装为RpcEndpoint,从而具备通信能力。

RPC框架就是基于Akka实现的,并对Akka中的ActorSystem、Actor进行了封装[3]。

RPC(本地/远程)调用,底层是通过 Akka 提供的 tell/ask 方法进行通信。

3dc5d6318186d7d9d0ed171cc3526346.jpeg

通过这种设计,Flink既利用了Akka成熟的通信机制,又能根据自身需求进行定制化扩展。

参考

1. 尚硅谷Flink内核源码解析课程(从入门到精通)
https://www.bilibili.com/video/BV1rh411C77P?spm_id_from=333.788.videopod.episodes&vd_source=23ce4decfcb0fd94528070beadbbc9e2&p=39
2.《数据密集型应用系统设计》  Martin Kleppmann 著 P132-P134
3. 深入理解 Flink(三)Flink 内核基础设施源码级原理详解 https://juejin.cn/post/7321979919674736694#heading-8

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/61478.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java-05 深入浅出 MyBatis - 配置深入 动态 SQL 参数、循环、片段

点一下关注吧!!!非常感谢!!持续更新!!! 大数据篇正在更新!https://blog.csdn.net/w776341482/category_12713819.html 目前已经更新到了: MyBatis&#xff…

Vue.js 自定义指令:从零开始创建自己的指令

vue使用directive 前言vue2使用vue3使用 前言 关于使用自定义指令在官网中是这样描述的 vue2:对普通 DOM 元素进行底层操作,这时候就会用到自定义指令。 vue3:自定义指令主要是为了重用涉及普通元素的底层 DOM 访问的逻辑。 在 Vue.js 中使用自定义指令&#xf…

uni-app快速入门(十一)--常用JS API(上)

在前面学习了uni-app的布局、组件、路由等知识点以后,还要掌握uni-app的JS API ,也可以理解为基于uni-app的java script。本节介绍uni-app的request请求、文件上传、数据缓存、获取位置、获取系统信息、获取手机的网络状态、拨打电话API。 一、request请求 使用uni…

Ubuntu24.04解决向日葵安装libgconf-2-4依赖问题

最近在加装的ssd上加装了个Ubuntu,当然要装最新的长期支持稳定版啦,24.04.1,却发现常用的向日葵不好安装成功,即使是官方的说明,应该是用这个版本系统的人还不多。 找到了一个帅哥的解决方案,是可行的 但是…

工厂模式-工厂方法模式实现

具体的产品有具体的工厂类生产,这样当新增商品时,不需要修改原来的工厂类 主要有4个角色 抽象工厂 具体工厂 抽象产品 具体产品 1. 定义抽象产品,本文以生产手机为例 /*** @desc 抽象产品**/ public interface Phone { } 2. 定义具体产品-Apple /*** @desc 具体产品…

详解SpringCloud集成Camunda7.19实现工作流审批(一)

背景是公司里的一个企业管理系统项目里许多业务涉及了审批流,因此需要引进工作流引擎来开发一个通用的工作流服务,经过调研最终采用的是集成Camunda7.19版本引擎来实现文章目录 一、参考资源二、工作流简介三、工作流引擎四、Camunda安装1.流程图设计器2…

【Linux内核剖析】深入分析inet_init的处理机制

inet_init 是 Linux 内核中用于初始化 TCP/IP 协议栈的函数。它在内核启动时被调用,完成各种协议和数据结构的注册和初始化。 主要功能: 注册 TCP、UDP、ICMP 等协议。初始化 ARP、IP 和其他网络协议模块。设置 socket 操作和协议处理。 前后调用关系链…

使用 .NET 创建新的 WPF 应用

本教程介绍如何使用 Visual Studio 创建新的 Windows Presentation Foundation (WPF) 应用。 使用 Visual Studio,可以向窗口添加控件以设计应用的 UI,并处理这些控件中的输入事件以与用户交互。 在本教程结束时,你有一…

【机器学习chp3】判别式分类器:线性判别函数、线性分类器、广义线性分类器、分段线性分类器

前言: 本文遗留问题:(1)对最小平方误差分类器的理解不清晰.(2)分段线性判别函数的局部训练法理解不清晰。 推荐文章1,其中有关于感知机的分析 【王木头从感知机到神经网络】-CSDN博客 推荐文…

聚焦 NLP 和生成式 AI 的创新与未来 基础前置知识点

给学生们讲解的技术内容可以根据他们的背景、兴趣和教学目标来规划。以下是一些适合不同阶段和领域的技术主题建议,尤其是与大语言模型(如 ChatGPT)相关的内容: 1. 自然语言处理(NLP)基础 适合对 NLP 了解…

python3 Flask应用 使用 Flask-SQLAlchemy操作MySQL数据库

一、环境搭建 下载命令: pip install flask flask-sqlalchemy pymysql 二、创建项目结构 yourProjectFolder/ |—— app.py |—— config.py |—— models.py |__ mydb.py 三、基本使用 3.1 config.py 进行数据库连接配置 import osbasedir os.path.abspat…

深度学习:神经网络中线性层的使用

深度学习:神经网络中线性层的使用 在神经网络中,线性层(也称为全连接层或密集层)是基础组件之一,用于执行输入数据的线性变换。通过这种变换,线性层可以重新组合输入数据的特征,并将其映射到新…

Android中常见内存泄漏的场景和解决方案

本文讲解Android 开发中常见内存泄漏场景及其解决方案,内容包括代码示例、原因分析以及最佳实践建议。 1. 静态变量导致的内存泄漏 静态变量的生命周期与应用进程一致,如果静态变量持有了对 Activity 或其他大对象的引用,就可能导致内存泄漏…

docker-compose 安装 pgsql (postgres)

docker-compose-pg.yml 文件内容 version: 3 services:iepms-gateway:image: postgres:14.13container_name: postgresql-14.13restart: alwaysprivileged: trueenvironment:- POSTGRES_PASSWORD: test2024ports:- 15432:5432volumes:- /home/iepms/data/pgsql/data:/var/lib/…

Python 小高考篇(4)循环语句

目录 for 循环一个参数两个参数三个参数 while 循环break和continue语句break语句自测总结结尾 本文由Jzwalliser原创,发布在CSDN平台上,遵循CC 4.0 BY-SA协议。 因此,若需转载/引用本文,请注明作者并附原文链接,且禁止…

小程序20-样式:自适应尺寸单位 rpx

手机设备的宽度逐渐多元化,也就需要开发者开发过程中,去适配不同屏幕宽度的手机,为了解决屏幕适配问题,微信小程序推出了 rpx 单位 rpx:小程序新增的自适应单位,可以根据不同设备的屏幕宽度进行自适应缩放 …

网络安全,文明上网(1)享科技,提素养

前言 在这个信息化飞速发展的时代,科技的快速进步极大地丰富了我们的生活,并为我们提供了无限的可能性。然而,随着网络世界的不断扩张,增强我们的网络素养成为了一个迫切需要解决的问题。 与科技同行,培育网络素养 技术…

豆瓣书摘 | 爬虫 | Python

获取豆瓣书摘,存入MongoDB中。 import logging import timeimport requests from bs4 import BeautifulSoup from pymongo import MongoClientheaders {accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,…

JVM垃圾回收算法详解

在Java开发中,JVM(Java虚拟机)的垃圾回收机制是自动管理内存的关键部分。垃圾回收器(Garbage Collector, GC)通过一系列算法判断哪些对象可以被回收,从而释放内存空间供新对象使用。本文将深入探讨JVM中的垃…

Linux设置开机自动执行脚本 rc-local

使用/etc/rc.local 1、启动rc-local服务 首先授予执行权限 chmod x /etc/rc.d/rc.local设置开启自启并启动 sudo systemctl enable rc-local sudo systemctl start rc-local查看状态 sudo systemctl status rc-local2、编写要执行的脚本 vim /home/start.sh #!/bin/bash…