【大数据】Flink 内存管理（二）：JobManager 内存分配（含实际计算案例）

Flink 内存管理（二）：JobManager 内存分配

  • 1.分配 Total Process Size
  • 2.分配 Total Flink Size
  • 3.单独分配 Heap Size
  • 4.分配 Total Process Size 和 Heap Size
  • 5.分配 Total Flink Size 和 Heap Size

JobManager 是 Flink 集群的控制元素。它由三个不同的组件组成： 资源管理器（Resource Manager）、调度器（Dispatcher）和每个运行中的 Flink 作业的一个作业管理器（JobMaster）。

JobManager 的内存模型如下：
在这里插入图片描述
以上 Total Process Memory 的模型图可以分为以下的 4 个内存组件，如果在分配内存的时候，显示的指定了组件其中的 1 1 1 个或者多个，那么 JVM Overhead 的值就是在其它组件确定的情况下，用 Total Process Size - 其它获取的值，必须在 min - max 之间，如果没有指定组件的值，那么就按照 0.1 0.1 0.1 的比例进行计算得到，如果计算出的值小于 min 取 min，如果大于 max 取 max，如果 min、max 指定的相等，那么这个 JVM Overhead 就是一个确定的值！

内存组件
配置选项
内存组件的功能
JVM Heapjobmanager.memory.heap.sizeJobManager 的 JVM 堆内存大小。这个大小取决于提交的作业个数和作业的结构以及用户代码的要求。主要用来运行 Flink 框架，执行作业提交时的用户代码以及 Checkpoint 的回调代码。
Off-Heap Memoryjobmanager.memory.off-heap.sizeJM 的对外内存的大小。涵盖了所有 Direct 和 Native 的内存分配。用来执行 akka 等外部依赖，同时也负责运行 Checkpoint 回调及作业提交时的用户代码，有默认值 128 M 128M 128M。
JVM Metaspacejobmanager.memory.jvm-metaspace.sizeJM 的元空间大小，有默认值 256 M 256M 256M， 属于 Native Memory。
JVM Overheadjobmanager.memory.jvm-overhead.min jobmanager.memory.jvm-overhead.max jobmanager.memory.jvm-overhead.fractionJVM 额外开销。为 Thread Stacks，Code Cache，Garbage Collection Space 预留的 Native Memory，有默认的 faction of total process size，但是必须在其 min & max 之间。

在 《Flink 内存管理（一）：设置 Flink 进程内存》中我们提到，必须使用下述三种方法之一配置 Flink 的内存（本地执行除外），否则 Flink 启动将失败。这意味着必须明确配置以下选项子集之一，这些子集没有默认值。

序号for TaskManagerfor JobManager
1️⃣taskmanager.memory.flink.sizejobmanager.memory.flink.size
2️⃣taskmanager.memory.process.sizejobmanager.memory.process.size
3️⃣taskmanager.memory.task.heap.size 和 taskmanager.memory.managed.sizejobmanager.memory.heap.size

1.分配 Total Process Size

  • jobmanager.memory.process.size

在这里插入图片描述
在这里插入图片描述

此时我们只显示指定了 jobmanager.memory.process.size 的值，没有指定其它组件，此时整个 JobManager 的 JVM 进程能占用的内存为 2000 M 2000M 2000M。

  • Total Process Size = 2000 M = 2000M =2000M（这是分配的基准值）
  • JVM Overhead 因为没有指定其它组件内存，所以被按照 0.1 0.1 0.1 的比例推断成： 2000 M × 0.1 × 1024 × 1024 = 209715203 B = 200 M 2000M × 0.1 × 1024 × 1024 = 209715203B = 200M 2000M×0.1×1024×1024=209715203B=200M
  • JVM Metaspace 默认值为 256 M 256M 256M
  • Off-Heap Memeory 默认值为 128 M 128M 128M
  • JVM Heap 最终被推断为 2000 M − 200 M − 256 M − 128 M = 1.38 G 2000M - 200M - 256M - 128M = 1.38G 2000M−200M−256M−128M=1.38G

为啥 JVM Heap 只有 1.33 G B 1.33GB 1.33GB 而不是 1.38 G B 1.38GB 1.38GB 呢？

在这里插入图片描述
其实这个取决于你使用的 GC 算法会占用其中很小一部分固定内存作为 Non-Heap，该占用部分大小为： 1.38 − 1.33 = 0.05 G B 1.38-1.33 = 0.05GB 1.38−1.33=0.05GB。

2.分配 Total Flink Size

  • jobmanager.memory.flink.size

在这里插入图片描述
在这里插入图片描述

此时我们只显示指定了 jobmanager.memory.flink.size 的值，也没有指定其它组件如 Heap Size，此时整个 JobManager 的 JVM 进程除了 JVM Overhead 及 JVM Metaspace 之外能占用的内存为 2000 M 2000M 2000M。

  • Total Flink Size = 2000 M = 1.95 G = 2000M = 1.95G =2000M=1.95G（这属于 Total Process Size 的组件之一，Overhead 只能最后按剩余的内存来被推断）
  • JVM Metaspace 默认值为 256 M 256M 256M（固定默认值）
  • Off-Heap Memeory 默认值为 128 M 128M 128M（固定默认值）
  • JVM Heap = 2000 M − 128 M − 80 M B （ G C 算法占用） = 1.75 G B = 2000M - 128M - 80MB（GC算法占用）= 1.75GB =2000M−128M−80MB（GC算法占用）=1.75GB
  • 根据 JVM Overhead = = =(JVM Overhead + Metaspace 256 M 256M 256M + Flink Size 2000 M ) × 0.1 2000 M) ×\ 0.1 2000M)× 0.1，计算可得：
    • Total Process Size = 2.448 G B = 2.448GB =2.448GB
    • JVM Overhead = 2.448 G B × 0.1 = 262843055 B = 250.667 M B = 2.448GB × 0.1 = 262843055B = 250.667MB =2.448GB×0.1=262843055B=250.667MB，在 192 M ～ 1 G B 192M～1GB 192M～1GB，为有效

最终资源的分配如以下日志所示：

在这里插入图片描述

3.单独分配 Heap Size

  • jobmanager.memory.heap.size

在这里插入图片描述
在这里插入图片描述

此时我们只显示指定了 jobmanager.memory.heap.size 的值，相当于显示配置了组件的值，此时整个 JobManager 的 JVM Heap 被指定为最大内存为 1000 M 1000M 1000M。

  • JVM Heap 被指定为 1000 M 1000M 1000M，但是得从 GC 算法中扣除 41 M B 41MB 41MB，实际 JVM Heap = 959 M B = 959MB =959MB
  • JVM Metaspace 默认值为 256 M 256M 256M
  • Off-Heap Memeory 默认值为 128 M 128M 128M
  • Total Flink Size = 1128 M B = 1.102 G B = 1128MB = 1.102GB =1128MB=1.102GB
  • JVM Overhead = ( 1128 M B + 256 M + = (1128MB + 256M + =(1128MB+256M+ JVM Overhead ) × 0.1 ) × 0.1 )×0.1
    • JVM Overhead = 153.778 < 192 M B = 153.778 < 192MB =153.778<192MB（默认的 min），所以 JVM Overhead = 192 M B = 192MB =192MB
  • Total Process Size = 1128 M B + 256 M + = 1128MB + 256M + =1128MB+256M+ JVM Overhead = 1576 M B = 1.5390625 G B = 1.539 G B = 1576MB = 1.5390625GB = 1.539GB =1576MB=1.5390625GB=1.539GB

在这里插入图片描述

4.分配 Total Process Size 和 Heap Size

在这里插入图片描述
在这里插入图片描述
由于指定了 heap.size 内存组件的的大小，那么 JVM Overhead 就是取剩余的 Total Process Size 的内存空间。

  • Total Process Size = 2000 M B = 2000MB =2000MB && JVM Heap = 1000 M B = 1000MB =1000MB，实际只有 959 M B 959MB 959MB，因为减去了 41 M B 41MB 41MB 的 GC 算法占用空间
  • JVM Metaspace 默认值为 256 M 256M 256M
  • Off-Heap Memeory 默认值为 128 M 128M 128M
  • Total Flink Size = 1000 M B + 128 M B = 1128 M B = 1000MB + 128MB = 1128MB =1000MB+128MB=1128MB
  • JVM Overhead = 2000 M B − 1128 M B − 256 M B = 616 M B = 2000MB - 1128MB - 256MB = 616MB =2000MB−1128MB−256MB=616MB

在这里插入图片描述

5.分配 Total Flink Size 和 Heap Size

在这里插入图片描述
在这里插入图片描述

由于指定了 head.size 组件的大小，那么 Overhead 就按照剩余 Total Process Size 的内存空间分配。

  • Total Flink Size = 2000 M B = 2000MB =2000MB && JVM Heap = 1000 M B = 1000MB =1000MB，实际 959 M B 959MB 959MB，减去了 GC 算法的占用空间
  • JVM Off-Heap = 2000 M B − 1000 M B = 1000 M B = 2000MB - 1000MB = 1000MB =2000MB−1000MB=1000MB
  • JVM Metaspace = 256 M B = 256MB =256MB
  • 首先根据 JVM Overhead = ( = ( =(JVM Overhead + + + Metaspace 256 M 256M 256M + + + Flink Size 2000 M ) × 0.1 2000M) × 0.1 2000M)×0.1
    • Total Process Size = 2.448 G B = 2.448GB =2.448GB
    • JVM Overhead = 2.448 G B × 0.1 = 262843055 B = 250.667 M B = 2.448GB × 0.1 = 262843055B = 250.667MB =2.448GB×0.1=262843055B=250.667MB，在 192 M ～ 1 G B 192M～1GB 192M～1GB，为有效
  • 最终确定 Total Process Size = 2.448 G B = 2.448GB =2.448GB && JVM Overhead = 250.667 M B = 250.667MB =250.667MB

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/699936.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【经验分享】分类算法与聚类算法有什么区别？白话讲解

【经验分享】分类算法与聚类算法有什么区别？白话讲解

经常有人会提到这个问题&#xff0c;从我个人的观点和经验来说2者最明显的特征是&#xff1a;分类是有具体分类的数量&#xff0c;而聚类是没有固定的分类数量。 你可以想象一下&#xff0c;分类算法就像是给你一堆水果&#xff0c;然后告诉你苹果、香蕉、橙子分别应该放在哪里…
阅读更多...
Kotlin 基本语法5 继承，接口，枚举，密封

Kotlin 基本语法5 继承，接口，枚举，密封

1.继承与重写的Open关键字 open class Product(val name:String ) {fun description() "Product: $name"open fun load() "Nothing .."}class LuxuryProduct:Product("Luxury"){//继承需要调用 父类的主构造函数override fun load(): String {…
阅读更多...
自定义 Git Hook

自定义 Git Hook

前言 前端同学大概都熟悉 husky 这个工具&#xff0c;他可以直接在项目中添加 git hooks&#xff0c;主要解决了 git hooks 不会同步到 git 仓库的问题&#xff0c;保证了每个开发人员的本地仓库都能执行相同的 git hooks。 但是 husky 毕竟是一个 JS 生态的工具&#xff0c;…
阅读更多...
ONLYOFFICE桌⾯应⽤程序v8.0：功能丰富，⽀持多平台

ONLYOFFICE桌⾯应⽤程序v8.0：功能丰富，⽀持多平台

文章目录 可填写的 PDF 表单RTL支持电子表格中的新增功能其他改进和新增功能与 Moodle 集成用密码保护 PDF 文件快速创建文档本地界面主题总结 继 ONLYOFFICE 文档 v8.0 的发布后&#xff0c;很高兴&#xff0c;因为适用于 Linux、Windows 和 macOS 的 ONLYOFFICE 桌面应用程序…
阅读更多...
【elementUi-table表格】 滚动条 新增监听事件； 滚动条滑动到指定位置；

【elementUi-table表格】 滚动条 新增监听事件； 滚动条滑动到指定位置；

1、给滚动条增加监听 this.dom this.$refs.tableRef.bodyWrapperthis.dom.scrollTop 0let _that thisthis.dom.addEventListener(scroll, () > {//获取元素的滚动距离let scrollTop _that.dom.scrollTop//获取元素可视区域的高度let clientHeight this.dom.clientHeigh…
阅读更多...
Matlab/simulink基于MPPT风光储微电网建模仿真（持续更新）

Matlab/simulink基于MPPT风光储微电网建模仿真（持续更新）

​ 2.Matlab/simulink基于MPPT风光储微电网建模仿真&#xff08;持续更新&#xff09; 1.Matlab/simulink基于vsg的风光储调频系统建模仿真&#xff08;持续更新&#xff09;
阅读更多...
QT 打包命令 windeployqt 在windows平台应用

QT 打包命令 windeployqt 在windows平台应用

本文以qt6.2.4 MSVC2019 为例&#xff0c;描述打包过程。 前置条件&#xff1a;已经生成了可执行文件&#xff0c;比如xxx.exe 1.在搜索框输入QT,点击QT6.2.4(MSVC 2019 64-bit) 以你实际安装的版本为准。 2.出现如下黑屏命令行 3.在QT 项目文件下新建一个打包文件夹&#x…
阅读更多...
VIO第2讲：IMU标定实验

VIO第2讲：IMU标定实验

VIO第2讲&#xff1a;IMU标定实验 文章目录 VIO第2讲&#xff1a;IMU标定实验5 IMU标定实验5.1 仿真数据产生5.1.1 c代码分析5.1.2 生成ros包数据 5.2 Allan方差实验&#xff08;港科大imu_utils&#xff09;5.2.1 安装5.2.2 运行 5.3 Allan方差实验&#xff08;matlab代码kali…
阅读更多...
Vue局部注册组件实现组件化登录注册

Vue局部注册组件实现组件化登录注册

Vue局部注册组件实现组件化登录注册 一、效果二、代码1、index.js2、App.vue3、首页4、登录&#xff08;注册同理&#xff09; 一、效果 注意我这里使用了element组件 二、代码 1、index.js import Vue from vue import VueRouter from vue-router import Login from ../vie…
阅读更多...
基于SVM的功率分类，基于支持向量机SVM的功率分类识别，Libsvm工具箱详解

基于SVM的功率分类，基于支持向量机SVM的功率分类识别，Libsvm工具箱详解

目录 支持向量机SVM的详细原理 SVM的定义 SVM理论 Libsvm工具箱详解 简介 参数说明 易错及常见问题 完整代码和数据下载链接：基于SVM的功率分类，基于支持向量机SVM的功率分类识别资源-CSDN文库 https://download.csdn.net/download/abc991835105/88862836 SVM应用实例， 基于…
阅读更多...
虚拟机的四种网络模式对比

虚拟机的四种网络模式对比

nat网络地址转换 nat网络 桥接 内网模式 仅主机
阅读更多...
【Java】java异常处理机制（实验五）

【Java】java异常处理机制（实验五）

目录 一、实验目的 二、实验内容 三、实验小结 一、实验目的 1、理解java的异常处理机制 2、掌握try catch结构和thow和thows关键字的用法 二、实验内容 1、编写一个程序&#xff0c;输入某个班某门课程成绩&#xff0c;统计及格人数、不及格人数及课程平均分。设计一个异…
阅读更多...
通天星CMSV6 车载视频监控平台信息泄露漏洞

通天星CMSV6 车载视频监控平台信息泄露漏洞

免责声明&#xff1a;文章来源互联网收集整理&#xff0c;请勿利用文章内的相关技术从事非法测试&#xff0c;由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#xff0c;所产生的一切不良后果与文章作者无关。该…
阅读更多...
【Python-语法】

【Python-语法】

Python-语法 ■ Python基础■ 数据类型■ 注释 单行注释&#xff0c;多行注释■ 编码方式 ■■■■■ ■ Python基础 ■ 数据类型 ■ 注释 单行注释&#xff0c;多行注释 ■ 编码方式 ■ ■ ■ ■ ■
阅读更多...
【深度学习】微调通义千问模型：LoRA 方法，微调Qwen1.8B教程，实践

【深度学习】微调通义千问模型：LoRA 方法，微调Qwen1.8B教程，实践

官网资料: https://github.com/QwenLM/Qwen/blob/main/README_CN.md 文章目录 准备数据运行微调设置网络代理启动容器执行 LoRA 微调修改 finetune/finetune_lora_single_gpu.sh运行微调 执行推理 在本篇博客中&#xff0c;我们将介绍如何使用 LoRA 方法微调通义千问模型&#…
阅读更多...
Unity 2021.3发布WebGL设置以及nginx的配置

Unity 2021.3发布WebGL设置以及nginx的配置

使用unity2021.3发布webgl 使用Unity制作好项目之后建议进行代码清理&#xff0c;这样会即将不用的命名空间去除&#xff0c;不然一会在发布的时候有些命名空间webgl会报错。 平台转换 将平台设置为webgl 设置色彩空间压缩方式 Compression Format 设置为DisabledDecompre…
阅读更多...
Sora：开启视频生成新时代的强大人工智能模型

Sora：开启视频生成新时代的强大人工智能模型

目录 一、Sora模型的诞生与意义 二、Sora模型的技术特点与创新 三、Sora模型的应用前景与影响 四、面临的挑战与未来发展 1、技术挑战 2、道德和伦理问题 3、计算资源需求 4、未来发展方向 随着信息技术的飞速发展&#xff0c;人工智能&#xff08;AI&#xff09;已成为…
阅读更多...
vue3中使用vuedraggable实现拖拽el-tree数据进分组

vue3中使用vuedraggable实现拖拽el-tree数据进分组

看效果&#xff1a; 可以实现单个拖拽、双击添加、按住ctrl键实现多个添加&#xff0c;或者按住shift键实现范围添加&#xff0c;添加到框中的数据&#xff0c;还能拖拽排序 先安装 vuedraggable 这是他的官网 vue.draggable中文文档 - itxst.com npm i vuedraggable -S 直接…
阅读更多...
拓扑空间简介

拓扑空间简介

目录 介绍集合论与映射映射相关定义映射&#xff08;map&#xff09;映射的一种分类&#xff1a;一一的和到上的 拓扑空间背景介绍开子集开子集的选择 拓扑拓扑空间常见拓扑拓扑子空间同胚其他重要定义 开覆盖紧致性有限开覆盖紧致性 R R R的紧致性 习题 介绍 这是对梁灿彬的《…
阅读更多...
【软件架构】01-架构的概述

【软件架构】01-架构的概述

1、定义 软件架构就是软件的顶层结构 RUP&#xff08;统一过程开发&#xff09;4 1 视图 1&#xff09;逻辑视图&#xff1a; 描述系统的功能、组件和它们之间的关系。它主要关注系统的静态结构&#xff0c;包括类、接口、包、模块等&#xff0c;并用于表示系统的组织结构…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023