Flink 常用问题及常用配置(有用)

一、Flink 常用问题及常用配置

参数

示例

说明

execution.checkpointing.interval

3min

Checkpoint 触发间隔

state.backend

rocksdb / filesystem

用于设置statebackend类型, 默认会以内存为statebackend(无法支持大状态)

taskmanager.memory.jvm-overhead.max

2048m

如果使用rocksdb Statebackend可能会出现堆外内存超用导致container lost问题,配置此参数可避免出现该问题

taskmanager.memory.jvm-overhead.fraction

0.2

默认是0.1 , 如果调整超过了1G,则需要调整taskmanager.memory.jvm-overhead.max, 增大max

taskmanager.memory.managed.fraction

0.5

设置managed memory的内存使用比例

taskmanager.memory.managed.size

2048m

设置managed memory的大小

state.backend.rocksdb.memory.partitioned-index-filters

true

对RocksDB 的 partitioned Index 做了多级索引, 如果rocksdb的性能较差,可以尝试开启次参数进行优化

state.checkpoint.fs.ignore-missing-file

false

当误删checkpoint导致作业无法启动时,通过设置该参数为true(默认false),使作业能够正常启动,仅在TM日志中记录一条异常(一般强烈建议不开启,可能会丢失状态,待出现该异常后再确定是否开启)

state.backend.checkpoint.stream-concat-enabled

true

开启状态文件合并,减少状态文件的数量.

env.java.opts.jobmanager=""

配置 jobManager jvm 参数

env.java.opts.taskmanager=""

配置 taskmanager jvm 参数

pipeline.operator-chaining

true

是否开启operator chain

flink.log.level

info / debug

flink日志级别

二、另外,CGroup内存和taskmanager heap 内存的区别

区别总结:

特性TaskManager Heap MemoryCGroup Memory
定义Flink 配置项 taskmanager.heap.size 设置的 JVM 堆内存操作系统(Linux)通过 CGroup 限制的 总内存
管理方式JVM(Java) 内部的垃圾回收(GC)进行管理Linux 内核 的 CGroup 进行管理
配置位置Flink 配置文件中的 taskmanager.heap.size通过操作系统或容器配置(如 Docker 的 --memory
内存类型仅限于 JVM 堆内存包括 堆内存非堆内存网络缓冲区
影响影响 Flink 任务的内存分配和垃圾回收频率控制整个 TaskManager 进程的内存使用限制
资源限制只影响 JVM 堆内存,不包括非堆内存限制 TaskManager 进程的所有内存消耗,包括堆内存、非堆内存和其他内存
超出限制时的处理可能导致频繁的垃圾回收,影响性能可能导致 OOM(Out of Memory)错误,TaskManager 崩溃

结论:

  • taskmanager.heap.size 主要影响 JVM 堆内存,它是 Flink 任务内存管理的一个核心部分。
  • CGroup 内存限制 是操作系统级别的限制,控制的是 TaskManager 进程的总体内存使用,包括堆内存、非堆内存以及其他类型的内存(例如网络缓冲区等)。CGroup 用于防止 TaskManager 因为内存使用过多而导致系统稳定性问题。

三、一般报错,报task manager was lost错误时:

task manager was lost只是现象,经常是内存OOM,container被kill掉了。具体是堆内内存不够还是堆外内存不够,需要具体看监控上的heap和cgroup内存监控,然后调整对应的内存资源分配。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/887260.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue3(十九)-基础入门之vue-nuxt反向代理

一、反向代理 1、下载 nuxtjs/proxy 使用 npm npm install nuxtjs/proxy 或使用 yarn yarn add nuxtjs/proxy 2、配置 nuxt.config.js 文件 export default {modules: [nuxtjs/axios,nuxtjs/proxy],axios: {baseURL: /,proxy: true},proxy: {/api/: {target: https://i.maoya…

5G CPE与4G CPE的主要区别有哪些

什么是CPE? CPE是Customer Premise Equipment(客户前置设备)的缩写,也可称为Customer-side Equipment、End-user Equipment或On-premises Equipment。CPE通常指的是位于用户或客户处的网络设备或终端设备,用于连接用户…

【数据结构-队列】力扣232. 用栈实现队列

请你仅使用两个栈实现先入先出队列。队列应当支持一般队列支持的所有操作(push、pop、peek、empty): 实现 MyQueue 类: void push(int x) 将元素 x 推到队列的末尾 int pop() 从队列的开头移除并返回元素 int peek() 返回队列开头…

推荐一个QDirStat基于 Qt 的目录统计工具

QDirStat 是一款基于 Qt 的目录统计工具,旨在帮助用户分析磁盘空间使用情况并进行清理。QDirStat的一些主要特点和功能: 跨平台兼容性:QDirStat 支持 Linux、BSD、Unix-like 系统以及 macOS,确保了广泛的用户基础。 直观的数据展…

C语言数学函数库<math.h>的常用函数讲解

math函数 一. 基础数学函数1. fabs(double x) — 绝对值2. fmod(double x, double y) — 余数3. pow(double x, double y) — 幂运算4. sqrt(double x) — 平方根5. cbrt(double x) — 立方根6. hypot(double x, double y) — 计算斜边 二. 对数和指数函数1. exp(double x) — …

【海思Hi3519DV500】双目网络相机套板硬件规划方案

Hi3519DV500双目网络相机套板是针对该芯片设计的一款 IP 编码板 PCBA,硬件接口支持双目sensor 接入,SDIO3.0 接口、USB2.0、USB3.0、UART 接口以及丰富的 IO 扩展应用,可根据各种使用场景设计相应扩展板,丰富外围接口,…

已阻止加载“http://localhost:8086/xxx.js”的模块,它使用了不允许的 MIME 类型 (“text/plain”)。

记录今天解决的一个小bug 在终端启动8080端口号监听后,打开网址http://localhost:8080,发现不能正确加载页面,打开检查-控制台,出现如下警告:已阻止加载“http://localhost:8086/xxx.js”的模块,它使用了不…

unity3d——基础篇小项目(开始界面)

示例代码&#xff1a; using System.Collections; using System.Collections.Generic; using UnityEngine;public class BeginPanel : BasePanel<BeginPanel> {public UIButton btnBegin;public UIButton btnRank;public UIButton btnSetting;public UIButton btnQuit; …

【AI日记】24.11.19 GraphRAG

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】【AI日记】 核心工作 1 内容&#xff1a;修改简历和投简历时间&#xff1a;1 小时结果&#xff1a;都失败了&#xff0c;不过我不会气馁&#xff0c;我会越挫越勇 核心工作 2 内容&#xff1a;学习微软的开源项目 Grap…

React Native的界面与交互

React Native (RN) 是一个由 Facebook 开发的开源框架&#xff0c;用于构建跨平台的移动应用程序。它允许开发者使用 JavaScript 和 React 来创建原生 iOS 和 Android 应用。RN 的出现极大地简化了移动应用的开发过程&#xff0c;使得开发者可以更快速、更高效地构建高质量的应…

时序预测 | Matlab实现PSO-Elman粒子群优化递归神经网络时间序列预测

时序预测 | Matlab实现PSO-Elman粒子群优化递归神经网络时间序列预测 目录 时序预测 | Matlab实现PSO-Elman粒子群优化递归神经网络时间序列预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 Matlab实现PSO-Elman粒子群优化递归神经网络时间序列预测&#xff08;完整源…

Let‘s Encrypt SSL证书:acmessl.cn申请免费3个月证书

目录 一、CA机构 二、Lets Encrypt特点 三、申请SSL 一、CA机构 ‌Lets Encrypt‌是一个由非营利组织Internet Security Research Group (ISRG)运营的证书颁发机构&#xff08;CA&#xff09;&#xff0c;旨在通过自动化和开放的方式为全球网站提供免费、可靠的SSL/TLS证书。…

丹摩征文活动|基于丹摩算力Llama3.1实现私有化部署的Chatbot

一、简介 Llama 3.1 模型介绍 Llama 3.1 是一种大型的、开源的语言生成模型&#xff0c;类似于OpenAI的GPT-3&#xff0c;但它是由Meta&#xff08;前Facebook&#xff09;推出的。Llama 3.1具备强大的自然语言处理能力&#xff0c;可以执行各种语言任务&#xff0c;如对话生…

ssm168基于jsp的实验室考勤管理系统网页的设计与实现+jsp(论文+源码)_kaic

毕 业 设 计&#xff08;论 文&#xff09; 题目&#xff1a;实验室考勤管理系统设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&#xff0c;归纳&#xff0c;集中处理数据信息的管理方式。本实验室考勤管…

(动画)Qt控件 QLCDNumer

文章目录 LCD Number1. 介绍2. 核心属性3 . 代码实现:倒计时1. 在界⾯上创建⼀个 QLCDNumber , 初始值设为 10.2. 修改 widget.h 代码, 创建⼀个 QTimer 成员, 和⼀个 updateTime 函数3. 修改 widget.cpp, 在构造函数中初始化 QTimer4. 修改 widget.cpp, 实现 updateTime 4. 动…

session理解

一、术语session   session&#xff1a;中文经常翻译为 ‘会话’&#xff0c;其本来的含义是指有始有终的一系列动作/消息&#xff0c;比如&#xff1a;打电话时从拿起电话拨号到挂断电话这中间的一系列过程可以称为一个session。在阅读技术书籍时我们可能会看到这样的话“在…

Java集合分页

一、前言 在Java开发中&#xff0c;若单次展示的数据量太大&#xff0c;会造成程序响应缓慢&#xff0c;就需要用到分页功能&#xff0c;每一页展示一定量的数据&#xff0c;分多次展示 ... 那么在List集合中&#xff0c;如何实现分页功能呢&#xff1f; 本文将以3种方式&…

【线程】Java多线程编程

【线程】Java多线程编程 一、前言一个最简单的多线程编程示例可以使用的工具 二、创建线程的方式三、Thread类中重要的属性和方法3.1 构造方法3.2 常见属性 一、前言 当有多个线程的时候&#xff0c;这些线程的执行顺序是不确定的。这一点&#xff0c;是我们之前提到的操作系统…

IP转发流程

IP 转发是网络通信中通过中间设备&#xff08;如路由器或启用了转发功能的主机&#xff09;将接收到的 IP 数据包根据路由表的指引发送到目标网络的过程。以下是 IP 转发的详细流程及转发过程中各个环节的说明&#xff1a; IP 转发的流程详解 数据包到达路由器或主机&#xff…

Java技术复习提升 11 常用类

第11章 常用类 1 包装类 不同包装类都继承自Object类 Serialiazble接口表示该类表示序列化 Comparable接口用于定义自然顺序 包装类和基本数据的转换 jdk5之前手动装箱拆箱 jdk5之后自动装箱拆箱 自动装箱底层调用的是valueof方法 拆箱仍然是intvalue方法 public class Inte…