内存调优
内存模型
JVM 特定内存
JVM 本身使用的内存,包含 JVM 的 metaspace 和 over-head
1) JVM metaspace: JVM 元空间
taskmanager.memory.jvm-metaspace.size,默认 256mb
2) JVM over-head 执行开销: JVM 执行时自身所需要的内容,包括线程堆栈、 IO、编译
缓存等所使用的内存。
- taskmanager.memory.jvm-overhead.fraction,默认 0.1
- taskmanager.memory.jvm-overhead.min,默认 192mb
- taskmanager.memory.jvm-overhead.max,默认 1gb
总进程内存*fraction,如果小于配置的 min(或大于配置的 max) 大小,则使用 min/max
大小
框架内存
Flink 框架,即 TaskManager 本身所占用的内存, 不计入 Slot 的资源中。
堆内: taskmanager.memory.framework.heap.size, 默认 128MB
堆外: taskmanager.memory.framework.off-heap.size,默认 128MB
Task 内存
Task 执行用户代码时所使用的内存
堆内: taskmanager.memory.task.heap.size,默认 none,由 Flink 内存扣除掉其他部分
的内存得到。
堆外: taskmanager.memory.task.off-heap.size,默认 0,表示不使用堆外内存
网络内存
网络数据交换所使用的堆外内存大小,如网络数据交换缓冲区
堆外: taskmanager.memory.network.fraction,默认 0.1
taskmanager.memory.network.min,默认 64mb
taskmanager.memory.network.max,默认 1gb
Flink 内存*fraction,如果小于配置的 min(或大于配置的 max) 大小,则使用 min/max
大小
托管内存
用于 RocksDB State Backend 的本地内存和批的排序、哈希表、缓存中间结果。
堆外: taskmanager.memory.managed.fraction,默认 0.4
taskmanager.memory.managed.size,默认 none
如果 size 没指定,则等于 Flink 内存*fraction
内存划分
- 进程内存:蓝框
- flink内存:红框
- 两者差别:JVM内存
- 网络内存:(进程内存 - JVM内存) * 0.1(taskmanager.memory.network.fraction,默认0.1)
- 托管内存:用于RocksDB State Backend的本地内存和批的排序、哈希表、缓存中间结果
举个例子
TaskManager日志中可以查看JVM参数指定的内存大小
Managed Memory管理内存:KV类型的状态来用的,给RocksDB用的,而如果状态后端不是RocksDB的,则可以把这块内存调小。
以上是TaskManger内存,JobManager内存一般不用管(不处理数据也不保存数据),使用默认参数即可,不够再加。