聊聊flink的MemoryPool

为什么80%的码农都做不了架构师？>>>   hot3.png

序

本文主要研究一下flink的MemoryPool

MemoryPool

flink-runtime_2.11-1.7.2-sources.jar!/org/apache/flink/runtime/memory/MemoryManager.java

	abstract static class MemoryPool {abstract int getNumberOfAvailableMemorySegments();abstract MemorySegment allocateNewSegment(Object owner);abstract MemorySegment requestSegmentFromPool(Object owner);abstract void returnSegmentToPool(MemorySegment segment);abstract void clear();}
  • MemoryPool定义了getNumberOfAvailableMemorySegments、allocateNewSegment、requestSegmentFromPool、returnSegmentToPool、clear这几个抽象方法；它有HybridHeapMemoryPool、HybridOffHeapMemoryPool这两个子类

HybridHeapMemoryPool

flink-runtime_2.11-1.7.2-sources.jar!/org/apache/flink/runtime/memory/MemoryManager.java

	static final class HybridHeapMemoryPool extends MemoryPool {/** The collection of available memory segments. */private final ArrayDeque<byte[]> availableMemory;private final int segmentSize;HybridHeapMemoryPool(int numInitialSegments, int segmentSize) {this.availableMemory = new ArrayDeque<>(numInitialSegments);this.segmentSize = segmentSize;for (int i = 0; i < numInitialSegments; i++) {this.availableMemory.add(new byte[segmentSize]);}}@OverrideMemorySegment allocateNewSegment(Object owner) {return MemorySegmentFactory.allocateUnpooledSegment(segmentSize, owner);}@OverrideMemorySegment requestSegmentFromPool(Object owner) {byte[] buf = availableMemory.remove();return  MemorySegmentFactory.wrapPooledHeapMemory(buf, owner);}@Overridevoid returnSegmentToPool(MemorySegment segment) {if (segment.getClass() == HybridMemorySegment.class) {HybridMemorySegment heapSegment = (HybridMemorySegment) segment;availableMemory.add(heapSegment.getArray());heapSegment.free();}else {throw new IllegalArgumentException("Memory segment is not a " + HybridMemorySegment.class.getSimpleName());}}@Overrideprotected int getNumberOfAvailableMemorySegments() {return availableMemory.size();}@Overridevoid clear() {availableMemory.clear();}}
  • HybridHeapMemoryPool继承了MemoryPool，它使用的是jvm的heap内存；构造器接收numInitialSegments、segmentSize两个参数用于初始化availableMemory这个ArrayDeque，该queue的元素类型为byte[]
  • allocateNewSegment方法调用的是MemorySegmentFactory.allocateUnpooledSegment，用于分配unpooled memory；requestSegmentFromPool方法调用的是availableMemory.remove()，然后调用MemorySegmentFactory.wrapPooledHeapMemory包装为MemorySegment，这个方法没有判断ArrayDeque的大小就直接remove，需要注意
  • returnSegmentToPool方法只对HybridMemorySegment类型进行处理，首先将它的byte[]归还到availableMemory，之后调用heapSegment.free()释放；getNumberOfAvailableMemorySegments方法返回的是availableMemory.size()；clear方法调用的是availableMemory.clear()

HybridOffHeapMemoryPool

flink-runtime_2.11-1.7.2-sources.jar!/org/apache/flink/runtime/memory/MemoryManager.java

	static final class HybridOffHeapMemoryPool extends MemoryPool {/** The collection of available memory segments. */private final ArrayDeque<ByteBuffer> availableMemory;private final int segmentSize;HybridOffHeapMemoryPool(int numInitialSegments, int segmentSize) {this.availableMemory = new ArrayDeque<>(numInitialSegments);this.segmentSize = segmentSize;for (int i = 0; i < numInitialSegments; i++) {this.availableMemory.add(ByteBuffer.allocateDirect(segmentSize));}}@OverrideMemorySegment allocateNewSegment(Object owner) {return MemorySegmentFactory.allocateUnpooledOffHeapMemory(segmentSize, owner);}@OverrideMemorySegment requestSegmentFromPool(Object owner) {ByteBuffer buf = availableMemory.remove();return MemorySegmentFactory.wrapPooledOffHeapMemory(buf, owner);}@Overridevoid returnSegmentToPool(MemorySegment segment) {if (segment.getClass() == HybridMemorySegment.class) {HybridMemorySegment hybridSegment = (HybridMemorySegment) segment;ByteBuffer buf = hybridSegment.getOffHeapBuffer();availableMemory.add(buf);hybridSegment.free();}else {throw new IllegalArgumentException("Memory segment is not a " + HybridMemorySegment.class.getSimpleName());}}@Overrideprotected int getNumberOfAvailableMemorySegments() {return availableMemory.size();}@Overridevoid clear() {availableMemory.clear();}}
  • HybridOffHeapMemoryPool继承了MemoryPool，它使用的是OffHeap；构造器接收numInitialSegments、segmentSize两个参数用于初始化availableMemory这个ArrayDeque，该queue的元素类型为ByteBuffer
  • allocateNewSegment方法调用的是MemorySegmentFactory.allocateUnpooledOffHeapMemory，用于分配unpooled off-heap memory；requestSegmentFromPool方法调用的是availableMemory.remove()，然后调用MemorySegmentFactory.wrapPooledOffHeapMemory包装为MemorySegment，这个方法没有判断ArrayDeque的大小就直接remove，需要注意
  • returnSegmentToPool方法只对HybridMemorySegment类型进行处理，首先将它的ByteBuffer归还到availableMemory，之后调用heapSegment.free()释放；getNumberOfAvailableMemorySegments方法返回的是availableMemory.size()；clear方法调用的是availableMemory.clear()

小结

  • MemoryPool定义了getNumberOfAvailableMemorySegments、allocateNewSegment、requestSegmentFromPool、returnSegmentToPool、clear这几个抽象方法；它有HybridHeapMemoryPool、HybridOffHeapMemoryPool这两个子类
  • HybridHeapMemoryPool继承了MemoryPool，它使用的是jvm的heap内存；构造器接收numInitialSegments、segmentSize两个参数用于初始化availableMemory这个ArrayDeque，该queue的元素类型为byte[]；allocateNewSegment方法调用的是MemorySegmentFactory.allocateUnpooledSegment，用于分配unpooled memory；requestSegmentFromPool方法调用的是availableMemory.remove()，然后调用MemorySegmentFactory.wrapPooledHeapMemory包装为MemorySegment，这个方法没有判断ArrayDeque的大小就直接remove，需要注意；returnSegmentToPool方法只对HybridMemorySegment类型进行处理，首先将它的byte[]归还到availableMemory，之后调用heapSegment.free()释放；getNumberOfAvailableMemorySegments方法返回的是availableMemory.size()；clear方法调用的是availableMemory.clear()
  • HybridOffHeapMemoryPool继承了MemoryPool，它使用的是OffHeap；构造器接收numInitialSegments、segmentSize两个参数用于初始化availableMemory这个ArrayDeque，该queue的元素类型为ByteBuffer；allocateNewSegment方法调用的是MemorySegmentFactory.allocateUnpooledOffHeapMemory，用于分配unpooled off-heap memory；requestSegmentFromPool方法调用的是availableMemory.remove()，然后调用MemorySegmentFactory.wrapPooledOffHeapMemory包装为MemorySegment，这个方法没有判断ArrayDeque的大小就直接remove，需要注意；returnSegmentToPool方法只对HybridMemorySegment类型进行处理，首先将它的ByteBuffer归还到availableMemory，之后调用heapSegment.free()释放；getNumberOfAvailableMemorySegments方法返回的是availableMemory.size()；clear方法调用的是availableMemory.clear()

doc

  • MemoryManager

转载于:https://my.oschina.net/go4it/blog/3012871

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/252301.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

表达式求值

表达式求值

表达式求值问题 ①问题描述 表达式是数据运算的基本形式。人们的书写习惯是中缀式&#xff0c;如&#xff1a;1122*(7-4)/3。中缀式的计算按运算符的优先级及括号优先的原则&#xff0c;相同级别从左到右进行计算。表达式还有后缀式&#xff08;如&#xff1a;22 7 4 - * 3 / 1…
阅读更多...
C++中的类加多线程代码修炼之二

C++中的类加多线程代码修炼之二

背景&#xff1a;在上一篇文章中 写到了我第一次使用C使用多个类多个线程进行编程&#xff0c;由于是第一接手“这么大一个工程”&#xff0c;所以还是要有个参照物的&#xff0c;由于我呢之前好几年一直在看的一个C代码工程就是ORB-SLAM了&#xff0c;这个工程使用C语言&#…
阅读更多...
3-4 第三天 Generator生成器

3-4 第三天 Generator生成器

Generator是ES6里面的新增规范&#xff0c;ES6其实就是ES2015。ES5、ES6、ES7这些术语大家上网一查就都明白了。JavaScript是一个范程&#xff0c;就是我们说的JS。ES就是ECMA Script&#xff0c;是JavaScript标准的书面说法。ES4、5、6、7其实是JS这门语言发展中的不同的版本。…
阅读更多...
神奇的事情--长见识了

神奇的事情--长见识了

背景&#xff1a;我的这个工程里有多个命名空间&#xff0c;之所以是这样是因为&#xff0c;有一个跟踪算法他本身有几个namespace,然后我在他的基础上进行整合代码&#xff0c;将其作为一个功能接口&#xff0c;供其他函数调用&#xff0c;我在整合代码时&#xff0c;将我新加…
阅读更多...
箭头函数的使用用法（一）

箭头函数的使用用法（一）

1 //箭头函数的一个好处是简化回调函数2 //箭头函数没有参数&#xff0c;就使用圆刮号代表参数部分&#xff1b;3 var f () >5;4 console.log(f());5 //两个参数的情况&#xff0c;代码块只有一条语句&#xff0c;可以省略{}6 var f (a,b)> console.log(ab);7 f(1,3);8…
阅读更多...
LinkedList中查询(contains)和删除(remove)源码分析

LinkedList中查询(contains)和删除(remove)源码分析

一、contains源码分析 本文分析双向链表LinkedList的查询操作源码实现。jdk中源程序中&#xff0c;LinkedList的查询操作&#xff0c;通过contains(Object o)函数实现。具体见下面两部分程序&#xff1a;① public boolean contains(Object o) {return indexOf(o) ! -1; } ② p…
阅读更多...
分块入门

分块入门

我貌似和所有的数据结构都有些误会。。。。。。 在处理一些修改查询问题的时候&#xff0c;我们可以利用分治的思想&#xff0c;比如说把一个线性的数据不断分成一棵二叉树&#xff0c;也就是我们所说的线段树&#xff0c;这样我们就可以在logn的时限里做到修改和查询。同理我们…
阅读更多...
开始使用gitlab

开始使用gitlab

不得不说&#xff0c;我真不是一个合格的程序猿&#xff0c;工作马上两年了&#xff0c;github和gitlab用的一点也不熟练&#xff0c;每次兴致来了就搞几下&#xff0c;可是每次都浅尝辄止&#xff0c;不求甚解&#xff0c;时间一长&#xff0c;上一次练习的步骤就都记不起来了…
阅读更多...
淘宝top平台调用接口响应时间优化

淘宝top平台调用接口响应时间优化

我的专栏地址&#xff1a;我的segmentfault,欢迎浏览 一、背景 调用top接口的响应时间长&#xff08;160ms左右&#xff09;&#xff0c;超时和连接异常频繁发生。导致消息组件消费工程的tps遇到瓶颈&#xff08;单实例单消息队列250tps&#xff09;&#xff0c;只能通过增加实…
阅读更多...
win10上编译libharu库

win10上编译libharu库

背景&#xff1a; 最近的项目需要自动的生成pdf文件&#xff0c;我在网上查看相关的资料&#xff0c;发现目前比较流行的生成pdf文件的库有两个&#xff0c;一个是libpdf&#xff0c;另一个是libharu。libpdf个人使用时免费的但是商业使用就需要收费了&#xff0c;否则得到的p…
阅读更多...
爬虫——正则表达式re模块

爬虫——正则表达式re模块

为什么要学习正则表达式 实际上爬虫一共就四个主要步骤&#xff1a; 明确目标&#xff1a;需清楚目标网站爬&#xff1a;将所有的目标网站的内容全部爬下来取&#xff1a;在爬下来的网站内容中去掉对我们没有用处的数据&#xff0c;只留取我们需要的数据处理数据&#xff1a;按…
阅读更多...
深入Spring Boot：快速集成Dubbo + Hystrix

深入Spring Boot：快速集成Dubbo + Hystrix

2019独角兽企业重金招聘Python工程师标准>>> 背景 Hystrix 旨在通过控制那些访问远程系统、服务和第三方库的节点&#xff0c;从而对延迟和故障提供更强大的容错能力。Hystrix具备拥有回退机制和断路器功能的线程和信号隔离&#xff0c;请求缓存和请求打包&#xff…
阅读更多...
opencv图像仿射变换和普通旋转

opencv图像仿射变换和普通旋转

背景&#xff1a;今天需要对程序生成的图像进行旋转90度和下采样操作&#xff0c;当然还有改变图像类型的操作&#xff0c;就是把原来.png的图像转换为.jpg的图像&#xff0c;主要是我目前使用libharu库&#xff0c;无法成功从本地加载png图像到pdf中去&#xff0c;不得不使用j…
阅读更多...
try{}里有一个 return 语句，那么紧跟在这个 try 后的 finally {}里的 code 会 不会被执行，什么时候被执行，在 return 前还是后?...

try{}里有一个 return 语句，那么紧跟在这个 try 后的 finally {}里的 code 会 不会被执行，什么时候被执行，在 return 前还是后?...

这是一道面试题&#xff0c;首先finally{}里面的code肯定是会执行的&#xff0c;至于在return前还是后&#xff0c; 看答案说的是在return后执行&#xff0c;我觉得不对&#xff0c;百度了一下&#xff0c;有说return前的&#xff0c;有说return后的&#xff0c;还有return中间…
阅读更多...
相机和镜头选型需要注意哪些问题

相机和镜头选型需要注意哪些问题

背景&#xff1a; 最近需要优于项目需求需要对工业相机和镜头进行选型&#xff0c;于是我就开启的学习相机之旅&#xff0c;虽然我一直在做机器视觉方向&#xff0c;但是我对相机的了解还是很少&#xff0c;我想正好趁这次机会好好学习一下。如果有错误的观点请指正。 一、相…
阅读更多...
正則表達式，终极使用！3个工具，搞定一切

正則表達式，终极使用！3个工具，搞定一切

文章前提&#xff0c;本人。不会正则的不论什么语法&#xff0c;仅仅懂一点正则的概念。本人从未自己写过正则&#xff0c;都是网上收罗进行改动的。相同。没有时间去研究正则。 可是为了方便&#xff0c;入手了几个工具。 如今就为大家一一展示。 第一个&#xff0c;regexBuil…
阅读更多...
VS2017 C++工程 执行python脚本

VS2017 C++工程 执行python脚本

我解决了哪怕很小的一个问题&#xff0c;我也想记录下来来见证我的经历。 背景&#xff1a; 一、使用libhuru库生成pdf报告 最近参与一些测试工作&#xff0c;希望测试结束后能够根据测试得到的数据和图像自动生成测试报告&#xff0c;最开始调研到了生成报告的库有libharu和…
阅读更多...
运行imgui例程

运行imgui例程

背景&#xff1a;目前在做一个视觉测试系统&#xff0c;需要做一个界面&#xff0c;将相机获取的图像&#xff0c;以及测试过程中的数据呈现在界面上&#xff0c;在我印象里&#xff0c;做界面就用qt吧&#xff0c;直到这个月真要开始做界面了&#xff0c;我的领导给我建议用im…
阅读更多...
性能测试总结(三)--工具选型篇

性能测试总结(三)--工具选型篇

性能测试总结(三)--工具选型篇 本篇文章主要简单总结下性能测试工具的原理以及如何选型。性能测试和功能测试不同&#xff0c;性能测试的执行是基本功能的重复和并发&#xff0c;需要模拟多用户&#xff0c;在性能测试执行时需要监控指标参数&#xff0c;同时性能测试的结果不是…
阅读更多...
创建一个最简单的imgui测试用例

创建一个最简单的imgui测试用例

在上一篇文章中&#xff0c;我们初步认识了一下imgui,并且成功运行了他提供的demo。这只是开始学习imgui的第一步&#xff0c;在实际使用时&#xff0c;我们需要将imgui应用到自己的工程中去&#xff0c;所以你需要具备将imgui加到你工程中去的能力&#xff0c;简单起见&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023