ptmalloc内存分配和回收详解(文字版)

ptmalloc内存分配和回收详解(文字版)

进程默认内存布局(x86)

从进程的内存布局可知,.bss段之上的这块分配给用户程序的空间被称之为heap,start_brk指向heap的开始,而brk指向heap的顶部。可以使用系统调用brk()和sbrk()来增加表示heap顶部的brk值,从而线性的增加分配给用户的heap空间。在使用malloc之前,brk的值等于start_brk,也就是说,heap大小为0。

ptmalloc在开始时,若请求的空间小于mmap分配阈值(mmap threshold, 默认值为128KB)时,主分配区会调用sbrk()增加一块大小为(128KB + chunk_size)align 4KB的空间作为heap,非主分配区会调用mmap映射一块大小为HEAP_MAX_SIZE(32位1MB,64位64MB)的空间作为sub-heap。这就是ptmalloc所维护的分配空间。

ptmalloc内存管理设计假设

1、具有长生命周期的大内存分配使用mmap。

2、特别大的内存分配总是使用mmap。

3、具有短生命周期的内存分配使用brk,因为用mmap映射匿名页,当发生缺页异常时,linux内核为缺页分配一个新的物理页,导致多次清零操作,很浪费系统资源,所以引入了mmap分配阈值动态调整机制,保证在必要的情况下才使用mmap分配内存。

4、尽量只缓存临时使用的空闲小内存块,对大内存快或是长生命周期的大内存块在释放时都直接归还给操作系统。

5、对空闲的小内存块只会在malloc和free的时候进行合并,free时空闲内存块可能放入bin中,不一定归还给操作系统。

6、收缩堆的条件是当前free的块大小加上前后能合并chunk的大小大于64KB,并且堆顶的大小达到阈值,才有可能收缩堆,把堆最顶端的空闲内存返回给操作系统。

7、需要长期存储的程序不适合用ptmalloc来管理内存。

8、为了支持多线程,多个线程可以从同一个分配区中分配内存,ptmalloc假设线程A释放掉一块内存后,线程B会申请类似大小的内存,但是A释放的内存跟B需要的内存不一定完全相等,可能有稍许误差,就需要不停的对内存块进行切割和合并,这个过程可能产生内存碎片。

内存分配

1、获取分配区的锁,为了防止多个线程同时访问同一个分配区,在进行分配之前需要取得分配区域的锁。先查看线程私有实例中是否已经存在一个分配区,如果存在尝试对该分配区加锁,如果加锁成功,使用该分配区分配内存,否则该线程搜索分配区循环链表试图获得一个空闲(没有加锁)的分配区。如果所有的分配区都已经加锁,那么ptmalloc会开辟一个新的分配区,把该分配区加入到全局分配区循环链表和线程的私有实例中并加锁,然后使用该分配区进行分配操作。开辟出来的新分配区一定为非主分配区,因为主分配区是从父进程那里继承来的。开辟非主分配区时会调用mmap()创建一个sub-heap,并设置好top chunk;

每一个进程只有一个主分配区(main_arena)和若干非主分配区(non_main_arena),各arena通过一个循环链表来管理,通过互斥锁(mutex)使线程对于该分配区的访问互斥。

通过chunk倒数第三个标志位区分是否为非主分配区。

2、将用户的请求大小转换为实际需要分配的chunk空间大小

加上chunk头部,并进行字节对齐,默认8字节对齐。

事实上,由于chunk的空间复用,例如32位系统,实际的chunk大小=(用户请求大小 + 8 - 4) align to 8B

3、判断所需分配chunk的大小是否满足<=max_fast(32位默认为64B),如果是,则转下一步,否则跳到第五步。

4、首先尝试在fast bin中取一个所需大小的chunk分配给用户。如果可以找到,则分配结束,否则转下一步。

fast bins的分配遵循后进先出(LIFO)原则,类似于栈。

fast bins包含10个bin,大小从16B到88B,相邻bin相差8B,其中只有前七个作为空闲chunk链使用。

fast bins中的chunk不会修改最后一个标志位,因此fast bin中的chunk不会合并。

5、判断所需大小是否处在small bin中,即判断chunk_size < 512B是否成立。如果chunk大小处在small bins中,则转下一步,否则转到第6步。

ptmalloc维护了一个bin数组,共有128项,其中序号为2-63的62项为small bin。

small bin中每个bin中的块大小相同,相邻bin相差8B,最小的16B,最大的504B,每个bin中都是双向循环链表。

分配时按照“small-first, best-fit”原则。

6、根据所需分配的chunk的大小,找到具体所在的某个small bin,从该bin的尾部摘取一个恰好满足大小的chunk。若成功,则分配结束,否则转下一步。

7、到了这一步,说明需要分配的是一块大的内存,或者small bins中找不到合适的chunk。于是,ptmalloc首先会遍历fast bins中的chunk,将相邻的chunk进行合并,并链接到unsorted bin中,然后遍历unsorted bin中的chunk,如果unsorted bin只有一个chunk,并且这个chunk在上次分配时被使用过,并且所需分配的大小属于small bins,并且chunk的大小大于等于需要分配的大小,这种情况下就直接将该chunk进行切割,分配结束,否则将根据chunk的空间大小将其放入small bins或是large bins中,遍历完成后,转入下一步。

ptmalloc中的bins数组第一个就是unsorted bin,序号为1。

双向链表管理空闲chunk,不排序,当释放chunk时,大小大于max_fast的首先链入unsorted bin中。

可看作是small bins和large bins的cache。

8、到了这一步,说明需要分配的是一块大的内存,或者small bins和unsorted bin中都找不到合适的chunk,并且fast bins和unsorted bin中所有的chunk都清除干净了。从large bins按照“small-first, best-fit”原则,找到一个合适的chunk,从中划分一块所需大小的chunk,并将剩下的部分链接回bins中。若操作成功,则分配结束,否则转下一步。

bins数组序号为64-126的63个bin为large bins。

large bins中的chunk链大小并不是一个固定公差的等差数列,而是分成6组bins,每组bins是一个固定的等差数列,每组的bin数目依次是32、16、8、4、2、1,公差依次是64B、512B、4096B、32768B、262144B等。

9、如果搜索fast bins和bins都没有找到合适的chunk,那么就需要操作top chunk来进行分配了。判断top chunk大小是否满足所需chunk的大小,如果是,则从top chunk中分出一块来,否则转下一步。

chunk中有三种并非按照bins结构存储,分别是top chunk、mmaped chunk、last remainder。

top chunk:对于非主分配区会预先分配一块较大的空闲内存模拟sub-heap,通过管理sub-heap来响应用户的需求,因为内存是按地址从高到底进行分配的,在空闲区的最高处,必然存在一块空闲chunk,叫做top chunk;由于主分配区是唯一能够映射到进程heap区域的分配区,它可以通过sbrk()来增大或是收缩进程heap的大小,ptmalloc在开始时会预先分配一块较大的空闲内存(heap)。

mmaped chunk: 当需要分配的chunk足够大,而且fast bins和bins都不能满足要求,甚至top chunk本身也不能满足要求时,ptmalloc会使用mmap来直接使用内存映射来将页映射到进程空间。这样分配的chunk在被free时,将直接解除映射,于是就将内存归还给了操作系统。

last remainder: 不存在于任何bins中,当需要分配一个small chunk时,但在small bins中找不到合适的chunk,如果last remainder chunk的大小大于所需的small chunk大小,last remainder chunk被分裂为两个,其中一个chunk返回给用户,另一个变成新的last remainder chunk。

10、到了这一步,说明top chunk也不能满足分配要求,所以,于是就有了两个选择:如果是主分配区,调用sbrk(),增加top chunk大小;如果是非主分配区,调用mmap来分配一个新的sub-heap,增加top chunk大小;或者使用mmap来直接分配。在这里,需要依靠chunk的大小来决定到底使用哪种方法。判断所需分配的chunk大小是否大于等于mmap分配阈值,如果是的话,则转下一步,调用mmap分配,否则跳到第12步,增加top chunk的大小。

对于非主分配区,当bins和fast bins都不能满足分配的需要,ptmalloc会设法在top chunk分出一块内存给用户,如果top chunk本身不够大,分配程序会重新分配一个sub-heap,并将top chunk迁移到新的sub-heap上,新的sub-heap与已有的sub-heap用单链表连接起来,然后在新的top chunk上分配。

11、使用mmap系统调用为程序的内存空间映射一块chunk_size align 4KB大小的空间,然后将内存指针返回给用户。

12、判断是否为第一次调用malloc,若是主分配区,则需要进行一次初始化工作,分配一块大小为(chunk_size + 128KB)align 4KB大小的空间作为初始的heap。若已经初始化过了,主分配区则调用sbrk()增加heap空间,非主分配区则在top chunk中切出一个chunk,使之满足分配需求,并将内存指针返回给用户。

内存回收

1、free()函数同样首先需要获取分配区的锁,来保证线程安全。

2、判断传入的指针是否为0,若为0,则什么都不做,直接return,否则转下一步。

3、判断所需释放的chunk是否为mmaped chunk,如果是,则调用munmap()释放mmaped chunk,解除内存空间映射,该空间不再有效。如果开启了mmap分配阈值的动态调整机制,并且当前回收的chunk大小大于mmap分配阈值,将mmap分配阈值设置为该chunk的大小,将mmap收缩阈值设定为mmap分配阈值的2倍,释放完成。否则下一步。

4、判断chunk的大小和所处的位置,若chunk_size<=max_fast,并且chunk不位于heap顶部,也就是说并不与top chunk相邻,则转到下一步,否则跳到第6步。(因为与top chunk相邻的小chunk也和top chunk进行合并,所以这里不仅需要判断大小,还需要判断相邻情况)

5、将chunk放到fast bins中,chunk放入到fast bins中时,并不修改该chunk使用状态位P。也不与相邻的chunk进行合并。只是放进去,释放结束,返回。

6、判断前一个chunk是否处在使用中,如果前一个块也是空闲块,则合并,并转下一步。

7、判断当前释放块的下一个块是否为top chunk,如果是,转第9步,否则转下一步。

8、判断下一个chunk是否处在使用中,如果下一个chunk也是空闲的,则合并,并将合并后的chunk放到unsorted bin中。注意,这里在合并的过程中,要更新chunk的大小,以反映合并后的chunk的大小,并转到10步。

9、如果执行到这一步,说明释放了一个与top chunk相邻的chunk。则无论它有多大,都将它与top chunk合并,并更新top chunk的大小等信息,转下一步。

10、判断合并后的chunk的大小是否大小FASTBIN_CONSOLIDATION_THRESHOLD(默认64KB),如果是的话,则会触发进行fast bins的合并操作,fast bins中的chunk将被遍历,并与相邻的空间chunk进行合并,合并后的chunk会被放到unsorted bin中。fast bins将变空,操作完成转下一步。

11、判断top chunk的大小是否大于mmap的收缩阈值(默认为128KB),如果是的话,对于主分配区,则会试图归还top chunk中的一部分给操作系统。但是最先分配的128KB是不会归还的,ptmalloc会一直管理这部分内存,用于响应用户的分配请求;如果为非主分配区,会进行sub-heap收缩,将top chunk的一部分返回给操作系统,如果top chunk为整个sub-heap,会把整个sub-heap还回给操作系统。做完这一步后,释放结束,返回。可以看出,收缩堆的条件是当前free的chunk大小加上前后能合并chunk的大小大于64KB,并且要top chunk的大小要达到mmap收缩阈值,才有可能收缩堆。

转载于:https://www.cnblogs.com/clingyu/p/8620764.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/369325.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

html中怎么选择相同的代码,不同的HTML,相同的代码隐藏和相同的控件

创建一个Page类&#xff0c;比方说&#xff0c;TemplateViewerPageTemplateViewerPage.csusing System;using System.Web.UI;public partial class TemplateViewerPage : Page{protected override void OnLoad(EventArgs e){// load your properties_subject "test"…

linux nfs

linux&#xff08;十四&#xff09;之linux NFS服务管理学到这里差不多就结束了linux的基础学习了&#xff0c;其实linux的内容并不难&#xff0c;我们要经常的反复的去操作它&#xff0c;多多和它去联络感情才能很好的掌握这个linux。 加油&#xff01;今天是星期二。没有什么…

GlassFish 4升级的构建,Gradle和嵌入式应用服务器

最近&#xff0c;大概在去年年底&#xff0c; GlassFish开源团队发布了GlassFish 4.0 beta 72作为升级版 。 阿伦古普塔&#xff08;Arun Gupta&#xff09;在他的博客上发布了有关GlassFish 4 .0 beta 72的Maven坐标的文章。 该版本意义重大&#xff0c;因为该团队将工件发布到…

下来安成功 打开一直白屏_推广人透露:戈洛夫金2021年可能与安德拉德上演拳王统一战...

IBF中量级拳王根纳季-戈洛夫金(Gennadiy Golovkin)随着本月摧毁强制挑战者卡米尔-塞泽梅塔(Kamil Szeremeta)&#xff0c;使得下一场比赛在对手选择问题上&#xff0c;具有很大的自由度。戈洛夫金的推广人埃迪-赫恩做客Sirius XM访谈时&#xff0c;透露了一个重要消息&#xff…

WEB接口测试之Jmeter接口测试自动化 (四)

Jmeter是压力测试、接口测试工具&#xff0c;Ant是基于Java的构建工具&#xff0c;具有跨平台的作用&#xff0c;jenkins是持续集成工具。将这三者结合起来可以搭建一套webservice接口测试的持续构建环境。 1、安装JDK&#xff0c;配置java环境变量&#xff08;略过&#xff09…

面试分享:一年经验初探阿里巴巴前端社招

一般阿里社招都是招3-5年的P6 高级工程师&#xff0c;当初自己一年经验也没有想过有这个面试机会。 虽然没想着换工作&#xff0c;但是经常关注一些招聘网站的信息&#xff0c;某一天&#xff0c;在某boss上有个人找我&#xff0c;叫我发一下简历&#xff0c;我一看是阿里的某…

计算机云开头的词语,云字开头的成语

以下是小编给大家整理的云字开头的成语的内容&#xff0c;欢迎大家查看。云程发轫&#xff1a;云程&#xff1a;青云万里的路程;发轫&#xff1a;启车行进&#xff0c;比喻事业的开端。旧时祝人前程远大的颂辞。云过天空&#xff1a;比喻事情已经过去&#xff0c;一切恢复平静。…

如果此表在它的 ChildRelation 集合中不是父表,则不能将关系添加到该集合中。...

今天遇到这个问题头都大了&#xff0c;百度上也没找到解决方案&#xff0c;就自己在哪里沉思。。。。。。。。。。。。。。。。 终于皇天不负有心人&#xff0c;被我解决了&#xff01; 这是调用ChildRelations.Add&#xff08;“名字”&#xff0c;“父级”&#xff0c;”子级…

dnf机器人猜数字奖励_DNF:周年庆策划啪啪打脸,工作人员也出错误,难道又是临时工的锅?...

本来应该是很喜庆的一天&#xff0c;结果又遇见了策划啪啪打脸的事情&#xff0c;关键还连累玩家提心吊胆的。往年都是登录游戏送豪礼&#xff0c;今年策划就像搞点不一样&#xff0c;估计是认为今年送的“即时”史诗比较多吧。然后就很任性的在领取豪礼之前添加了一道“礼物申…

Hadoop宿醉:使用Apache Whirr启动hadoop集群CDH4

这篇文章是关于如何在EC2实例上启动CDH4 MRv1或CDH4 Yarn集群的。 据说您可以在Whirr的帮助下在5分钟内启动一个集群&#xff01; 当且仅当一切正常时&#xff0c;这才是正确的&#xff01; 希望本文在这方面对您有所帮助。 所以&#xff0c;让我们划船... 下载Apache Whirr…

练习 3.16

如题&#xff1a;下面是某大学数据库的一组需求&#xff0c;此数据库用于记录学生的成绩&#xff0c;这与图1.2所示数据库类似&#xff0c;但并不完全相同。 a. 大学要记录每个学生的姓名、学号、社会保险号、当前地址与电话、永久地址与电话、出生日期、性别、年级&#xff08…

中国连计算机硬盘都无法生产吗,中国仍无能力制造出电脑中的硬盘

从最开始的40GB到现在的3TB甚至更大&#xff0c;硬盘技术已经发生了突飞猛进的发展&#xff0c;就连以往高高在上的SSD固态硬盘也从去年开始展现出大容量普及的趋势。但是&#xff0c;至今为止我们为何没有看到一款国产品牌的硬盘杀入市场呢&#xff1f;今日头条中一篇文章或许…

d3 i5 神舟精盾k480n_6款神舟精盾轻薄记本发布,10nm十代酷睿,匠心打造国潮好本...

神舟电脑新品&#xff1a;神舟精盾发布会已于2019年10月31日上午在深圳神舟电脑大厦招开&#xff0c;此次发布会一共发布了6款精盾系列的轻薄笔记本。 此次还有英特尔、英伟达、微软等重量级合作伙伴的大咖站台助力&#xff0c;神舟电脑产品总监王小陈先生、神舟电脑创新一部销…

《Java从入门到放弃》JavaSE篇:程序结构

程序的结构一般分为三种&#xff1a; 顺序结构。 选择结构。 循环结构。 一、顺序结构&#xff1a;这个不用多说吧&#xff0c;跟我们平时写文章的顺序一样&#xff0c;从上往下。 二、选择结构&#xff1a;从名字就能看出&#xff0c;要选择嘛&#xff0c;到底是要漂亮滴妹子…

css中border制作各种形状

css利用border制作各种形状的原理如图&#xff1a; 使用border绘制三角形是什么原理&#xff1f;事实上&#xff0c;宽度相等的border是以45度对接的&#xff0c;如下图: 没有了上border如图所示&#xff1a; 再设置border的宽度为0&#xff1a; 设置border的高度为0&#xff…

JPA和CMT –为什么捕获持久性异常不够?

使用CMT&#xff08; 容器管理的事务 &#xff09;进入EJB和JPA的世界非常舒适。 只需定义一些注释来划分事务边界即可&#xff08;或使用默认值&#xff09;&#xff0c;仅此而已–无需摆弄手动开始&#xff0c;提交或回滚操作。 回滚事务的一种方法是从EJB的业务方法中引发非…

2016 linux发行版排行_选择困难症必看!云服务器如何选择操作系统,Windows和Linux哪个更好?...

在购买云服务器时&#xff0c;会有一个必选的配置&#xff0c;就是操作系统的选择&#xff0c;如何选择操作系统&#xff1f;操作系统选择错了怎么办&#xff1f;这是不少用户会遇到的问题&#xff0c;今天我们就来教大家如何选择操作系统&#xff0c;以及操作系统选择错了&…

spring取得通过配置文件和注解注入的bean、取得当前数据库连接、取得ApplicationContext的方法...

spring取得通过配置文件和注解注入的bean、取得当前数据库连接、取得ApplicationContext的方法 1、思路&#xff1a; 应用程序启动时使用ApplicationContextAware让Spring容器传递自己生成的ApplicationContext给我们&#xff0c; 然后我们把这个ApplicationContext设置成一个类…

怎样不通过高考进入清华计算机系,山东高考状元孟令昊澄清,没有参加政审,已经填报清华计算机系!...

原标题&#xff1a;山东高考状元孟令昊澄清&#xff0c;没有参加政审&#xff0c;已经填报清华计算机系&#xff01;说到高考状元&#xff0c;其实每年在高考分数公布以后和志愿填报的时候&#xff0c;他们都是大家最为关注的群体&#xff0c;特别是对于这些状元的去向成为了很…

DOM BOM document window 区别

DOM 是为了操作文档出现的 API&#xff0c;document 是其的一个对象&#xff1b; BOM 是为了操作浏览器出现的 API&#xff0c;window 是其的一个对象。 使用下图讲解&#xff1a; 归DOM管的&#xff1a; E区&#xff1a;即document 归BOM管的&#xff1a; A区&#xff1a;浏览…