ptmalloc内存分配和回收详解(文字版)

ptmalloc内存分配和回收详解(文字版)

进程默认内存布局(x86)

从进程的内存布局可知,.bss段之上的这块分配给用户程序的空间被称之为heap,start_brk指向heap的开始,而brk指向heap的顶部。可以使用系统调用brk()和sbrk()来增加表示heap顶部的brk值,从而线性的增加分配给用户的heap空间。在使用malloc之前,brk的值等于start_brk,也就是说,heap大小为0。

ptmalloc在开始时,若请求的空间小于mmap分配阈值(mmap threshold, 默认值为128KB)时,主分配区会调用sbrk()增加一块大小为(128KB + chunk_size)align 4KB的空间作为heap,非主分配区会调用mmap映射一块大小为HEAP_MAX_SIZE(32位1MB,64位64MB)的空间作为sub-heap。这就是ptmalloc所维护的分配空间。

ptmalloc内存管理设计假设

1、具有长生命周期的大内存分配使用mmap。

2、特别大的内存分配总是使用mmap。

3、具有短生命周期的内存分配使用brk,因为用mmap映射匿名页,当发生缺页异常时,linux内核为缺页分配一个新的物理页,导致多次清零操作,很浪费系统资源,所以引入了mmap分配阈值动态调整机制,保证在必要的情况下才使用mmap分配内存。

4、尽量只缓存临时使用的空闲小内存块,对大内存快或是长生命周期的大内存块在释放时都直接归还给操作系统。

5、对空闲的小内存块只会在malloc和free的时候进行合并,free时空闲内存块可能放入bin中,不一定归还给操作系统。

6、收缩堆的条件是当前free的块大小加上前后能合并chunk的大小大于64KB,并且堆顶的大小达到阈值,才有可能收缩堆,把堆最顶端的空闲内存返回给操作系统。

7、需要长期存储的程序不适合用ptmalloc来管理内存。

8、为了支持多线程,多个线程可以从同一个分配区中分配内存,ptmalloc假设线程A释放掉一块内存后,线程B会申请类似大小的内存,但是A释放的内存跟B需要的内存不一定完全相等,可能有稍许误差,就需要不停的对内存块进行切割和合并,这个过程可能产生内存碎片。

内存分配

1、获取分配区的锁,为了防止多个线程同时访问同一个分配区,在进行分配之前需要取得分配区域的锁。先查看线程私有实例中是否已经存在一个分配区,如果存在尝试对该分配区加锁,如果加锁成功,使用该分配区分配内存,否则该线程搜索分配区循环链表试图获得一个空闲(没有加锁)的分配区。如果所有的分配区都已经加锁,那么ptmalloc会开辟一个新的分配区,把该分配区加入到全局分配区循环链表和线程的私有实例中并加锁,然后使用该分配区进行分配操作。开辟出来的新分配区一定为非主分配区,因为主分配区是从父进程那里继承来的。开辟非主分配区时会调用mmap()创建一个sub-heap,并设置好top chunk;

每一个进程只有一个主分配区(main_arena)和若干非主分配区(non_main_arena),各arena通过一个循环链表来管理,通过互斥锁(mutex)使线程对于该分配区的访问互斥。

通过chunk倒数第三个标志位区分是否为非主分配区。

2、将用户的请求大小转换为实际需要分配的chunk空间大小

加上chunk头部,并进行字节对齐,默认8字节对齐。

事实上,由于chunk的空间复用,例如32位系统,实际的chunk大小=(用户请求大小 + 8 - 4) align to 8B

3、判断所需分配chunk的大小是否满足<=max_fast(32位默认为64B),如果是,则转下一步,否则跳到第五步。

4、首先尝试在fast bin中取一个所需大小的chunk分配给用户。如果可以找到,则分配结束,否则转下一步。

fast bins的分配遵循后进先出(LIFO)原则,类似于栈。

fast bins包含10个bin,大小从16B到88B,相邻bin相差8B,其中只有前七个作为空闲chunk链使用。

fast bins中的chunk不会修改最后一个标志位,因此fast bin中的chunk不会合并。

5、判断所需大小是否处在small bin中,即判断chunk_size < 512B是否成立。如果chunk大小处在small bins中,则转下一步,否则转到第6步。

ptmalloc维护了一个bin数组,共有128项,其中序号为2-63的62项为small bin。

small bin中每个bin中的块大小相同,相邻bin相差8B,最小的16B,最大的504B,每个bin中都是双向循环链表。

分配时按照“small-first, best-fit”原则。

6、根据所需分配的chunk的大小,找到具体所在的某个small bin,从该bin的尾部摘取一个恰好满足大小的chunk。若成功,则分配结束,否则转下一步。

7、到了这一步,说明需要分配的是一块大的内存,或者small bins中找不到合适的chunk。于是,ptmalloc首先会遍历fast bins中的chunk,将相邻的chunk进行合并,并链接到unsorted bin中,然后遍历unsorted bin中的chunk,如果unsorted bin只有一个chunk,并且这个chunk在上次分配时被使用过,并且所需分配的大小属于small bins,并且chunk的大小大于等于需要分配的大小,这种情况下就直接将该chunk进行切割,分配结束,否则将根据chunk的空间大小将其放入small bins或是large bins中,遍历完成后,转入下一步。

ptmalloc中的bins数组第一个就是unsorted bin,序号为1。

双向链表管理空闲chunk,不排序,当释放chunk时,大小大于max_fast的首先链入unsorted bin中。

可看作是small bins和large bins的cache。

8、到了这一步,说明需要分配的是一块大的内存,或者small bins和unsorted bin中都找不到合适的chunk,并且fast bins和unsorted bin中所有的chunk都清除干净了。从large bins按照“small-first, best-fit”原则,找到一个合适的chunk,从中划分一块所需大小的chunk,并将剩下的部分链接回bins中。若操作成功,则分配结束,否则转下一步。

bins数组序号为64-126的63个bin为large bins。

large bins中的chunk链大小并不是一个固定公差的等差数列,而是分成6组bins,每组bins是一个固定的等差数列,每组的bin数目依次是32、16、8、4、2、1,公差依次是64B、512B、4096B、32768B、262144B等。

9、如果搜索fast bins和bins都没有找到合适的chunk,那么就需要操作top chunk来进行分配了。判断top chunk大小是否满足所需chunk的大小,如果是,则从top chunk中分出一块来,否则转下一步。

chunk中有三种并非按照bins结构存储,分别是top chunk、mmaped chunk、last remainder。

top chunk:对于非主分配区会预先分配一块较大的空闲内存模拟sub-heap,通过管理sub-heap来响应用户的需求,因为内存是按地址从高到底进行分配的,在空闲区的最高处,必然存在一块空闲chunk,叫做top chunk;由于主分配区是唯一能够映射到进程heap区域的分配区,它可以通过sbrk()来增大或是收缩进程heap的大小,ptmalloc在开始时会预先分配一块较大的空闲内存(heap)。

mmaped chunk: 当需要分配的chunk足够大,而且fast bins和bins都不能满足要求,甚至top chunk本身也不能满足要求时,ptmalloc会使用mmap来直接使用内存映射来将页映射到进程空间。这样分配的chunk在被free时,将直接解除映射,于是就将内存归还给了操作系统。

last remainder: 不存在于任何bins中,当需要分配一个small chunk时,但在small bins中找不到合适的chunk,如果last remainder chunk的大小大于所需的small chunk大小,last remainder chunk被分裂为两个,其中一个chunk返回给用户,另一个变成新的last remainder chunk。

10、到了这一步,说明top chunk也不能满足分配要求,所以,于是就有了两个选择:如果是主分配区,调用sbrk(),增加top chunk大小;如果是非主分配区,调用mmap来分配一个新的sub-heap,增加top chunk大小;或者使用mmap来直接分配。在这里,需要依靠chunk的大小来决定到底使用哪种方法。判断所需分配的chunk大小是否大于等于mmap分配阈值,如果是的话,则转下一步,调用mmap分配,否则跳到第12步,增加top chunk的大小。

对于非主分配区,当bins和fast bins都不能满足分配的需要,ptmalloc会设法在top chunk分出一块内存给用户,如果top chunk本身不够大,分配程序会重新分配一个sub-heap,并将top chunk迁移到新的sub-heap上,新的sub-heap与已有的sub-heap用单链表连接起来,然后在新的top chunk上分配。

11、使用mmap系统调用为程序的内存空间映射一块chunk_size align 4KB大小的空间,然后将内存指针返回给用户。

12、判断是否为第一次调用malloc,若是主分配区,则需要进行一次初始化工作,分配一块大小为(chunk_size + 128KB)align 4KB大小的空间作为初始的heap。若已经初始化过了,主分配区则调用sbrk()增加heap空间,非主分配区则在top chunk中切出一个chunk,使之满足分配需求,并将内存指针返回给用户。

内存回收

1、free()函数同样首先需要获取分配区的锁,来保证线程安全。

2、判断传入的指针是否为0,若为0,则什么都不做,直接return,否则转下一步。

3、判断所需释放的chunk是否为mmaped chunk,如果是,则调用munmap()释放mmaped chunk,解除内存空间映射,该空间不再有效。如果开启了mmap分配阈值的动态调整机制,并且当前回收的chunk大小大于mmap分配阈值,将mmap分配阈值设置为该chunk的大小,将mmap收缩阈值设定为mmap分配阈值的2倍,释放完成。否则下一步。

4、判断chunk的大小和所处的位置,若chunk_size<=max_fast,并且chunk不位于heap顶部,也就是说并不与top chunk相邻,则转到下一步,否则跳到第6步。(因为与top chunk相邻的小chunk也和top chunk进行合并,所以这里不仅需要判断大小,还需要判断相邻情况)

5、将chunk放到fast bins中,chunk放入到fast bins中时,并不修改该chunk使用状态位P。也不与相邻的chunk进行合并。只是放进去,释放结束,返回。

6、判断前一个chunk是否处在使用中,如果前一个块也是空闲块,则合并,并转下一步。

7、判断当前释放块的下一个块是否为top chunk,如果是,转第9步,否则转下一步。

8、判断下一个chunk是否处在使用中,如果下一个chunk也是空闲的,则合并,并将合并后的chunk放到unsorted bin中。注意,这里在合并的过程中,要更新chunk的大小,以反映合并后的chunk的大小,并转到10步。

9、如果执行到这一步,说明释放了一个与top chunk相邻的chunk。则无论它有多大,都将它与top chunk合并,并更新top chunk的大小等信息,转下一步。

10、判断合并后的chunk的大小是否大小FASTBIN_CONSOLIDATION_THRESHOLD(默认64KB),如果是的话,则会触发进行fast bins的合并操作,fast bins中的chunk将被遍历,并与相邻的空间chunk进行合并,合并后的chunk会被放到unsorted bin中。fast bins将变空,操作完成转下一步。

11、判断top chunk的大小是否大于mmap的收缩阈值(默认为128KB),如果是的话,对于主分配区,则会试图归还top chunk中的一部分给操作系统。但是最先分配的128KB是不会归还的,ptmalloc会一直管理这部分内存,用于响应用户的分配请求;如果为非主分配区,会进行sub-heap收缩,将top chunk的一部分返回给操作系统,如果top chunk为整个sub-heap,会把整个sub-heap还回给操作系统。做完这一步后,释放结束,返回。可以看出,收缩堆的条件是当前free的chunk大小加上前后能合并chunk的大小大于64KB,并且要top chunk的大小要达到mmap收缩阈值,才有可能收缩堆。

转载于:https://www.cnblogs.com/clingyu/p/8620764.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/369325.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux nfs

linux&#xff08;十四&#xff09;之linux NFS服务管理学到这里差不多就结束了linux的基础学习了&#xff0c;其实linux的内容并不难&#xff0c;我们要经常的反复的去操作它&#xff0c;多多和它去联络感情才能很好的掌握这个linux。 加油&#xff01;今天是星期二。没有什么…

下来安成功 打开一直白屏_推广人透露:戈洛夫金2021年可能与安德拉德上演拳王统一战...

IBF中量级拳王根纳季-戈洛夫金(Gennadiy Golovkin)随着本月摧毁强制挑战者卡米尔-塞泽梅塔(Kamil Szeremeta)&#xff0c;使得下一场比赛在对手选择问题上&#xff0c;具有很大的自由度。戈洛夫金的推广人埃迪-赫恩做客Sirius XM访谈时&#xff0c;透露了一个重要消息&#xff…

WEB接口测试之Jmeter接口测试自动化 (四)

Jmeter是压力测试、接口测试工具&#xff0c;Ant是基于Java的构建工具&#xff0c;具有跨平台的作用&#xff0c;jenkins是持续集成工具。将这三者结合起来可以搭建一套webservice接口测试的持续构建环境。 1、安装JDK&#xff0c;配置java环境变量&#xff08;略过&#xff09…

dnf机器人猜数字奖励_DNF:周年庆策划啪啪打脸,工作人员也出错误,难道又是临时工的锅?...

本来应该是很喜庆的一天&#xff0c;结果又遇见了策划啪啪打脸的事情&#xff0c;关键还连累玩家提心吊胆的。往年都是登录游戏送豪礼&#xff0c;今年策划就像搞点不一样&#xff0c;估计是认为今年送的“即时”史诗比较多吧。然后就很任性的在领取豪礼之前添加了一道“礼物申…

练习 3.16

如题&#xff1a;下面是某大学数据库的一组需求&#xff0c;此数据库用于记录学生的成绩&#xff0c;这与图1.2所示数据库类似&#xff0c;但并不完全相同。 a. 大学要记录每个学生的姓名、学号、社会保险号、当前地址与电话、永久地址与电话、出生日期、性别、年级&#xff08…

中国连计算机硬盘都无法生产吗,中国仍无能力制造出电脑中的硬盘

从最开始的40GB到现在的3TB甚至更大&#xff0c;硬盘技术已经发生了突飞猛进的发展&#xff0c;就连以往高高在上的SSD固态硬盘也从去年开始展现出大容量普及的趋势。但是&#xff0c;至今为止我们为何没有看到一款国产品牌的硬盘杀入市场呢&#xff1f;今日头条中一篇文章或许…

d3 i5 神舟精盾k480n_6款神舟精盾轻薄记本发布,10nm十代酷睿,匠心打造国潮好本...

神舟电脑新品&#xff1a;神舟精盾发布会已于2019年10月31日上午在深圳神舟电脑大厦招开&#xff0c;此次发布会一共发布了6款精盾系列的轻薄笔记本。 此次还有英特尔、英伟达、微软等重量级合作伙伴的大咖站台助力&#xff0c;神舟电脑产品总监王小陈先生、神舟电脑创新一部销…

css中border制作各种形状

css利用border制作各种形状的原理如图&#xff1a; 使用border绘制三角形是什么原理&#xff1f;事实上&#xff0c;宽度相等的border是以45度对接的&#xff0c;如下图: 没有了上border如图所示&#xff1a; 再设置border的宽度为0&#xff1a; 设置border的高度为0&#xff…

2016 linux发行版排行_选择困难症必看!云服务器如何选择操作系统,Windows和Linux哪个更好?...

在购买云服务器时&#xff0c;会有一个必选的配置&#xff0c;就是操作系统的选择&#xff0c;如何选择操作系统&#xff1f;操作系统选择错了怎么办&#xff1f;这是不少用户会遇到的问题&#xff0c;今天我们就来教大家如何选择操作系统&#xff0c;以及操作系统选择错了&…

怎样不通过高考进入清华计算机系,山东高考状元孟令昊澄清,没有参加政审,已经填报清华计算机系!...

原标题&#xff1a;山东高考状元孟令昊澄清&#xff0c;没有参加政审&#xff0c;已经填报清华计算机系&#xff01;说到高考状元&#xff0c;其实每年在高考分数公布以后和志愿填报的时候&#xff0c;他们都是大家最为关注的群体&#xff0c;特别是对于这些状元的去向成为了很…

DOM BOM document window 区别

DOM 是为了操作文档出现的 API&#xff0c;document 是其的一个对象&#xff1b; BOM 是为了操作浏览器出现的 API&#xff0c;window 是其的一个对象。 使用下图讲解&#xff1a; 归DOM管的&#xff1a; E区&#xff1a;即document 归BOM管的&#xff1a; A区&#xff1a;浏览…

D2

依托 Weex 的能力&#xff0c;轻舟平台使得前端开发人员可以基于 Vue 或者 Rax&#xff08;类 React&#xff09;开发媲美原生的 App。 不需要学习各类 Native 开发语言&#xff1b;不需要搭建复杂的编译打包环境&#xff0c;轻舟提供的一站式集成开发解决方案全部帮你搞定。吴…

hibernate5--主键生成策略

1、hibernate自己维护主键的值。首先获取该表中最大主键值&#xff0c;然后加一插入。主键字段对应的属性类型可以是int、short、long以及其封装类型。在高并发或者集群的情况下不能使用。 2、identity&#xff1a;使用数据库自身自增长来维护。 <id name"id" col…

vue watch 第一次不执行_Vue 实现前进刷新,后退不刷新的效果

https://github.com/woai3c/Front-end-articles​github.com需求一&#xff1a;在一个列表页中&#xff0c;第一次进入的时候&#xff0c;请求获取数据。点击某个列表项&#xff0c;跳到详情页&#xff0c;再从详情页后退回到列表页时&#xff0c;不刷新。也就是说从其他页面进…

win8计算机安全模式,安全模式,详细教您Win8怎么进入安全模式

电脑的用途在我们的日常生活之中体现的是最为突出了&#xff0c;比方说网上购物、看电视、玩游戏、做文件什么的都用得着电脑。但是有用户遇到了Win8系统按F8无法进入安全模式怎么办&#xff1f;非也&#xff0c;非也&#xff0c;下面&#xff0c;小编给大家带来了Win8进入安全…

elasticsearch-6.0.1安装

elasticsearch-6.0.1安装 0. 介绍&#xff1a;ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎&#xff1b;是目前全文搜索引擎的首选。Elastic 的底层是开源库 Lucene。但是&#xff0c;没法直接用 Lucene&#xff0c;必须自己写代码…

使用GlassFish 4.0测试驱动Java API以处理JSON

编写规范并为其做出贡献是一回事。 如果您想提供宝贵的反馈意见&#xff0c;请使用它并研究真实的示例。 最新推广的GlassFish构建包含重命名为4.0&#xff0c;我认为现在是对Java处理JSON&#xff08;JSON-P&#xff09;API进行测试的好时机。 获取启用了Java EE 7的GlassFis…

查询已有链表的hashmap_原创 | 面试不再慌,看完这篇保证让你写HashMap跟玩一样...

点击上方蓝色小字&#xff0c;关注“码农小黑屋”重磅干货&#xff0c;第一时间送达今天这篇文章给大家讲讲hashmap&#xff0c;这个号称是所有Java工程师都会的数据结构。为什么说是所有Java工程师都会呢&#xff0c;因为很简单&#xff0c;他们不会这个找不到工作。几乎所有面…

华为p40手机自带计算机,华为p40pro支持PC模式吗_华为p40pro能连接至电脑模式吗

华为p40pro支持PC模式吗&#xff1f;华为p40pro能连接至电脑模式吗&#xff1f;从前几年开始&#xff0c;就有部分华为手机可以支持PC模式了。这个模式在出差的时候还是很实用的&#xff0c;可以直接将手机上的内容投屏到投影仪等大屏设备上&#xff0c;不需要带笔记本电脑&…

的内怎么放_汽车后备箱的“四不放”原则,你知道吗?网友:怎么不早说

汽车已经开始存在在越来越多的家庭当中了&#xff0c;也正是因为这样&#xff0c;很多人会把汽车当做一个自己的家庭成员&#xff01;而在汽车的使用过程当中&#xff0c;汽车的后备箱往往是放的特别满的&#xff0c;以为这样可以备不时之需&#xff0c;但是老司机也告知大家&a…