hugetlb核心组件

1 概述

hugetlb机制是一种使用大页的方法，与THP(transparent huge page)是两种完全不同的机制，它需要：

  • 管理员通过系统接口reserve一定量的大页，
  • 用户通过hugetlbfs申请使用大页，

核心组件如下图：

 围绕着保存大页的核心数据结构hstate，

  • 不同的系统接口，通过__nr_pages_store_common()将申请大页，并存入hstate；
  • 不同的hugetlbfs挂载，通过alloc_huge_page()从hstate中申请大页使用；

下面，我们分别详解这些组件。

2 hstate

如上图中，hstate用于保存huge page，

关于hstate，参考以下代码：

struct hstate hstates[HUGE_MAX_HSTATE];gigantic_pages_init()
---/* With compaction or CMA we can allocate gigantic pages at runtime */if (boot_cpu_has(X86_FEATURE_GBPAGES))hugetlb_add_hstate(PUD_SHIFT - PAGE_SHIFT);
---hugetlb_init()
---hugetlb_add_hstate(HUGETLB_PAGE_ORDER);if (!parsed_default_hugepagesz) {...default_hstate_idx = hstate_index(size_to_hstate(HPAGE_SIZE));...}---#define HPAGE_SHIFT		PMD_SHIFT
#define HUGETLB_PAGE_ORDER	(HPAGE_SHIFT - PAGE_SHIFT)default_hugepagesz_setup()
---...default_hstate_idx = hstate_index(size_to_hstate(size));...
---
__setup("default_hugepagesz=", default_hugepagesz_setup);

 其中有以下几个关键点：

  • x86_64架构存在两个hstate，2M和1G
  • 系统中存在一个default hstate，默认是2M的，可以通过kernel commandline设置；

我们在/proc/meminfoh中看到的：

HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:               0 kB

 HugePages开头的这几个都是default hstate的数据，换句话说，是2M的；1G的hugetlbs数据并不会体现在其中，参考代码：

hugetlb_report_meminfo()
---for_each_hstate(h) {unsigned long count = h->nr_huge_pages;total += huge_page_size(h) * count;if (h == &default_hstate)seq_printf(m,"HugePages_Total:   %5lu\n""HugePages_Free:    %5lu\n""HugePages_Rsvd:    %5lu\n""HugePages_Surp:    %5lu\n""Hugepagesize:   %8lu kB\n",count,h->free_huge_pages,h->resv_huge_pages,h->surplus_huge_pages,huge_page_size(h) / SZ_1K);}seq_printf(m, "Hugetlb:        %8lu kB\n", total / SZ_1K);
---

这我们再贴一段hstate处理hugepage的代码：

dequeue_huge_page_nodemask()-> dequeue_huge_page_node_exact()---list_move(&page->lru, &h->hugepage_activelist);set_page_refcounted(page);ClearHPageFreed(page);h->free_huge_pages--;h->free_huge_pages_node[nid]--;---

 非常简单，链表维护，减少计数。

3 nr_hugepages

hugetlb需要系统管理员将一定量的内存reserve给hugetlb，可以通过以下途径：

  • /proc/sys/vm/nr_hugepages，参考代码hugetlb_sysctl_handler_common()，它会向default_hstate注入大页，也就是2M；
  • /sys/kernel/mm/hugepages/hugepages-size/nr_hugepages，这里可以指定size向2M或者1G的hstate注入大页，node策略为interleaved，

  • /sys/devices/system/node/node_id/hugepages/hugepages-size/nr_hugepages，通过该接口，不仅可以指定size，还可以指定node；

参考代码：

// /sys/kernel/mm/hugepages
hugetlb_sysfs_init()
---hugepages_kobj = kobject_create_and_add("hugepages", mm_kobj);...for_each_hstate(h) {err = hugetlb_sysfs_add_hstate(h, hugepages_kobj,hstate_kobjs, &hstate_attr_group);...}
---hugetlb_register_node()
---struct node_hstate *nhs = &node_hstates[node->dev.id];...nhs->hugepages_kobj = kobject_create_and_add("hugepages",&node->dev.kobj);...for_each_hstate(h) {err = hugetlb_sysfs_add_hstate(h, nhs->hugepages_kobj,nhs->hstate_kobjs,&per_node_hstate_attr_group);...}
---nr_hugepages_store_common()
---h = kobj_to_hstate(kobj, &nid);return __nr_hugepages_store_common(obey_mempolicy, h, nid, count, len);
---static struct hstate *kobj_to_hstate(struct kobject *kobj, int *nidp)
{int i;for (i = 0; i < HUGE_MAX_HSTATE; i++)if (hstate_kobjs[i] == kobj) {if (nidp)*nidp = NUMA_NO_NODE;return &hstates[i];}return kobj_to_node_hstate(kobj, nidp);
}

 另外，hugetlb还有overcommit功能，参考Redhat官方给出的解释：

/proc/sys/vm/nr_overcommit_hugepages

Defines the maximum number of additional huge pages that can be created and used by the system through overcommitting memory. Writing any non-zero value into this file indicates that the system obtains that number of huge pages from the kernel's normal page pool if the persistent huge page pool is exhausted. As these surplus huge pages become unused, they are then freed and returned to the kernel's normal page pool.

不过，在实践中，我们通常不会使用这个功能，hugetlb reserve的内存量都是经过预先计算的预留的；overcommit虽然提供了一定的灵活性，但是增加了不确定性。 

4 hugetlbfs

hugetlb中的所有大页，都需要通过hugetlbfs以文件的形式呈现出来，供用户读写；接下来，我们先看下hugetlbfs的文件的使用方法。

const struct file_operations hugetlbfs_file_operations = {.read_iter		= hugetlbfs_read_iter,.mmap			= hugetlbfs_file_mmap,.fsync			= noop_fsync,.get_unmapped_area	= hugetlb_get_unmapped_area,.llseek			= default_llseek,.fallocate		= hugetlbfs_fallocate,
};

hugetlbfs的文件并没有write_iter方法，如果我们用write系统调用操作该文件，会报错-EINVAL，具体原因可以索引代码中的FMODE_CAN_WRITE的由来；不过，hugetlbfs中的文件可以通过read系统调用读。fallocate回调存在意味着，我们可以预先通过fallocate给文件分配大页。另外，从hugetlb这个名字中我们就可以知道，它主要跟mmap有关，我们看下关键代码实现：

handle_mm_fault()-> hugetlb_fault()-> hugetlb_no_page()-> alloc_huge_page()hugetlbfs_fallocate()-> alloc_huge_page()

所以，hugetlbfs的大页是从mmap后的pagefault分配或者fallocate提前分配好的；

关于hugetlbfs的大页的分配，还需要知道reserve的概念；

hugetlbfs_file_mmap()-> hugetlb_reserve_pages()-> hugetlb_acct_memory()-> gather_surplus_pages()---needed = (h->resv_huge_pages + delta) - h->free_huge_pages;if (needed <= 0) {h->resv_huge_pages += delta;return 0;}---alloc_huge_page()-> dequeue_huge_page_vma()---if (page && !avoid_reserve && vma_has_reserves(vma, chg)) {SetHPageRestoreReserve(page);h->resv_huge_pages--;}---
//如果是fallocate路径，avoid_reserve就是true

hugetlb_acct_memory()用于执行reserve，但是并不会真的分配；

这里并不是文件系统的delay allocation功能，大页的累计有明确的数量和对齐要求；reserve只是为了符合mmap的语义，即mmap时不会分配内存，page fault才分配；

hugetlbfs的mount参数中有一个min_size，可以直接在mount的时候reserve大页，如下：

hugepage_new_subpool()
---spool->max_hpages = max_hpages;spool->hstate = h;spool->min_hpages = min_hpages;if (min_hpages != -1 && hugetlb_acct_memory(h, min_hpages)) {kfree(spool);return NULL;}spool->rsv_hpages = min_hpages;
---

 而在实践中，这也没有必要；与overcommit类似，hugetlb最关键的特性就是确定性，它能确保用户可以使用到huge page，所以，资源都是提供计算预留好的，甚至包括，哪个进程能用多少等，所以，做这种mount reserve没有意义。

hugetlbfs除了用户通过mount命令挂载的，系统还给每个hstate一个默认挂载；

init_hugetlbfs_fs()
---/* default hstate mount is required */mnt = mount_one_hugetlbfs(&default_hstate);...hugetlbfs_vfsmount[default_hstate_idx] = mnt;/* other hstates are optional */i = 0;for_each_hstate(h) {if (i == default_hstate_idx) {i++;continue;}mnt = mount_one_hugetlbfs(h);if (IS_ERR(mnt))hugetlbfs_vfsmount[i] = NULL;elsehugetlbfs_vfsmount[i] = mnt;i++;}
--hugetlb_file_setup()
---hstate_idx = get_hstate_idx(page_size_log);...mnt = hugetlbfs_vfsmount[hstate_idx];...inode = hugetlbfs_get_inode(mnt->mnt_sb, NULL, S_IFREG | S_IRWXUGO, 0);...
---ksys_mmap_pgoff()
---if (!(flags & MAP_ANONYMOUS)) {...} else if (flags & MAP_HUGETLB) {...hs = hstate_sizelog((flags >> MAP_HUGE_SHIFT) & MAP_HUGE_MASK);...len = ALIGN(len, huge_page_size(hs));...file = hugetlb_file_setup(HUGETLB_ANON_FILE, len,VM_NORESERVE,&ucounts, HUGETLB_ANONHUGE_INODE,(flags >> MAP_HUGE_SHIFT) & MAP_HUGE_MASK);...}retval = vm_mmap_pgoff(file, addr, len, prot, flags, pgoff);
---memfd_create()
---
...if (flags & MFD_HUGETLB) {...file = hugetlb_file_setup(name, 0, VM_NORESERVE, &ucounts,HUGETLB_ANONHUGE_INODE,(flags >> MFD_HUGE_SHIFT) &MFD_HUGE_MASK);}...fd_install(fd, file);
---

默认hugetlbfs挂载主要用于：

  • memfd，MEMFD_HUGETLB，直接从hugetlb中申请大页，创建匿名mem文件；
  • mmap，MMAP_HUGETLB，直接总hugetlb中申请大页，mmap到程序中；

这种方法虽然增加了灵活性，但是，还是之前强调的hugetlbfs是为了大页的确定性而存在的。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/129483.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

日本it培训学费 想去日本做IT，需要具备哪些技术？

日本it培训学费 想去日本做IT，需要具备哪些技术？

日本的IT行业历史比较悠久&#xff0c;业务以上层前端业务为主&#xff0c;如设计和构建软件。日本IT公司组织庞大&#xff0c;行业内部有着严格的分工和部署&#xff0c;工作会被细分化&#xff0c;分配给个人的工作量不会太大&#xff0c;难度也不会很高&#xff0c;所以日本…
阅读更多...
设计模式之装饰模式--优雅的增强

设计模式之装饰模式--优雅的增强

目录 概述什么是装饰模式为什么使用装饰模式关键角色基本代码应用场景 版本迭代版本一版本二版本三—装饰模式 装饰模式中的巧妙之处1、被装饰对象和装饰对象共享相同的接口或父类2、当调用装饰器类的装饰方法时&#xff0c;会先调用被装饰对象的同名方法3、子类方法与父类方法…
阅读更多...
【TS篇一】TypeScript介绍、使用场景、环境搭建、类和接口

【TS篇一】TypeScript介绍、使用场景、环境搭建、类和接口

文章目录 一、TypeScript 介绍1. TypeScript 是什么1.2 静态类型和动态类型1.3 Why TypeScript1.4 TypeScript 使用场景1.5 TypeScript 不仅仅用于开发 Angular 应用1.6 前置知识 二、如何学习 TypeScript2.1 相关链接 三、起步3.1 搭建 TypeScript 开发环境3.2 编辑器的选择3.…
阅读更多...
音频修复增强软件iZotope RX 10 mac中文特点

音频修复增强软件iZotope RX 10 mac中文特点

iZotope RX 10 mac是一款音频修复和增强软件。 iZotope RX 10 mac主要特点 声音修复&#xff1a;iZotope RX 10可以去除不良噪音、杂音、吱吱声等&#xff0c;使音频变得更加清晰干净。 音频增强&#xff1a;iZotope RX 10支持对音频进行音量调节、均衡器、压缩器、限制器等处…
阅读更多...
[概述] 点云滤波器

[概述] 点云滤波器

拓扑结构 点云是一种三维数据&#xff0c;有几种方法可以描述其空间结构&#xff0c;以利于展开搜索 https://blog.csdn.net/weixin_45824067/article/details/131317939 KD树 头文件&#xff1a;pcl/kdtree/kdtree_flann.h 函数&#xff1a;pcl::KdTreeFLANN 作用&#xff1a…
阅读更多...
一个 不用氪金 也能让你变强的 VSCode 插件 Ai

一个 不用氪金 也能让你变强的 VSCode 插件 Ai

哈喽,大家好 我是 彩色之外&#x1f468;&#x1f3fb;‍&#x1f4bb;。今天给大家推荐一款不用充钱也能让你变强的 vscode 插件 通义灵码&#xff08;TONGYI Lingma&#xff09;&#xff0c;可以称之为 Copilot 的替代甜品 &#x1f4aa; &#x1f440; 前期回顾 NPM- 滚动进…
阅读更多...
贷款行业极难获客，怎么获取实时客户数据？

贷款行业极难获客，怎么获取实时客户数据？

我们能想象当客户有贷款需求时会发生什么吗&#xff1f; 客户可能会打开手机搜索“如何借款”、“哪笔贷款利息低”、“最多能借多少钱”、“贷款需要什么条件”等关键词&#xff0c;然后&#xff0c;客户点击进入第一个链接&#xff0c;然后填写他们的姓名和电话号码来测试他…
阅读更多...
OpenAI最新官方GPT最佳实践指南，一文讲清ChatGPT的Prompt玩法

OpenAI最新官方GPT最佳实践指南，一文讲清ChatGPT的Prompt玩法

原文&#xff1a;Sina Visitor System OpenAI的官网发表万字GPT最佳实践指南&#xff0c;讲清Prompt提示词的原则和策略&#xff0c;这里是总结和全文翻译 原创图像&#xff0c;AI辅助生成 OpenAI的官网上刚刚发表一篇万字的GPT最佳实践指南&#xff0c;这份指南把写好Promp…
阅读更多...
大语言模型对齐技术 最新论文及源码合集（外部对齐、内部对齐、可解释性）

大语言模型对齐技术 最新论文及源码合集（外部对齐、内部对齐、可解释性）

大语言模型对齐(Large Language Model Alignment)是利用大规模预训练语言模型来理解它们内部的语义表示和计算过程的研究领域。主要目的是避免大语言模型可见的或可预见的风险&#xff0c;比如固有存在的幻觉问题、生成不符合人类期望的文本、容易被用来执行恶意行为等。 从必…
阅读更多...
C++笔记之实现多态的所有方法

C++笔记之实现多态的所有方法

C笔记之实现多态的所有方法 文章目录 C笔记之实现多态的所有方法1.C中多态是是什么&#xff1f;请用简洁准确的话描述2.虚函数实现多态2.1.虚函数&#xff08;Virtual Functions&#xff09;2.2.纯虚函数&#xff08;Pure Virtual Functions&#xff09;2.3.虚析构函数&#xf…
阅读更多...
vue学习part01

vue学习part01

02_Vue简介_哔哩哔哩_bilibili Vue.js - 渐进式 JavaScript 框架 | Vue.js (vuejs.org) 1.简介 2.常用用法 新项目一般vue3&#xff0c;老项目vue2 3.vue两种风格&#xff1a;选项式api&#xff08;vue2&#xff09;和组合式api&#xff08;vue3&#xff09; 两种方式实现累…
阅读更多...
Scala集合操作

Scala集合操作

1 集合简介 Scala 中拥有多种集合类型&#xff0c;主要分为可变的和不可变的集合两大类&#xff1a; 可变集合&#xff1a; 可以被修改。即可以更改&#xff0c;添加&#xff0c;删除集合中的元素&#xff1b; 不可变集合类&#xff1a;不能被修改。对集合执行更改&#xff0c;…
阅读更多...
基于单片机控制的GSM短信模块家庭防盗报警系统

基于单片机控制的GSM短信模块家庭防盗报警系统

博主主页&#xff1a;单片机辅导设计 博主简介&#xff1a;专注单片机技术领域和毕业设计项目。 主要内容&#xff1a;毕业设计、简历模板、学习资料、技术咨询。 文章目录 主要介绍一、内容1 设计任务和要求1 主要内容 二、系统总体方案2.1 系统整体设计思路2.2 系统方案设计 …
阅读更多...
【入门Flink】- 03Flink部署

【入门Flink】- 03Flink部署

集群角色 Flik提交作业和执行任务&#xff0c;需要几个关键组件&#xff1a; 客户端(Client)&#xff1a;代码由客户端获取并做转换&#xff0c;之后提交给JobManger JobManager&#xff1a;就是Fink集群里的“管事人”&#xff0c;对作业进行中央调度管理&#xff1b;而它获…
阅读更多...
【ES专题】ElasticSearch 高级查询语法Query DSL实战

【ES专题】ElasticSearch 高级查询语法Query DSL实战

目录 前言阅读对象阅读导航前置知识数据准备笔记正文一、ES高级查询Query DSL1.1 基本介绍1.2 简单查询之——match-all&#xff08;匹配所有&#xff09;1.2.1 返回源数据_source1.2.2 返回指定条数size1.2.3 分页查询from&size1.2.4 指定字段排序sort 1.3 简单查询之——…
阅读更多...
服务上千家企业，矩阵通2.0重磅上线，全链路管理新媒体矩阵

服务上千家企业，矩阵通2.0重磅上线，全链路管理新媒体矩阵

自上线以来 矩阵通已服务了上千家企业级客户 覆盖汽车、家居、媒体、金融、教育等多个行业 矩阵通1.0时代 我们以“数据”为基座打造出10功能 帮助企业轻松管理新媒体矩阵 实现账号管理、数据分析、竞对监测、 人员考核、风险监管等需求 而现在 矩阵通2.0重磅上线 新增…
阅读更多...
0基础学习PyFlink——个数滑动窗口（Sliding Count Windows）

0基础学习PyFlink——个数滑动窗口（Sliding Count Windows）

大纲 滑动&#xff08;Sliding&#xff09;和滚动&#xff08;Tumbling&#xff09;的区别样例窗口为2&#xff0c;滑动距离为1窗口为3&#xff0c;滑动距离为1窗口为3&#xff0c;滑动距离为2窗口为3&#xff0c;滑动距离为3 完整代码参考资料 在 《0基础学习PyFlink——个数…
阅读更多...
使用vscode实现远程开发，并通过内网穿透在公网环境下远程连接

使用vscode实现远程开发，并通过内网穿透在公网环境下远程连接

文章目录 前言1、安装OpenSSH2、vscode配置ssh3. 局域网测试连接远程服务器4. 公网远程连接4.1 ubuntu安装cpolar内网穿透4.2 创建隧道映射4.3 测试公网远程连接 5. 配置固定TCP端口地址5.1 保留一个固定TCP端口地址5.2 配置固定TCP端口地址5.3 测试固定公网地址远程 前言 远程…
阅读更多...
学习笔记三十四：Ingress和 Ingress Controller概述

学习笔记三十四：Ingress和 Ingress Controller概述

Ingress和 Ingress Controller概述 回顾service四层负载在k8s中为什么要做负载均衡Service不足之处四层负载和七层负载的区别OSI七层模型&#xff1a; Ingress介绍Ingress Controller介绍Ingress-controller 作用Ingress和Ingress Controller总结使用Ingress Controller代理k8s…
阅读更多...
设备接入服务组件-＞微服务and容器化改造说明文档

设备接入服务组件-＞微服务and容器化改造说明文档

SVN路径 https://192.0.0.241/USTA-dac/branches/dev/V1.10.500/dac 目录结构 das为设备接入服务&#xff0c;负责驱动管理&#xff0c;资源同步&#xff0c;订阅下发。下面有两个文件夹分别对应了openssl1.0的版本和后面更换接口后openssl1.1的版本。das_proxy为设备信令下发…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023