nginx 内存管理(一)

文章目录

    • 前提知识
    • nginx内存管理的基础
      • 内存分配
        • 不初始化封装malloc
        • 初始化malloc
    • 内存池
      • 内存池结构
      • 清理函数cleanup
      • 大块内存large
    • 创建内存池
    • 申请内存
      • void *ngx_palloc(ngx_pool_t *pool, size_t size)
      • void *ngx_pnalloc(ngx_pool_t *pool, size_t size)
      • void *ngx_pcalloc(ngx_pool_t *pool, size_t size)
    • 内存释放
      • 大块内存释放 ngx_pfree（单个大块内存）
      • 释放内存池

前提知识

应用程序的内存可以简单的氛围堆内存，栈内存；对于栈内存，函数编译的时候，编译器会移动栈到当前指针位置的代码，实现栈空间的管理。但是对于堆内存，通常需要程序员进行管理，我们常说的内存管理其实就是对堆空间的管理。

内存对齐

nginx的内存管理可以分为两个部分，一种是常规的内存池，也就是进程平时所需要的内存管理；一种是共享内存的管理。这里主要讲的是内存池管理内存

nginx内存管理的基础

nginx的内存管理包括1三个部分：内存分配、内存对齐、内存释放

  • 分配：nginx的内存分配本质上是对c语言的malloc进行封装，详情可以查看src/os/unix/ ngx_alloc.c，其分配包括两种形式：

    • .void *ngx_alloc(size_t size, ngx_log_t *log);//不初始化
    • .void *ngx_calloc(size_t size, ngx_log_t *log);//对分配空间初始化为0

  • 对齐：参考上文链接

  • 释放：#define ngx_free free // 见os/unix/ ngx_alloc.h，宏定义。

内存分配

不初始化封装malloc
void *ngx_alloc(size_t size, ngx_log_t *log)
{  void  *p;  p = malloc(size);   if (p == NULL) {     错误信息处理  ngx_log_error(NGX_LOG_EMERG, log, ngx_errno, "malloc(%uz) failed", size);  }   //调试信息处理 ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, log, 0, "malloc: %p:%uz", p, size);   return p;
}
初始化malloc
void *ngx_calloc(size_t size, ngx_log_t *log)
{   void  *p;   p = ngx_alloc(size, log);   //1.Nginx分配if (p) {      ngx_memzero(p, size);  //2.若分配成功，则Nginx初始化}   return p;
}

内存池

nginx使用内存池来管理内存，当进程需要内存时，向内存池申请，使用后释放内存池。申请的内存主要分为两种：小块内存，大块内存

  • 小块内存：使用后不需要（立即）释放，可以等到释放内存池的时候再释放；
  • 大块内存：使用后可以调用相关接口进行释放，也可以等待内存池释放再释放。

内存池释放的时候，可以调用回调清理函数，可以有多个回调函数，这些回调函数构成链表进行管理。

内存池结构

内存池的结构如下：一般来说，内存池的第一个结点会包含以下的数据结构，而从第二个结点开始，max——log部分会被缺省，当做空间进行分配。
在这里插入图片描述

其数据结构如下（详情查看：core/ngx_palloc.h）：

typedef struct ngx_pool_s            ngx_pool_t;typedef struct {    u_char               *last;//下一次分配的开始u_char               *end;//内存池结束的位置ngx_pool_t           *next;//内存池的内存块通过这个连成链表ngx_uint_t            failed;//内存池分配失败的次数
} ngx_pool_data_t;//d：数据块struct ngx_pool_s {  ngx_pool_data_t       d;//指向一个内存池的第一个数据块size_t                max;//判断大内存块和小内存块的标准ngx_pool_t           *current;//指向当前的内存池ngx_chain_t          *chain;//挂接一个ngx_chain_t结构ngx_pool_large_t     *large;//指向大块内存链表的第一个结点，即分配控件超过max的内存ngx_pool_cleanup_t   *cleanup;//指向清理函数的管理结点ngx_log_t            *log;//用来记录日志信息
};

在这里插入图片描述

清理函数cleanup

struct ngx_pool_cleanup_s {   ngx_pool_cleanup_pt   handler;//指向清理函数的地址void                 *data;//data:用于向数据清理函数传递的参数,指向待清理的数据的地址,若没有则为NULLngx_pool_cleanup_t   *next;//指向下一个清理函数的管理结点
};//清理函数指针
typedef void (*ngx_pool_cleanup_pt)(void *data);

在这里插入图片描述

大块内存large

typedef struct ngx_pool_large_s  ngx_pool_large_t;
struct ngx_pool_large_s {   ngx_pool_large_t     *next;//指向分配的大块内存的下一个管理结点void                 *alloc;//指向大块内存的地址
};

在这里插入图片描述

创建内存池

ngx_pool_t *ngx_create_pool(size_t size, ngx_log_t *log)//创建内存池，size用来确定max
  1. 申请内存，如果操作系统支持对齐，按16字节对齐方式对齐
  2. 如果成功申请内存，按以下3-5步骤初始化内存池ngx_pool_t 结构，否则返回NULL
  3. 初始化ngx_pool_t 的ngx_pool_data_t类型成员d;
  4. 初始化ngx_pool_t的max ；
  5. 初始化ngx_pool_t的current ；
  6. 将ngx_pool_t的chain、 large以及cleanup初始化为NULL;
  7. 初始化ngx_pool_t的log成员；
  8. 返回内存池指针（首地址）p。

在这里插入图片描述

ngx_pool_t  *p;  
p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log);//内存对齐
if (p == NULL)
{    return NULL;   
}p->d.last = (u_char *) p + sizeof(ngx_pool_t);    
P->d.end = (u_char *) p + size;   
p->d.next = NULL;   
p->d.failed = 0;size = size – sizeof(ngx_pool_t);  
p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? Size : NGX_MAX_ALLOC_FROM_POOL;p->current = p;
…….
P->log = log;
return p;

申请内存

  1. void *ngx_palloc(ngx_pool_t *pool, size_t size)：基本方法
  2. void *ngx_pnalloc(ngx_pool_t *pool, size_t size):小内粗块不考虑对齐的palloc
  3. void *ngx_pcalloc(ngx_pool_t *pool, size_t size):含有初始化

void *ngx_palloc(ngx_pool_t *pool, size_t size)

{//判别大小块内存方式if (size <= pool->max) {        return ngx_palloc_small(pool, size, 1);//对齐方式，申请小块内存，1表示对齐，0表示不对齐 }return ngx_palloc_large(pool, size);
}

void *ngx_pnalloc(ngx_pool_t *pool, size_t size)

{//判别大小块内存方式If (size <= pool->max) {        return ngx_palloc_small(pool, size, 0);//不对齐方式，申请小块内存  }return ngx_palloc_large(pool, size);
}

void *ngx_pcalloc(ngx_pool_t *pool, size_t size)

{  void *p;    p = ngx_palloc(pool, size);  //调用 ngx_pallocif (p) //初始化处理{     ngx_memzero(p, size); }  return p;
}
  • 当小块内存进行分配的时候，会先从 last指针 所对应的地址开始查找，查找能够满足size大小的内存；如果查找成功，last+=size；如果查找失败，则failed++，并且根据next来遍历整个链表，查找能够分配size的内存块；如果遍历完整个链表，都没有找到对应的内存块，则重新申请内存再分配。
static ngx_inline void *ngx_palloc_small(ngx_pool_t *pool, size_t size, ngx_uint_t align){do{  m = p->d.last;    //注意这个写法，d是p的非指针成员，last是d的指针成员  if (align) {    m = ngx_align_ptr(m, NGX_ALIGNMENT);  //需要对齐，则对齐处理     }     if ((size_t) (p->d.end - m) >= size) //满足大小要求，划出分配区域{       p->d.last = m + size;     //划出size大小    return m;     }    p = p->d.next;  //下一个内存块，遍历所有内存块} while (p);return ngx_palloc_block(pool, size);//申请新的内存块，完成该次小内存块申请
}
  • 当申请大块内存时：要注意大块内存的管理结点，也就是ngx_pool_large_t是存放在小块内存中的，而大块内存的地址是存放在管理地址的alloc指针中的；大块内存在释放的时候，会把alloc所在地址的内存先释放掉，管理结点的内存可以暂时不释放，等到内存池释放的时候再一起释放；小块内存中可能会存在很多空闲的大块内存的管理结点，如果大块内存在申请时遇到空闲的管理结点可以直接挂接在空闲的管理结点上，如果没有空闲的就按照申请小块内存的方式申请一个结点再挂接。
    • 大块内存申请，直接用ngx_alloc申请size大小的内存(p指向)；将该大块内存（p指向）链入有关队列；
    • 步骤一：从内存池中查找是否有空闲的ngx_pool_large_t类型large结点，有则直接用该结点链接管理以上步骤申请的大内存块（p指向）；若没有则进行以下第2步骤；
    • 步骤二：从内存池中按小块内存方式申请一个ngx_pool_large_t结点large，若失败，释放1步骤的大内存块，返回；如果成功，按序进行以下第3、4步骤；
    • 步骤三：将大内存块（p指向）链接入large中(将p赋值为large的alloc)；
    • 步骤四：将large链入内存池结构的large队列中，并将其作为队列头部

在这里插入图片描述

static void *ngx_palloc_large(ngx_pool_t *pool, size_t size)//大块
……
p = ngx_alloc(size, pool->log);//直接申请大内存
……//含有n=0语句
for (large = pool->large; large; large = large->next)//循环查找空闲large
{        //步骤1if (large->alloc == NULL) //找到空闲large{         large->alloc = p;        //将大内存链入该空闲largereturn p;      } if (n++ > 3) {            break;        }//次数限制为4次？
}large = ngx_palloc_small(pool, sizeof(ngx_pool_large_t), 1);
//申请新空白large，步骤2
if (large == NULL) {    //失败，释放大内存，返回ngx_free(p);      return NULL;    }large->alloc = p;   //将大块内存链入large，步骤3large->next = pool->large;    //将新large链入内存池large链头，步骤4
pool->large = large;

内存释放

  • 大块内存，Nginx提供了专门的接口-ngx-free来释放；
  • 小块内存，Nginx将它们的释放连同内存池释放一起进行；
  • 先释放大块内存，再释放小块内存

大块内存释放 ngx_pfree（单个大块内存）

  1. 找到内存池的large（链头）指针；
  2. 遍历该链头指向的链表，逐个对每个large结点判定该large的alloc指向的大内存块是否就是需要释放的块，是则调用ngx_free(宏)释放该大内存块，置该结点的alloc为NULL；不是，继续查找和判定。
ngx_int_tngx_pfree(ngx_pool_t *pool, void *p)for (l = pool->large; l; l = l->next) //遍历内存池的large
{  if (p == l->alloc)   //判定该large结点是否含有待释放大块内存{      //调试信息     ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,  "free: %p", l>alloc);         ngx_free(l->alloc);  //释放该大块      l->alloc = NULL; //置该结点alloc为NULL    return NGX_OK;      }   }

释放内存池

  1. 释放清理函数：要先对内存进行有关处理
    • 从内存池cleanup指针开始遍历；
    • 对每个结点清理函数，调用一次该清理函数。
  2. 释放大块内存（全部大块内存）
    • 从内存池large指针开始遍历；
    • 每个结点如果含有大块内存，则释放该大块内存
  3. 释放内存块
    • 从内存池d->next指针开始遍历，释放每个结点内存块
voidngx_destroy_pool(ngx_pool_t *pool)//先释放清理函数，因为需要先对内存进行有关处理
for (c = pool->cleanup; c; c = c->next)
{       if (c->handler) {  //如果有清理函数      ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,“run cleanup: %p”, c); //调试信息c->handler(c->data);   //调用一次该清理函数 }  }for (l = pool->large; l; l = l->next)//遍历每个大内存结点
{  if (l->alloc) //如果该结点有大内存{         ngx_free(l->alloc);    //释放该结点大内存}   
}for (p = pool, n = pool->d.next; ; p = n, n = n->d.next){     //遍历每个内存池内存块结点  ngx_free(p);   //释放该内存块结点if (n == NULL) //如果是结尾，终止循环{            break;        }    
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/111778.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JS动态参数arguments与剩余参数

JS动态参数arguments与剩余参数

arguments是函数内部内置的伪数组变量&#xff0c;它包含了调用函数时传入的所以实参 让我为大家介绍一下arguments吧 平时我们获取实参&#xff1a; function fun(a, b) {console.log(a) //1console.log(b) //2}fun(1, 2)接下来我们来使用一下arguments动态获取实参 function …
阅读更多...
6 个可解锁部分 GPT-4 功能的 Chrome 扩展（无需支付 ChatGPT Plus 费用）

6 个可解锁部分 GPT-4 功能的 Chrome 扩展（无需支付 ChatGPT Plus 费用）

在过去的几个月里&#xff0c;我广泛探索了 ChatGPT 的所有可用插件。在此期间&#xff0c;我发现了一些令人惊叹的插件&#xff0c;它们改进了我使用 ChatGPT 的方式&#xff0c;但现在&#xff0c;我将透露一些您需要了解的内容。 借助 Chrome 扩展程序&#xff0c;所有 Chat…
阅读更多...
Ubuntu（kylin)挂载iso文件和配置apt本地源

Ubuntu（kylin)挂载iso文件和配置apt本地源

版本说明：Ubuntu Server 16.04 LTS解决问题：解决在无任何互联网的环境下，安装软件时缺少依赖包的问题 方法一：通过虚拟机挂载 将镜像挂载到虚拟机以VMware Workstation为例，打开“虚拟机设置”，点击“CD/DVD”选项，将 “设备状态”中的“<
阅读更多...
【插入----在第i个结点前插入值为e的新结点,删除----删除第i个结点,单链表上的查找，插入，删除算法时间效率分析】

【插入----在第i个结点前插入值为e的新结点,删除----删除第i个结点,单链表上的查找，插入，删除算法时间效率分析】

文章目录 单链表的基本操作插入----在第i个结点前插入值为e的新结点删除----删除第i个结点单链表上的查找&#xff0c;插入&#xff0c;删除算法时间效率分析 单链表的基本操作 插入----在第i个结点前插入值为e的新结点 【算法步骤】 1.首先找到a&#xff08;i-1&#xff09;…
阅读更多...
安全运营工程师面经

安全运营工程师面经

lz作为秋招狗&#xff0c;面了N场面试&#xff0c;腾讯的面试官给人的感觉就很好&#xff0c;比较懂技术&#xff0c;对项目技术问的很深 由于lz项目经验很丰富&#xff0c;因此几乎没怎么问八股文&#xff0c;主要针对项目提问&#xff0c;下面是一些主要的问题 对中间人攻击…
阅读更多...
JavaScript基础——练习巩固题目(1）

JavaScript基础——练习巩固题目(1）

1、获取用户信息 依次询问并获取用户的姓名、年龄、性别&#xff0c;收集数据之后在控制台依次打印出来。 提示&#xff1a; 通过prompt来弹出提示框&#xff0c;收集用户信息 通过变量保存数据 2、增加年龄 询问用户年龄&#xff0c;用户输入年龄后&#xff0c;把用户输入的…
阅读更多...
单片机判断语句与位运算的坑

单片机判断语句与位运算的坑

一.问题描述 在我判断Oled的某点的值是否为1时,用到了如下判断语句 if(oled[x][y/8] &1<<(y%8)但是,当我将其改为如下的判断语句,代码却跑出BUG了 if((oled[x][y/8]&1<<(y%8))1)二.原因分析 1.if语句理解错误 首选让我们看看下面的代码运行结果 #inc…
阅读更多...
sqlsever解决传入参数过多的一种思路

sqlsever解决传入参数过多的一种思路

问题 com.microsoft.sqlserver.jdbc.SQLServerException: 传入的请求具有过多的参数。该服务器支持最多 2100 个参数。请减少参数的数目&#xff0c;然后重新发送该请求。 方案 java sqlsever 或 sqlsever存储过程 方案1 java sqlsever 解决方案 1. 将数据处理成XML格式 …
阅读更多...
Django中ORM框架的各个操作

Django中ORM框架的各个操作

我们会好奇&#xff0c;python这么简洁的语言&#xff0c;数据查询是如何做的呢&#xff1f;我将进一步详细和深入地介绍Django中ORM框架的各个方面&#xff0c;包括MySQL的增删改查和复杂查询。让我们分步骤进行。 ORM框架介绍 Django的ORM框架是一个用于与数据库进行交互的工…
阅读更多...
Stable Diffusion WebUI扩展a1111-sd-webui-tagcomplete之Booru风格Tag自动补全功能详细介绍

Stable Diffusion WebUI扩展a1111-sd-webui-tagcomplete之Booru风格Tag自动补全功能详细介绍

安装地址 直接附上地址先： Ranting8323 / A1111 Sd Webui Tagcomplete GitCodeGitCode——开源代码托管平台，独立第三方开源社区，Git/Github/Gitlabhttps://gitcode.net/ranting8323/a1111-sd-webui-tagcomplete.git上面是GitCode的地址，下面是GitHub的地址，根据自身情…
阅读更多...
Android AccessibilityService dispatchGesture

Android AccessibilityService dispatchGesture

Android AccessibilityService dispatchGesture 一、dispatchGesture方法 1.申请权限 <uses-permission android:name"android.permission.BIND_ACCESSIBILITY_SERVICE"tools:ignore"ProtectedPermissions" />2.使用 public class MyAccessibili…
阅读更多...
Kotlin Compose Multiplatform 跨平台开发实践之加入 iOS 支持

Kotlin Compose Multiplatform 跨平台开发实践之加入 iOS 支持

前言 几个月前 Compose Multiplatform 的 iOS 支持就宣布进入了 Alpha 阶段&#xff0c;这意味着它已经具备了一定的可用性。 在它发布 Alpha 的时候&#xff0c;我就第一时间尝鲜&#xff0c;但是只是浅尝辄止&#xff0c;没有做过多的探索&#xff0c;最近恰好有点时间&…
阅读更多...
vue实现分页

vue实现分页

第一步 页面添加分页控件 <el-pagination size-change"handleSizeChange" current-change"handleCurrentChange" :current-page"currentPage":page-sizes"[10, 20, 30, 40]" :page-size"pageSize" layout"total, s…
阅读更多...
idea Java代码格式化规范

idea Java代码格式化规范

文章目录 引入基础知识代码模板idea模板eclipse模板1.安装插件2.生成配置文件3.导入配置文件 附录一&#xff1a;xml配置项说明附录二&#xff1a;赠送 引入 最近在公司开发中&#xff0c;遇到了一点小问题&#xff0c;组内各同事的格式化规范不一致。一来导致代码样式并不统一…
阅读更多...
Polars库的常见用法总结

Polars库的常见用法总结

Polars是一个基于Rust语言的数据操作和分析库&#xff0c;专为大型数据集和高性能计算而设计。它提供了类似于pandas的API&#xff0c;但在性能方面更加强大。 以下是Polars库的一些常见用法&#xff1a; 导入Polars库&#xff1a; import polars as pl读取数据&#xff1a;…
阅读更多...
【RealTek sdk-3.4.14b】RTL8812F 5G WiFi ETSI认证增加144~165信道支持修改

【RealTek sdk-3.4.14b】RTL8812F 5G WiFi ETSI认证增加144~165信道支持修改

SDK说明 ** Gateway/AP firmware v3.4.14b – Aug 26, 2019**  Wireless LAN driver changes as:  Refine WiFi Stability and Performance  Add 8812F MU-MIMO  Add 97G/8812F multiple mac-clone  Add 97G 2T3R antenna diversity  Fix 97G/8812F/8814B MP issu…
阅读更多...
【Linux学习笔记】常用命令汇总

【Linux学习笔记】常用命令汇总

sed https://mp.weixin.qq.com/s/PxaesXU7nkmYNCxIQ1ZHfw sed是一个强大的流式文本编辑器&#xff0c;它可以在读取文本时进行修改并输出&#xff0c;支持各种复杂的字符串替换、内容删除、行插入等操作。 sed s/old_string/new_string/g test.txt > new_test.txts是sed命令…
阅读更多...
QCC51XX-QCC30XX系列开发教程（实战篇) 之 12.1-空间音频相关模块的概述

QCC51XX-QCC30XX系列开发教程（实战篇) 之 12.1-空间音频相关模块的概述

查看全部教程开发请点击：全网最全-QCC51xx-QCC30xx（TWS）系列从入门到精通开发教程汇总（持续更新中） ==================================================================== 版权归作者所有，未经允许，请勿转载。 ==========================================
阅读更多...
从零开始搭建第一个django项目

从零开始搭建第一个django项目

目录 配置环境创建 Django 项目和 APP项目组成　　‍子目录文件组成应用文件组成 配置 settings.py启动项目 数据表创建models.pyDjango-models的常用字段和常用配置 Django-admin 引入admin后台和管理员外键views.pyurls.pypostman接口测试 QuerySetInstance功能APIView 的概念…
阅读更多...
线程池在项目中的使用

线程池在项目中的使用

1.runAsync执行完后无返回值 package com.search.thread; import java.util.concurrent.*; public class ThreadTest {public static ExecutorService executor Executors.newFixedThreadPool(10);public static void main(String[] args) throws ExecutionException, Interr…
阅读更多...
最新文章

Copyright @ 2022~2023