1.进程地址空间
感知进程地址空间
C/C++有内存的概念,内存空间包括栈、堆、代码段等等,下面是32位下的内存分布图,自底向上(由0x00000000
至0xFFFFFFFF
);
下面通过程序来验证各个数据在该空间的地址,由此感知整个地址空间的分布情况。
#include <stdio.h>
#include <stdlib.h>int g_val= 10; // 初始化数据
int un_g_val; // 未初始化数据int main(int argc, char *argv[], char *env[])
{printf("code addr :%p\n", main); // main函 数地址,即为程序开始的地址printf("init global addr :%p\n", &g_val); // 初始化数据地址printf("uninit global addr :%p\n", &un_g_val);// 未初始化数据地址char *m1 = (char*)malloc (sizeof(char)*10);char *m2 = (char*)malloc (sizeof(char)*10);printf("heap1 addr :%p\n", m1); // 先申请的堆空间变量地址printf("heap2 addr :%p\n", m2); // 后申请的堆空间变量地址printf("stack1 addr :%p\n", &m1); // 先申请的栈空间变量地址printf("stack2 addr :%p\n", &m2); // 后申请的栈空间变量地址int i = 0;for (i = 0; argv[i]; i++){printf("argv%d addr :%p\n", i, &argv[i]); }for (i = 0; env[i]; i++){printf("env%d addr :%p\n", i, &env[i]); }return 0;
}
程序运行后结果如下,完全符合上图的地址分布:
由低到高依次为正文代码段->初始化数据->未初始化数据->堆空间->栈空间->命令行参数环境变量
同时,栈和堆中间有一大块空白区域且向中间渐进。
root@hcss-ecs-e6eb:~/learning/Linux-learning/Process# ./myprocess
code addr :0x558e4fa8a189
init global addr :0x558e4fa8d010
uninit global addr :0x558e4fa8d018
heap1 addr :0x558e514606b0
heap2 addr :0x558e514606d0
stack1 addr :0x7fff4a3a7618
stack2 addr :0x7fff4a3a7620
argv0 addr :0x7fff4a3a7748
env0 addr :0x7fff4a3a7758
env1 addr :0x7fff4a3a7760
env2 addr :0x7fff4a3a7768
env3 addr :0x7fff4a3a7770
env4 addr :0x7fff4a3a7778
env5 addr :0x7fff4a3a7780
...
上述地址是在64位机器打印出来的,但实际上该机器内存只有2GB,而实际感知到的内存空间为 2 64 B = 2 34 G B 2^{64}B=2^{34}GB 264B=234GB,这中间可是相差了很多,可以初步推断:C/C++所谓的内存地址不是物理地址,而是一个虚拟地址/线性地址。
通过下面的程序可以更好地进行理解:设置一个全局变量g_val
,父子进程都拥有这个全局变量,观察子进程修改该全局变量值前后该变量在父子进程的状态变化。
#include <stdio.h>
#include <unistd.h>
#include <sys/types.h>int g_val = 100;int main()
{pid_t id = fork();if (id == 0){while (1){printf("I'm child process:%d, ppid:%d, g_val:%d, &g_val:%p\n", getpid(), getppid(), g_val, &g_val);g_val = 200;printf("after modify, I'm child process:%d, ppid:%d, g_val:%d, &g_val:%p\n", getpid (), getppid(), g_val, &g_val);sleep(2);}}else {while (1){printf("I'm father process:%d, ppid:%d, g_val:%d, & g_val:%p\n", getpid(), getppid(), g_val, &g_val);sleep(2);} }return 0;
}
可以看到,修改前g_val
的值和地址在父子进程中都是一致的,但是子进程将g_val
的值进行修改之后,虽然值不同,但是地址相同。若该地址是真实的物理地址,显然不可能出现这种情况,C/C++中使用的地址是虚拟地址。
I'm father process:1068014, ppid:1061991, g_val:100, &g_val:0x55a8287d7010
I'm child process:1068015, ppid:1068014, g_val:100, &g_val:0x55a8287d7010
after modify, I'm child process:1068015, ppid:1068014, g_val:200, &g_val:0x55a8287d7010
I'm father process:1068014, ppid:1061991, g_val:100, &g_val:0x55a8287d7010
I'm child process:1068015, ppid:1068014, g_val:200, &g_val:0x55a8287d7010
虚拟地址在Linux下也称为线性地址。
内存是硬件,操作系统肯定不会让用户直接进行操作,当进程分配到CPU资源后,CPU通过一个虚拟地址来访问贮存,这个虚拟地址被送到内存之前先转换成适当的物理地址,这一任务叫地址翻译。CPU芯片上叫做内存管理单元(Memory Management Unit, MMU)的专用硬件,利用存放在主存中的查询表来动态翻译虚拟地址,该表的内容由操作系统管理。
同一变量地址相同,其实是虚拟地址相同,内容不同是因为映射到了不同的物理地址。 这也能解释为什么fork
函数会有两个返回值,两个返回id
虽然同一虚拟地址,但是其指向的物理空间却不相同。
认识进程地址空间
地址空间(address space)是一个非负整数地址的有序集合。
操作系统通过进程控制块task_struct
来管理进程,每个进程都有一块独立的进程地址空间,这个空间不是物理上内存真正存在的空间,task_struct
有一个类型为mm_struct
的成员,操作系统通过进程控制块中的mm_struct
来管理这块空间。在mm_struct
结构体中,通过记录各段的首尾地址即区间方式来维护各段。
struct task_struct{//.../* 进程地址空间 1) mm: 指向进程所拥有的内存描述符 2) active_mm: active_mm指向进程运行时所使用的内存描述符对于普通进程而言,这两个指针变量的值相同。但是,内核线程不拥有任何内存描述符,所以它们的mm成员总是为NULL。当内核线程得以运行时,它的active_mm成员被初始化为前一个运行进程的active_mm值*/struct mm_struct *mm, *active_mm;//...
};struct mm_struct{//...//维护代码段和数据段unsigned long start_code, end_code, start_data, end_data;//维护堆和栈unsigned long start_brk, brk, start_stack;//维护命令行参数,命令行参数的起始地址和最后地址,以及环境变量的起始地址和最后地址unsigned long arg_start, arg_end, env_start, env_end;//...// 页表指针pgd_t * pgd;
}
概念上而言,虚拟内存被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。每字节都有一个唯一的虚拟地址,作为到数组的索引。磁盘上数组的内容被缓存到主存中。
除此之外,mm_struct
中还有一个重要成员页表指针,该指针指向了一个存放在物理内存中叫做页表(page table)的数据结构,每个进程指向一个页表,页表是一种映射关系,虚拟地址通过MMU得到虚拟页号和页内偏移量,虚拟页号通过页表映射到该物理页号,MMU拼接上页内偏移量就能得到最终物理地址。
操作系统通过地址空间+页表,将物理内存不连续的区域统一映射到同一块区域,让进程以统一的视角来看待内存。同时进程管理和内存管理解耦合,方便OS设计。地址空间+页表是保护内存安全的重要手段。
2.写时拷贝
写时拷贝(copy-on-write, COW)就是等到修改数据时才真正分配内存空间,这是对程序性能的优化,可以延迟甚至是避免内存拷贝,当然目的就是避免不必要的内存拷贝。
进程这一抽象能够为每个进程提供自己的私有的虚拟地址空间即进程地址空间,可以免受其他进程的错误读写。
不过,许多进程有同样的只读代码区域。例如,每个运行的Linux Shell 程序 bash
的进程都有相同的代码区域。
那么如果,每个进程都在物理内存中保持这些常用代码的副本,就是极端的浪费了。
一个对象可以被映射到虚拟内存的一个区域,要么作为共享对象,要么作为私有对象。
一个进程对共享对象的任何写操作,对其他将该共享对象映射到虚拟内存中的进程都是可见的。不可见的即是私有对象。
假设进程1将一个共享对象映射到它的虚拟内存的一个区域中,若假设进程2将同一共享对象也映射到它的地址空间(并不一定要和进程1在相同的虚拟地址处),会出现下图的情况,以节省物理内存的消耗。即使对象被映射到多个共享区域,物理内存中也只需要存放共享对象的一个副本。
私有对象用一种叫做写时拷贝的巧妙技术被映射到虚拟内存中。私有对象开始生命周期的方式与共享对象的一样,在物理内存中只保存有私有对象的一个副本。
就拿上面程序中父子进程来说,子进程修改g_val
之前,两个进程都将其私有对象(代码、数据、g_val
等等)映射到他们虚拟内存的不同区域,但是共享这个对象的同一物理副本,修改g_val
前,此时相应私有区域都被标记为只读。
然而子进程修改g_val
时,子进程试图写私有区域的某个页面,这个写操作会触发一个保护故障。
当故障处理程序注意到保护异常是由于进程试图写私有的写时拷贝区域中的一个页面引起的,它就会在物理内存中创建这个页面的一个新副本,更新页表条目指向新的副本,然后恢复这个页面的可写权限。
写时拷贝充分地使用了最稀有的物理内存。