【C++高并发服务器WebServer】-5：内存映射与进程通信

在这里插入图片描述

本文目录

一、内存映射与进程通信
二、匿名映射与进程通信

一、内存映射与进程通信

内存映射Memory-mapped I/O指的是将磁盘文件的数据映射到内存，用户通过修改内存就能够修改磁盘文件，如下图所示（进程地址空间指的是虚拟地址空间）。

在这里插入图片描述
如果两个进程都对同一块文件进行内存映射，也可以达到进程通信（进程之间有无关系都可以实现）的效果。

如果两个进程都使用了 MAP_SHARED 标志，那么它们共享同一块物理内存区域。这意味着操作系统会将文件的内容加载到物理内存中，并将两个进程的虚拟地址空间中的相应地址映射到同一块物理内存。

当一个进程修改了共享内存区域中的数据时，这些修改会反映到物理内存中，其他进程访问时也会看到这些修改。

虚拟地址空间本身并不是“加载”到物理内存中的。虚拟地址空间是一个逻辑上的地址范围，由操作系统管理。物理内存是实际存储数据的地方。当进程访问虚拟地址空间中的某个地址时，操作系统会通过页表将虚拟地址映射到物理内存地址。如果物理内存不足，操作系统会将一些不常用的页面交换到磁盘上的交换空间（Swap Space）中，以释放物理内存供其他用途。虚拟地址空间中的地址并不是直接对应物理内存的地址，而是通过页表（Page Table）映射到物理内存或其他存储设备（如磁盘）。

打个比方，假设现在有两个进程：
进程1：虚拟地址空间中的地址范围 [0x1000, 0x2000) 被映射到文件 shared_file。操作系统将这个虚拟地址范围映射到物理内存中的某个区域，例如 [0x10000, 0x11000)。
对于进程2：进程2：虚拟地址空间中的地址范围 [0x3000, 0x4000) 也被映射到文件 shared_file。操作系统将这个虚拟地址范围映射到相同的物理内存区域 [0x10000, 0x11000)。

下面是内存映射相关系统的调用。

#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t
offset);
int munmap(void *addr, size_t length);

我们来使用个简单的案例demo来看看如何通过内存映射进行进程通信。

首先创建实现mmap的代码，然后在同级目录下写一个test.txt文件，里面可以写任意数据。

/*#include <sys/mman.h>void *mmap(void *addr, size_t length, int prot, int flags,int fd, off_t offset);- 功能：将一个文件或者设备的数据映射到内存中(在当前调用进程的虚拟地址空间中)- 参数：- void *addr: NULL, 由内核指定- length : 要映射的数据的长度，这个值不能为0。建议使用文件的长度。获取文件的长度：stat lseek（默认取分页的大小）- prot : 对申请的内存映射区的操作权限-PROT_EXEC ：可执行的权限-PROT_READ ：读权限-PROT_WRITE ：写权限-PROT_NONE ：没有权限要操作映射内存，必须要有读的权限。PROT_READ、PROT_READ|PROT_WRITE（Read按位或Write）- flags :- MAP_SHARED : 映射区的数据会自动和磁盘文件进行同步，进程间通信，必须要设置这个选项- MAP_PRIVATE ：不同步，内存映射区的数据改变了，对原来的文件不会修改，会重新创建一个新的文件。（copy on write）- fd: 需要映射的那个文件的文件描述符- 通过open得到，open的是一个磁盘文件- 注意：文件的大小不能为0，open指定的权限不能和prot参数有冲突。prot: PROT_READ                open:只读/读写 prot: PROT_READ | PROT_WRITE   open:读写- offset：偏移量，一般不用。必须指定的是4k的整数倍，0表示不偏移。- 返回值：返回创建的内存的首地址失败返回MAP_FAILED，(void *) -1int munmap(void *addr, size_t length);- 功能：释放内存映射- 参数：- addr : 要释放的内存的首地址- length : 要释放的内存的大小，要和mmap函数中的length参数的值一样。
*//*使用内存映射实现进程间通信：1.有关系的进程（父子进程）- 还没有子进程的时候- 通过唯一的父进程，先创建内存映射区- 子进程会继承父进程的虚拟内存空间，包括所有已映射的内存区域。如果先创建子进程，再在父进程中创建内存映射区，那么子进程将无法访问这个映射区，因为它是在子进程创建之后才被创建的。- 有了内存映射区以后，创建子进程- 父子进程共享创建的内存映射区2.没有关系的进程间通信- 准备一个大小不是0的磁盘文件- 进程1 通过磁盘文件创建内存映射区- 得到一个操作这块内存的指针- 进程2 通过磁盘文件创建内存映射区- 得到一个操作这块内存的指针- 使用内存映射区通信注意：内存映射区通信，是非阻塞。
*/
#include <stdio.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <sys/types.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <wait.h>int main() {// 1.打开一个文件int fd = open("test.txt", O_RDWR);int size = lseek(fd, 0, SEEK_END);  // 获取文件的大小// 2.创建内存映射区void *ptr = mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);//MAP_FAILED是一个宏，通常是一个空指针（NULL）或者一个特殊的无效地址。if(ptr == MAP_FAILED) {perror("mmap");exit(0);} // 3.创建子进程pid_t pid = fork();if(pid > 0) {wait(NULL);// 父进程char buf[64];//strcpy的原型；char *strcpy(char *dest, const char *src);//buf 是目标字符串的指针，类型为 char *。//ptr 是 void * 类型，而strcpy的第二个参数需要的是 const char *类型//所以进行了强制转换。strcpy(buf, (char *)ptr); //strncpy 会在遇到 \0 时停止拷贝printf("read data : %s\n", buf);}else if(pid == 0){// 子进程strcpy((char *)ptr, "nihao a, son!!!");}// 关闭内存映射区munmap(ptr, size);return 0;
}

下面是一些使用内存映射的注意事项：

如果对mmap的返回值(ptr)做++操作(ptr++), munmap是否能够成功？
可以对ptr进行++操作，但是munmap会错误，需要提前保存++前的内存地址
如果open时O_RDONLY, mmap时prot参数指定 PROT_READ | PROT_WRITE 会怎样？
错误，会返回 MAP_FAILED （即，void* -1）
open() 函数中的权限建议和prot参数的权限保持一致。
如果文件偏移量为1000会怎样？
偏移量必须是4k的整数倍，返回MAP_FAILED (分页大小)
mmap什么情况下会调用失败？
- 第二个参数： length = 0
- 第三个参数： prot权限有问题
  - 只指定了写权限
  - prot PROT_READ | PROT_WRITE
    第五个参数fd 通过open函数时未指定 O_RDONLY | O_WRONLY
可以open的时候O_CREATE一个新文件来创建映射区吗？
- 可以，但是创建文件大小为0的话，肯定不行
- 可以对新的文件进行扩展
  - lseek()
  - truncate()
mmap后关闭文件描述符，对mmap映射有没有影响？
int fd = open(“xxx”)
mmap(, fd, 0);
close(fd);
映射区还存在，创建映射区的fd被关闭，没有任何影响
对ptr越界操作会怎样？
越界操作，操作的是非法内存，-> 段错误

接下来我们实现一个使用内存映射来完成文件拷贝的功能demo：

/*基于内存映射实现文件的拷贝功能思路：1、对原始文件进行内存映射。2、创建一个新文件（拓展该文件）3、把新文件的数据映射到内存中。3、通过内存拷贝将第一个文件的内存数据拷贝到新的文件内存中。 5、释放资源。
*/#include<stdio.h>
#include<sys/mman.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<unistd.h>
#include<string.h>
#include<stdlib.h>int main(){int fd = open("english.txt",O_RDWR);if (fd == -1){perror("open");exit(0);}int len = lseek(fd,0,SEEK_END);int fd1 =open("cpy.txt",O_RDWR | O_CREAT,0664);if(fd1==-1){perror("open");}truncate("cpy.txt",len);write(fd1,"",1);//分别做一个内存映射void *ptr = mmap(NULL,len,PROT_READ | PROT_WRITE,MAP_SHARED,fd,0);void *ptr1 = mmap(NULL,len,PROT_READ | PROT_WRITE,MAP_SHARED,fd1,0);if(ptr==MAP_FAILED){perror("ptr");exit(0);}if(ptr1==MAP_FAILED){perror("ptr1");exit(0);}//执行内存拷贝memcpy(ptr1,ptr,len);//释放资源+关闭munmap(ptr1,len);munmap(ptr,len);close(fd1);close(fd);return 0;
}

二、匿名映射与进程通信

匿名映射（Anonymous Mapping）是 mmap 函数的一种特殊用法，它不与任何文件关联，而是直接在进程的虚拟地址空间中分配一块内存区域。这种映射方式常用于创建匿名共享内存或分配动态内存。

匿名映射的初始内容通常被清零（即所有字节都设置为 0）匿名映射不涉及任何文件描述符（fd），因此不会从文件中加载数据。它直接在进程的虚拟地址空间中分配一块内存区域。

匿名映射可以用于动态分配内存，类似于 malloc，但更灵活。它可以直接在虚拟地址空间中分配内存，而不需要通过堆分配器。

/*匿名映射：不需要文件实体进程一个内存映射
*/#include <stdio.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <sys/wait.h>int main() {// 1.创建匿名内存映射区int len = 4096;void * ptr = mmap(NULL, len, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);if(ptr == MAP_FAILED) {perror("mmap");exit(0);}// 父子进程间通信pid_t pid = fork();if(pid > 0) {// 父进程strcpy((char *) ptr, "hello, world");wait(NULL);}else if(pid == 0) {// 子进程sleep(1);printf("%s\n", (char *)ptr);}// 释放内存映射区int ret = munmap(ptr, len);if(ret == -1) {perror("munmap");exit(0);}return 0;
}