淘宝分布式文件存储系统( 三 ) ->>TFS
目录 :
- 文件重新映射的接口介绍
- 文件映射 mmap_file.cpp的实现
- 进行测试
文件重新映射 (增加 或者 减少 文件映射区域的大小)
mremap() 函数的原型如下
#include <sys/mman.h>
void *mremap( void * old_address , size_t old_size , size_t new_size , int flags );
参数说明 ：
old_address：指向原映射区域的起始地址。old_size：原映射区域的大小，以字节为单位。new_size：新映射区域的大小，以字节为单位。flags：标志参数，用于指定映射操作的行为。常用的标志是MREMAP_MAYMOVE，表示允许系统将映射区域移动到新的位置。
返回值 :
- 成功时，返回新映射区域的起始地址。
- 失败时，返回
MAP_FAILED，并设置errno错误码来指示具体错误。
注意 :
在使用mremap()函数前，需要通过mmap()函数创建原始的内存映射区域，并确保该内存映射区域是有效的。另外，mremap()函数只能用于修改已存在的内存映射区域，无法在不同的文件描述符之间创建新的映射。
文件映射 mmap_file.cpp的实现 :
#include"mmap_file.h"
#include<stdio.h>int static Debug=1 ; namespace qiniu
{namespace largefile{//构造函数MMapFile::MMapFile():size_(0),fd_(-1),data_(NULL){}MMapFile::MMapFile(const int fd):size_(0),fd_(fd),data_(NULL){}MMapFile::MMapFile(const MMapOption& mmp_option, const int fd):size_(0),fd_(fd),data_(0){mmap_file_option_.max_mmap_size_=mmp_option.max_mmap_size_;mmap_file_option_.frist_mmap_size_=mmp_option.frist_mmap_size_;mmap_file_option_.pri_mmap_size_=mmp_option.pri_mmap_size_;}//析构函数MMapFile::~MMapFile(){if(data_){ //映射内容不为空,说明映射成功if(Debug) printf("file information size : %d ,fd : %d , data : %p\n",size_,fd_,data_);msync(data_, size_, MS_SYNC); //当我们的数据发生改变,同步信号,更新完成后一起返回//解除文件映射munmap(data_ , size_ );size_=0;fd_=-1;data_=NULL;mmap_file_option_.max_mmap_size_=0;mmap_file_option_.frist_mmap_size_=0;mmap_file_option_.pri_mmap_size_=0;}}//同步文件 bool MMapFile::sync_file() {if(data_!=NULL && size_>0){ //如果data_为空,或者 映射的大小<0 ,则说明没有映射if( msync(data_ , size_ , MS_SYNC)<0){ //同步失败fprintf( stderr, "file sync falied %s \n", strerror(errno));return false;}return true;}return false;}//文件映射 bool MMapFile::map_file(const bool write) {int flags=PROT_READ;if(write){flags |= PROT_WRITE; //同时设置为可读}if(fd_ < 0){ return false ;}if(size_ > mmap_file_option_.max_mmap_size_){ //如果初始化的大小,比我们设定的最大的映射大小还要大size_=mmap_file_option_.max_mmap_size_; }if(size_< mmap_file_option_.frist_mmap_size_){ //如果size_ 的大小,小于我们第一次分配的大小size_=mmap_file_option_.frist_mmap_size_ ;}if(!ensure_flie_size(size_)){ //调整大小fprintf(stderr , "ensure_flie_size falied: %d\n", size_);return false;}data_=mmap(NULL, size_ , flags, MAP_SHARED , fd_ , 0); //文件映射if( MAP_FAILED==data_ ){ //内存映射失败,返回 MAP_FAILEDfprintf(stderr, "file failed :%s\n",strerror(errno));fd_=-1;data_=NULL;size_=0;return false;}if(Debug){printf("file map succeed : size_ : %d ,fd : %d , data : %p\n",size_,fd_,data_);}return true;}//获取映射内存的首地址 void* MMapFile::get_data()const{return data_; //返回映射内存的起始地址}//获取映射内存的大小 int32_t MMapFile::get_size()const{return size_; //返回映射内存的大小}bool MMapFile::munmap_file() {if(munmap(data_ , size_)==-1){ //解除文件映射失败fprintf(stderr , "remove file map falied :%s \n",strerror(errno));return false;}return true;}//解除映射 bool MMapFile::ensure_flie_size(const int32_t size){struct stat s; //存放文件状态(这个是系统提供的)if(fstat(fd_ , &s) < 0 ){ //获取文件状态fprintf(stderr , "fstat falied :%s \n",strerror(errno));return false;}if(s.st_size<size){ //设置文件大小int res=ftruncate(fd_ , size); //对大小进行调整 if(res<0){ //在 linux系统中,大多数情况返回值<0 表示失败fprintf(stderr , "resize failed :%s \n",strerror(errno));return false;}}return true;}/*重新执行映射 (追加，减少内存)mremap()*///重新映射bool MMapFile::remap_file() { //防御性编程if(data_==NULL || size_<0 || fd_< 0){//判断是否存在映射区域fprintf(stderr, "not map file\n");return false;}if(size_==mmap_file_option_.max_mmap_size_){//当前映射区域的大小,已经达到我们设置的最大值fprintf(stderr,"size is already max\n");return false;}int32_t new_size=size_+mmap_file_option_.pri_mmap_size_; //新的映射区域的大小if(new_size>mmap_file_option_.max_mmap_size_){//如果新的大小大于我们的最大值new_size=mmap_file_option_.max_mmap_size_;}//调整文件大小if(!ensure_flie_size(new_size)){ //调整大小fprintf(stderr , "ensure_flie_size falied: %d\n", size_);return false;}if(Debug) printf("file map succeed : %d ,fd : %d , data : %p\n",size_,fd_,data_);//最后进行重新映射void *new_data=mremap(data_ , size_ , size_+ mmap_file_option_.pri_mmap_size_,MREMAP_MAYMOVE);//调整映射区域if(new_data==MAP_FAILED){fprintf(stderr , "remap_file failed :%s \n",strerror(errno));return false;}//赋值data_=new_data;size_=new_size;return true;}}
}
- 补充：
这里呢,给大家分享一些方法,当我们在写一些大型项目的时候,我们一般会将标准化的头文件,函数调用需要的头文件,放到一个 .h的文件中,我这里演示的也是这样操作的 :
#ifndef _COMMON_H_
#define _COMMON_H_#include<iostream>
#include<fcntl.h>
#include<sys/stat.h>
#include<string>
#include<sys/types.h>
#include<stdint.h>
#include <errno.h>
#include<string.h>
#include<stdio.h>
#include <error.h>
#include<sys/mman.h>#endif /*_COMMON_H_*/ //这样注释起来更加清晰 , 因为我们可能不止包含一个
技巧提示：
如果不知道,我们所写的函数需要什么头文件 ,可以这样操作 man APi
演示 :
man mmap
对代码的可行性进行测试 :
提示: 整个测试我们需要综合我的上一篇内容, 结合 mmap_file.h 头文件一起 .
#include"mmap_file.h"
#include"common.h"using namespace std;
using namespace qiniu;static const mode_t OPEN_MODE=0644; //文件的权限
const static largefile::MMapOption mmp_option={10240000,4096 ,4096}; //设置内存映射参数int open_file(string file_name, int open_flags)
{ //OPEN_MODE 如果文件不存在，则创建int fd=open( file_name.c_str(), open_flags, OPEN_MODE); //成功返回值一定>0if( fd<0 ){return -errno;}return fd;
}int main(){const char* file_name="./mapfile_test.txt";//打开一个文件,获取文件的句柄int fd=open_file(file_name , O_RDWR | O_CREAT | O_LARGEFILE );if( fd <0 ){ //返回的文件句柄不合法fprintf(stderr ," open file failed : %s error desc : %s\n",file_name , strerror(-fd));return -1;}printf("%d\n",fd);largefile::MMapFile *map_file=new largefile::MMapFile(mmp_option,fd);bool is_mmap=map_file->map_file(true); //文件映射到内存//printf("文件映射的起始地址: %p\n", map_file->get_data());//printf("映射内存的大小 : %d\n", map_file->get_size());printf(" is_mmap: %d\n",is_mmap);if(is_mmap){memset(map_file->get_data(),'8',map_file->get_size()); //将映射的内存全部置为'8'map_file->sync_file(); //同步文件//解除映射map_file->munmap_file();}else{fprintf(stderr,"map file failed \n");}close(fd); return 0;
}测试结果:
size: 文件映射到内存的大小。
data: 文件映射到内存的起始地址。
fd: 文件的句柄。
对测试结果进行说明：
- 测试程序成功将文件映射到内存，然后将文件映射到内存的起始地址、映射的大小、文件的句柄，打印了出来。当我们对文件mapfile_test.txt进行查看的时候，文件的内容全是8，说明，映射内存的改变，会同时导致我们源文件的改变(t同步的，当然我们也可以对其进行设置，文件只是共享，映射内存改变不会影响到我们的源文件)。
- 文件映射大概就是这样 , 后续我会给大家介绍 文件映射操作的实战,还会讲一些大神级别的写法 .
最后给大家分享一个liunx函数帮助文档:
函数帮助文档
*提取码: * 0307
