Linux下文件的多进程拷贝

大文件拷贝

假设有一个超大文件,需对其完成拷贝工作。为提高效率,可采用多进程并行拷贝的方法来实现。假设文件 大小为 len,共有 n 个进程对该文件进行拷贝。那每个进程拷贝的字节数应为 len/n。但未必一定能整除,我们可 以选择让最后一个进程负责剩余部分拷贝工作。可使用 len%(len/n)将剩余部分大小求出。
为降低实现复杂度,可选用 mmap 来实现源、目标文件的映射,通过指针操作内存地址,设置每个进程拷贝 的起始、结束位置。借助 MAP_SHARED 选项将内存中所做的修改反映到物理磁盘上

#include<stdio.h>
#include<unistd.h>
#include<sys/types.h>
#include<fcntl.h>
#include<sys/mman.h>
#include<stdlib.h>
#include<string.h>
#include<sys/stat.h>int main(int argc,char *argv[])
{int n=5;//输入参数至少是3,第四个参数可以是进程个数if(argc<3){printf("./a.out src dst [n]\n");return 0;}                                                                              if(argc==4){n=atoi(argv[3]);}   //打开源文件int srcfd=open(argv[1],O_RDONLY);if(srcfd<0){perror("open err");exit(1);}   //打开目标文件int dstfd=open(argv[2],O_RDWR|O_CREAT|O_TRUNC,0644);if(dstfd<0){perror("open dst err");exit(1);}   //目标拓展,从原文件获得文件大小,statstruct stat sb; stat(argv[1],&sb);//为了计算大小int len=sb.st_size;truncate(argv[0],len);//将源文件映射到缓冲区char *psrc = mmap(NULL,len,PROT_READ,MAP_SHARED,srcfd,0);
if(psrc == MAP_FAILED){perror("mmap dst err");exit(1);}//将目标文件映射char *pdst = mmap(NULL,len,PROT_READ|PROT_WRITE,MAP_SHARED,dstfd,0);if(pdst == MAP_FAILED){perror("mmap dst err");exit(1);}//创建多个子进程int i=0;for(i=0;i<n;i++){if(fork()==0)break;}//计算子进程需要拷贝的起点和大小int cpsize=len/n;int mod=len%n;//数据拷贝 ,memcpyif(i<n){ //子进程if(i== n-1){ //最后一个子进程memcpy(pdst+i*cpsize,psrc+i*cpsize,cpsize+mod);}else{memcpy(pdst+i*cpsize,psrc+i*cpsize,cpsize);}}else{for(i=0;i<n;i++){wait(NULL);}}                                   
//释放映射区if(munmap(psrc,len)<0){perror("munmao src err");exit(1);}//关闭文件close(srcfd);close(dstfd);return 0;
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/383240.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux下cron定时任务的总结

cron是linux系统下一个自动执行指定任务的程序&#xff0c;即包含“时间”、“路径”、“自动执行脚本”等要素 当我们要增加全局性的计划任务时&#xff0c;一种方式是直接修改/etc/crontab。但是&#xff0c;一般不建议这样做&#xff0c;/etc/cron.d目录就是为了解决这种问…

Linux系统编程---6(信号的机制,信号4要素,Linu常规信号表,定时器)

信号的概念 信号在我们的生活中随处可见&#xff0c; 如&#xff1a;古代战争中摔杯为号&#xff1b;现代战争中的信号弹&#xff1b;体育比赛中使用的信号枪… 他们都有共性&#xff1a; 简单不能携带大量信息&#xff0c;只能带一个标志。满足某个特设条件才发送。 Unix 早…

python httplib2的安装

window下python安装httplib2 https://pypi.python.org/pypi/httplib2地址下下载httplib2安装包&#xff0c;并解压缩 方法一、我的电脑->属性->高级->环境变量->系统变量 在系统变量里找到PATH&#xff0c;双击PATH&#xff0c;在结尾加上 ";C:\Python25&…

Linux系统编程----7(信号集,信号屏蔽,信号捕捉)

信号集操作函数 内核通过读取未决信号集来判断信号是否应被处理。信号屏蔽字 mask 可以影响未决信号集。而我们可以在应 用程序中自定义 set 来改变 mask。已达到屏蔽指定信号的目的。 信号集设定 sigset_t set; //typedef unsigned long sigset_t;int sigemptyset(sigset_t…

Linux系统编程----8(竞态条件,时序竞态,pause函数,如何解决时序竞态)

竞态条件(时序竞态)&#xff1a; pause 函数 调用该函数可以造成进程主动挂起&#xff0c;等待信号唤醒。调用该系统调用的进程将处于阻塞状态(主动放弃 cpu) 直 到有信号递达将其唤醒&#xff0c;等不到一直等 int pause(void); 返回值&#xff1a;-1 并设置 errno 为 EINTR…

Linux系统编程---8(全局变量异步I/O,可重入函数)

全局变量异步 I/O 分析如下父子进程交替 数数 程序。当捕捉函数里面的 sleep 取消&#xff0c;程序即会出现问题。请分析原因。 #include<stdio.h> #include<signal.h> #include<unistd.h> #include<stdlib.h>intn0,flag0; void sys_err(char* s…

http使用post上传文件时,请求头和主体信息总结

请求头必须配置如下行&#xff1a; Content-Type : multipart/form-data; boundary---12321 boundary---12321位文件的分界线 body如下&#xff1a; "-----12321\r\n" //分割文件时加-- "Content-Disposition: form-data; name\"…

iconv 文件编码转换

iconv 文件编码转换 http://qq164587043.blog.51cto.com/261469/63349 linux shell 配置文件中默认的字符集编码为UTF&#xff0d;8 。UTF&#xff0d;8是unicode的一种表达方式&#xff0c;gb2312是和unicode都是字符的编码方式&#xff0c;所以说gb2312跟utf&#xff0d;8的…

Linu系统编程---9(SIGCHLD 信号,信号传参,中断系统调用)

SIGCHLD 信号 SIGCHLD 的产生条件 子进程终止时子进程接收到 SIGSTOP 信号停止时子进程处在停止态&#xff0c;接受到 SIGCONT 后唤醒时 借助 SIGCHLD 信号回收子进程 子进程结束运行&#xff0c;其父进程会收到 SIGCHLD 信号。该信号的默认处理动作是忽略。可以捕捉该信号…

Linu系统编程---10(Linux的终端,线路规程,网络终端,进程组)

终端 输入输出设备的总称 在 UNIX 系统中&#xff0c;用户通过终端登录系统后得到一个 Shell 进程&#xff0c;这个终端成为 Shell 进程的控制终端&#xff08;Controlling Terminal&#xff09;&#xff0c; 进程中&#xff0c;控制终端是保存在 PCB 中的信息&#xff0c;而 …

PCRE函数简介和使用示例

PCRE是一个NFA正则引擎&#xff0c;不然不能提供完全与Perl一致的正则语法功能。但它同时也实现了DFA&#xff0c;只是满足数学意义上的正则。 PCRE提供了19个接口函数&#xff0c;为了简单介绍&#xff0c;使用PCRE内带的测试程序(pcretest.c)示例用法。 1. pcre_compile 原型…

Linux系统编程---11(会话,守护进程,创建守护进程)

会话 创建会话 创建一个会话需要注意以下6点注意事项 调用进程不能是进程组组长&#xff0c;该进程变成新会话首进程该进程成为一个新进程组的组长进程需要root权限&#xff08;nbuntu不需要&#xff09;新会话丢弃原有的控制终端&#xff0c;该会话没有控制终端该调用进程是…

判断一段文件是UTF-8编码还是GB2312的编码方式

分类&#xff1a; 算法 cpp2012-03-10 16:01 7120人阅读 评论(2) 收藏 举报null生活c对于只包含中文和英文的文本中判断编码方式是非常简单的&#xff0c;中文的编码方式最常用的是GBK&#xff0c;字符集更大的如GBK向下兼容GB2312&#xff0c;其中包含的的很多一部分字符是我们…

判断文件的编码方式

/*功能&#xff1a;实现文件编码格式的判断通过一个文件的最前面三个字节&#xff0c;可以判断出该的编码类型&#xff1a;ANSI&#xff1a;        无格式定义&#xff1b;(第一个字节开始就是文件内容)Unicode&#xff1a;       前两个字节为FFFE&#xff1b;…

Linux系统编程----12(线程概念,Linux线程实现原理,栈中ebp指针和ebp指针,线程的优缺点和共享资源)

线程概念 什么是线程 在一个程序里的一个执行路线就叫做线程&#xff08;thread&#xff09;。更准确的定义是&#xff1a;线程是“一个进程内部的控制序列” 一切进程至少都有一个执行线程线程在进程内部运行&#xff0c;本质是在进程地址空间内运行在Linux系统中&#xff0…

Linux系统编程---13(线程控制函数,创建线程,循环创建多个线程,线程间共享全局变量)

线程控制 操作系统并没有提供创建线程的系统调用接口&#xff0c;因此大佬们封装了一个线程的接口库实现线程控制。意为着用户创建线程都使用的是库函数&#xff08;所以有时候我们说创建的线程是一个用户态线程&#xff0c;但是在内核中对应有一个轻量级进程实现线程程序的调…

Linux系统编程---14(回收子线程,回收多个子线程,线程分离,杀死线程)

回收子线程 pthread_join 函数 阻塞等待线程退出&#xff0c;获取线程退出状态 其作用&#xff0c;对应进程中 waitpid() 函数。 int pthread_join (pthread_t thread,void** retval); 成功&#xff1a;0&#xff0c;失败&#xff1a;错误号 参数&#xff1a;thread&#x…

Linux系统编程----15(线程与进程函数之间的对比,线程属性及其函数,线程属性控制流程,线程使用注意事项,线程库)

对比 进程 线程 fork pthread_create exit (10) pthread_exit &#xff08;void *&#xff09; wait (int *) pthread_join &#xff08;&#xff0c;void **&#xff09;阻塞 kill pthread_cancel ();必须到取消点&#xff08;检查点&#xff09;&#xff1a;…

内核双向循环链表

#include <string.h>#include <stdio.h>#include <stdlib.h>#include<malloc.h>#include <arpa/inet.h>//链表头结构struct list_head{struct list_head *next,*prev;};//真正实现链表插入操作void _list_add(struct list_head *nnew,struct lis…

Linux系统编程----16(线程同步,互斥量 mutex,互斥锁的相关函数,死锁,读写锁)

同步概念 所谓同步&#xff0c;即同时起步&#xff0c;协调一致。不同的对象&#xff0c;对“同步”的理解方式略有不同。如&#xff0c;设备同步&#xff0c;是指在两 个设备之间规定一个共同的时间参考&#xff1b;数据库同步&#xff0c;是指让两个或多个数据库内容保持一致…