进程创建,fork/vfork
在linux中fork函数是非常重要的函数,它从已存在进程中创建一个新进程。新进程为子进程,而原进程为父进程。
#include <unistd.h>
pid_t fork(void);
返回值:自进程中返回0,父进程返回子进程id,出错返回-1
进程调用fork,当控制转移到内核中的fork代码后,内核做什么
- 分配新的内存块和内核数据结构给子进程
- 将父进程部分数据结构内容拷贝至子进程
- 添加子进程到系统进程列表当中
- fork返回,开始调度器调度
当一个进程调用fork之后,就有两个二进制代码相同的进程。而且它们都运行到相同的地方。但每个进程都将可以 开始它们自己的旅程
int main( void )
{
pid_t pid;
printf("Before: pid is %d\n", getpid());
if ( (pid=fork()) == -1 )perror("fork()"),exit(1);
printf("After:pid is %d, fork return %d\n", getpid(), pid);
sleep(1);
return 0;
}
这里看到了三行输出,一行before,两行after。进程16110先打印before消息,然后它有打印after。另一个after 消息有16110打印的。注意到进程16111没有打印before,为什么呢?
fork之前父进程独立执行,fork之后,父子两个执行流分别执行。注意,fork之后,谁先执行完全由调度器 决定
fork 函数返回值
我们需要知道的是,fork之后,子进程返回0, 父进程返回的是子进程的pid。
通常,父子代码共享,父子再不写入时,数据也是共享的,当任意一方试图写入,便以写时拷贝的方式各自一份副 本。
什么是写时拷贝呢?
写时拷贝(copy-on-write, COW)就是等到修改数据时才真正分配内存空间,这是对程序性能的优化,可以延迟甚至是避免内存拷贝,当然目的就是避免不必要的内存拷贝。
也就是说,父子进程运行是互不打扰的,这是进程的独立性,当试图修改的时候,系统就会在其他的地方给要修改的进程开一块空间,复制原来的进程代码和数据,然后继续运行,(有一个点需要注意,我们查看地址的时候,父子进程是指向同一块空间的,写时拷贝只在进程运行时生效,结束后这块开辟的空间也会随之销毁)
返回的本质,就是写入!
谁先返回,谁就让OS发生写时拷贝
#include <stdio.h>
#include <assert.h>
#include <unistd.h>
int g_value = 100; //全局变量
int main()
{
// fork在返回的时候,父子都有了,return两次,id是不是pid_t类型定义的变量呢?返回的本质,就是写入!
// 谁先返回,谁就让OS发生写时拷贝
pid_t id = fork();
assert(id >= 0);
if(id == 0)
{
//child
while(1)
{
printf("我是子进程, 我的id是: %d, 我的父进程是: %d, g_value: %d, &g_value : %p\n",\
getpid(), getppid(), g_value, &g_value);
sleep(1);
g_value=200; // 只有子进程会进行修改
}
}
else
{
//father
while(1)
{
printf("我是父进程, 我的id是: %d, 我的父进程是: %d, g_value: %d, &g_value : %p\n",\
getpid(), getppid(), g_value, &g_value);
sleep(1);
}
}
}
fork调用失败的原因
- 系统中有太多的进程
- 实际用户的进程数超过了限制
进程终止,认识$?
进程退出场景
- 代码运行完毕,结果正确
- 代码运行完毕,结果不正确
- 代码异常终止(奔溃了)
进程常见退出方法
- 正常终止(可以通过
- 1. 从main返回
- 2. 调用exit
- 3. _exit
异常退出:
- echo $? 查看进程退出码):
- ctrl + c,信号终止
_exit函数
#include <unistd.h>
void _exit(int status);
参数:status 定义了进程的终止状态,父进程通过wait来获取该值
说明:虽然status是int,但是仅有低8位可以被父进程所用。所以_exit(-1)时,在终端执行$?发现返回值
是255。
exit函数
#include <unistd.h>
void exit(int status);
exit最后也会调用exit, 但在调用exit之前,还做了其他工作:
1. 执行用户通过 atexit或on_exit定义的清理函数。
2. 关闭所有打开的流,所有的缓存数据均被写入
3. 调用_exit
#include <unistd.h>
#include <stdio.h>
void exit(int status);
int main()
{
printf("hello");
exit(0);
}
运行结果:
[root@localhost linux]# ./a.out
hello[root@localhost linux]#
int main()
{
printf("hello");
_exit(0);
}
运行结果:
[root@localhost linux]# ./a.out
[root@localhost linux]#
return退出 return是一种更常见的退出进程方法。执行return n等同于执行exit(n),因为调用main的运行时函数会将main的返 回值当做 exit的参数。
这里就相当于我们一开始写的return 0;还记得第一个程序hello world吗!
进程等待
之前讲过,子进程退出,父进程如果不管不顾,就可能造成‘僵尸进程’的问题,进而造成内存泄漏。
另外,进程一旦变成僵尸状态,那就刀枪不入,“杀人不眨眼”的kill -9 也无能为力,因为谁也没有办法
杀死一个已经死去的进程。
最后,父进程派给子进程的任务完成的如何,我们需要知道。如,子进程运行完成,结果对还是不对,
或者是否正常退出。
父进程通过进程等待的方式,回收子进程资源,获取子进程退出信息
进程等待有两种方法
wait方法
#include<sys/types.h>
#include<sys/wait.h>
pid_t wait(int*status);
返回值:
成功返回被等待进程pid,失败返回-1。
参数:
输出型参数,获取子进程退出状态,不关心则可以设置成为NULL在cplusplus网站可以看到相关的说明,这里就不讲太深入了(我有点菜了)
waitpid方法
pid_ t waitpid(pid_t pid, int *status, int options);
返回值:
当正常返回的时候waitpid返回收集到的子进程的进程ID;
如果设置了选项WNOHANG,而调用中waitpid发现没有已退出的子进程可收集,则返回0;
如果调用中出错,则返回-1,这时errno会被设置成相应的值以指示错误所在;
参数:
pid:
Pid=-1,等待任一个子进程。与wait等效。
Pid>0.等待其进程ID与pid相等的子进程。
status:
WIFEXITED(status): 若为正常终止子进程返回的状态,则为真。(查看进程是否是正常退出)
WEXITSTATUS(status): 若WIFEXITED非零,提取子进程退出码。(查看进程的退出码)
options:
WNOHANG: 若pid指定的子进程没有结束,则waitpid()函数返回0,不予以等待。若正常结束,则返回该子进
程的ID。
这里需要注意的一个点就是
如果子进程已经退出,调用wait/waitpid时,wait/waitpid会立即返回,并且释放资源,获得子进程退
出信息。
如果在任意时刻调用wait/waitpid,子进程存在且正常运行,则进程可能阻塞。
如果不存在该子进程,则立即出错返回。
获取子进程status
wait和waitpid,都有一个status参数,该参数是一个输出型参数,由操作系统填充。 如果传递NULL,表示不关心子进程的退出状态信息。 否则,操作系统会根据该参数,将子进程的退出信息反馈给父进程。 status不能简单的当作整形来看待,可以当作位图来看待,具体细节如下图(只研究status低16比特 位):
#include <sys/wait.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
int main( void )
{
pid_t pid;
if ( (pid=fork()) == -1 )
perror("fork"),exit(1);
if ( pid == 0 ){
sleep(20);
exit(10);
} else {
int st;
int ret = wait(&st);
if ( ret > 0 && ( st & 0X7F ) == 0 ){ // 正常退出
printf("child exit code:%d\n", (st>>8)&0XFF);
} else if( ret > 0 ) { // 异常退出
printf("sig code : %d\n", st&0X7F );
}
}
}
测试结果:
./a.out #等20秒退出
child exit code:10
./a.out #在其他终端kill掉
sig code : 9
进程的阻塞等待方式
这里的话想给大家讲个例子,就好比说我们的学生时代(当然现在也可能是),你作为一个计算机基础比较薄弱的学生,然后你们班有一个大佬叫李强,他的计算机水平很高,有一天,你们班要考C语言了,你这方面感觉不太行,有挂科的风险,这时你想起来找李强给你补补课,开个小灶,你就拿出了手机,找到了李强的联系方式给他打了个电话,
强哥啊,你现在有没有时间啊,能不能帮我辅导一下C语言啊,快月考了我这个感觉很容易挂科啊
我这会在自习室学习呢,可能要晚一些喔
好的哥,那你等下给我回个电话,我在楼下等你
然后你就在楼下一直等啊等,在过了半个多小时以后,强哥给你回电,然后下来找你给你进行灵魂升华了...
这里你一直等的这个过程,就是进程的等待,你和强哥就好比两个进程,你要等强哥忙完手里的活才能来给你补习。
int main()
{
pid_t pid;
pid = fork();
if(pid < 0){
printf("%s fork error\n",__FUNCTION__);
return 1;
} else if( pid == 0 ){ //child
printf("child is run, pid is : %d\n",getpid());
sleep(5);
exit(257);
} else{
int status = 0;
pid_t ret = waitpid(-1, &status, 0);//阻塞式等待,等待5S
printf("this is test for wait\n");
if( WIFEXITED(status) && ret == pid ){
printf("wait child 5s success, child return code is :%d.\n",WEXITSTATUS(status));
}else{
printf("wait child failed, return.\n");
return 1;
}
}
return 0;
}
进程的非阻塞等待方式
这里的话我们还是用上面那个例子给大家试着理解,上一次月考有强哥给你补习之后,你感觉如虎添翼,试卷写起来嘎嘎丝滑...ok,现在班里要考数据结构了,我们作为一个计算机小白对吧,一有事就会想抱着大腿,避免被大风刮跑。
这个时候你给强哥打了电话,强哥还是照常在自习室学习,不过这次强哥说可能会晚一些才有空,你爽快的说了句没问题,然后屁颠屁颠的跑到楼下去等了。
你刚到楼下的时候还好,原地转圈啊,走两步啊,坐下来思考怎么什么都不会啊
过了一会,你觉得没什么意思,就给强哥打了个电话,问他好了没有,强哥说没有,你挂断了电话,打开手机听了听歌,一边刷着歌曲评论
过了一会,你觉得差不多了,就给强哥打了个电话,问他好了没有,强哥说没有,你挂断了电话,
打开了短视频,一边刷一边乐
过了一会,你觉得视频没什么意思,就给强哥打了个电话,问他好了没有,强哥说没有,你挂断了电话,打开淘宝,看看有没有什么东西要买的
过了一会,你买完了,就给强哥打了个电话,问他好了没有,强哥说好了,你挂断了电话,你两开开心心去学习了。
这里主要是给大家说明,进程在等待另一个进程返回时,是可以做自己的事情的,我们等强哥的时候,可以先去吃个饭,跟人聊聊天,刷刷视频,这些都是可以的对吧,主要就是说明两个进程具有独立性,进程在等待的时候可以实现自己的事情,不用一直干等着。
#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/wait.h>
int main()
{
pid_t pid;
pid = fork();
if(pid < 0){
printf("%s fork error\n",__FUNCTION__);
return 1;
}else if( pid == 0 ){ //child
printf("child is run, pid is : %d\n",getpid());
sleep(5);
exit(1);
} else{
int status = 0;
pid_t ret = 0;
do
{
ret = waitpid(-1, &status, WNOHANG);//非阻塞式等待
if( ret == 0 ){
printf("child is running\n");
}
sleep(1);
}while(ret == 0);
if( WIFEXITED(status) && ret == pid ){
printf("wait child 5s success, child return code is :%d.\n",WEXITSTATUS(status));
}else{
printf("wait child failed, return.\n");
return 1;
}
}
return 0;
}
进程程序替换
用fork创建子进程后执行的是和父进程相同的程序(但有可能执行不同的代码分支),子进程往往要调用一种exec函数 以执行另一个程序。当进程调用一种exec函数时,该进程的用户空间代码和数据完全被新程序替换,从新程序的启动 例程开始执行。调用exec并不创建新进程,所以调用exec前后该进程的id并未改变。
六种以exec开头的函数,统称exec函数:
#include <unistd.h>` 相关的头文件
int execl(const char *path, const char *arg, ...);
int execlp(const char *file, const char *arg, ...);
int execle(const char *path, const char *arg, ...,char *const envp[]);
int execv(const char *path, char *const argv[]);
int execvp(const char *file, char *const argv[]);最下面这个可能用的多一点...
int execve(const char *path, char *const argv[], char *const envp[]);
这些函数如果调用成功则加载新的程序从启动代码开始执行,不再返回。
如果调用出错则返回-1 所以exec函数只有出错的返回值而没有成功的返回值。
这些函数原型看起来很容易混,但只要掌握了规律就很好记。
l(list) : 表示参数采用列表
v(vector) : 参数用数组
p(path) : 有p自动搜索环境变量PATH
e(env) : 表示自己维护环境变量
这里有个图大家可以看看加深记忆
在程序中调用exec函数的例子
#include <unistd.h>
int main()
{
char *const argv[] = {"ps", "-ef", NULL};
char *const envp[] = {"PATH=/bin:/usr/bin", "TERM=console", NULL};
execl("/bin/ps", "ps", "-ef", NULL);
// 带p的,可以使用环境变量PATH,无需写全路径
execlp("ps", "ps", "-ef", NULL);
// 带e的,需要自己组装环境变量
execle("ps", "ps", "-ef", NULL, envp);
execv("/bin/ps", argv);
// 带p的,可以使用环境变量PATH,无需写全路径
execvp("ps", argv);
// 带e的,需要自己组装环境变量
execve("/bin/ps", argv, envp);
exit(0);
}
这种时候就会把你的所有进程打印出来了
execve是一个系统调用函数,用于在Linux系统中执行一个新的程序。它的参数解释如下:
const char *filename:要执行的程序的路径。可以是绝对路径,也可以是相对路径。
char *const argv[]:一个字符串数组,用于传递给新程序的命令行参数。数组的最后一个元素必须为NULL,表示参数列表的结束。
char *const envp[]:一个字符串数组,用于传递给新程序的环境变量。数组的最后一个元素必须为NULL,表示环境变量列表的结束。如果envp为NULL,则新程序将继承当前进程的环境变量。
execve函数的返回值是一个整数,如果执行成功,它不会返回,而是直接在当前进程中加载并执行新程序。如果发生错误,返回值为-1,并设置errno来指示具体的错误类型。
事实上,只有execve是真正的系统调用,其它五个函数最终都调用 execve,所以execve在man手册 第2节,其它函数在
man手册第3节。这些函数之间的关系如下图所示。
下图exec函数族 一个完整的例子:
微型shell
考虑下面这个与shell典型的互动:
[root@localhost epoll]# ls
client.cpp readme.md server.cpp utility.h
[root@localhost epoll]# ps
PID TTY TIME CMD
3451 pts/0 00:00:00 bash
3514 pts/0 00:00:00 ps
用下图的时间轴来表示事件的发生次序。其中时间从左向右。shell由标识为sh的方块代表,它随着时间的流逝从左 向右移动。shell从用户读入字符串"ls"。shell建立一个新的进程,然后在那个进程中运行ls程序并等待那个进程结 束。
然后shell读取新的一行输入,建立一个新的进程,在这个进程中运行程序 并等待这个进程结束。 所以要写一个shell,需要循环以下过程:
1. 获取命令行
2. 解析命令行
3. 建立一个子进程(fork)
4. 替换子进程(execvp)
5. 父进程等待子进程退出(wait)
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>
#include <fcntl.h>
#define MAX_CMD 1024
char command[MAX_CMD];
int do_face()
{
memset(command, 0x00, MAX_CMD);
printf("minishell$ ");
fflush(stdout);
if (scanf("%[^\n]%*c", command) == 0) {
getchar();
return -1;
}
return 0;
}
char **do_parse(char *buff)
{
int argc = 0;
static char *argv[32];
char *ptr = buff;
while(*ptr != '\0') {
if (!isspace(*ptr)) {
argv[argc++] = ptr;
while((!isspace(*ptr)) && (*ptr) != '\0') {
ptr++;
}
}else {
while(isspace(*ptr)) {
*ptr = '\0';
ptr++;
}
}
}
argv[argc] = NULL;
return argv;
}
int do_exec(char *buff)
{
char **argv = {NULL};
int pid = fork();
if (pid == 0) {
argv = do_parse(buff);
if (argv[0] == NULL) {
exit(-1);
}
execvp(argv[0], argv); //这里调用系统路径
}else {
waitpid(pid, NULL, 0);
}
return 0;
}
int main(int argc, char *argv[])
{
while(1) {
if (do_face() < 0)
continue;
do_exec(command);
}
return 0;
}
函数和进程之间的相似性
exec/exit就像call/return
一个C程序有很多函数组成。一个函数可以调用另外一个函数,同时传递给它一些参数。被调用的函数执行一定的操作,然后返回一个值。每个函数都有他的局部变量,不同的函数通过call/return系统进行通信。
这种通过参数和返回值在拥有私有数据的函数间通信的模式是结构化程序设计的基础。Linux鼓励将这种应用于程序之内的模式扩展到程序之间。
一个C程序可以fork/exec另一个程序,并传给它一些参数。这个被调用的程序执行一定的操作,然后通过exit(n)来 返回值。调用它的进程可以通过wait(&ret)来获取exit的返回值。
重新认识shell运行原理
Linux严格意义上说是一个操作系统,我们称之为”内核(kernel)“,但我们一般用户,不能直接使用kernel,因为内核直接管理着硬件,系统内核对计算机来讲是太重要了,如果直接去使用内核可能就会修改内核中的某些参数,造成计算机使用的问题,并且直接使用会增加操作和学习计算机操作系统的难度。
所以一般用户通过基于系统调用接口开发的程序或服务来管理计算机(上面连接中的博客有简绍),也就是是通过内核的”外壳“程序,所谓的shell,来与内核沟通。(windows系统也是类似的操作)
这里的shell是一个统称,不同的操作系统内核对应的外壳是不相同的。
我先讲个小故事
曾经有一个年轻人(比如说屏幕前的你),他虽然对编程充满了热情,但性格内向,从未谈过恋爱。每当面对女生,他都会感到局促不安,甚至是一点点脸红。他喜欢戴着帽子,因为那样能够遮掩他的羞涩。然而,他在大学毕业后,凭借着自己的努力,找到了一份令人满意的工作。
回到家乡后,他的家人开始着急了:“你这么优秀的孩子,怎么还没找对象?”他内心有些动摇,回想起小时候与同村的一个女孩的点点滴滴,心中有了一丝期待。于是,他向家人透露了自己的想法。家人听后,便提议找个媒人来帮忙牵线搭桥,恰好听说村里有一位王婆很擅长这方面的事情,于是决定找她求助。
王婆很快来到了那个女孩的家,开始大肆夸赞这位年轻人的优点,说他家庭背景良好,事业有成。然而,那个女孩对这个提亲的提议并不感兴趣,她对这个年轻人并没有好感(人家光记得你小时候拉裤裆了),甚至有些不喜欢。于是,她委婉地拒绝了这个提亲。
王婆心知事情不妙,再三劝说无果后,只好灰溜溜地返回。回到年轻人家中,她向他转述了那个女孩的态度,建议他考虑其他选择。年轻人闻言心生落寞,但他并未气馁。他坐立不安,长辈见状了解了他的心思,决定再次请王婆前去劝说。
然而,王婆再次前往那个女孩家时,却发现她已经和另外一个年轻人在一起,家长们也已经在商讨婚事。这情景告诉王婆,这次提亲已是不可能了。她只得失望地返回,并开始思索如何处理这个棘手的局面。
最终,王婆想到了一个聪明的解决方案:招募实习生来替她说媒(不行就招两个)。王婆觉得,如果实习生尝试了多次仍无法解决问题,便可以证明这个事情确实无解,而不是她个人的能力问题。这样一来,即便失败了,她的声誉也不会受到太大影响。
屏幕前的你就是用户,媒婆就是shell
王婆也就是具体的bash——shell的一种
女孩就是操作系统内核实习生就是进程,有多个实习生就是有多个子进程由进程完成用户的指令
shell为父进程,在接收到用户的指令后,创建对应子进程来完成用户指令
shell是操作系统内核的软件外壳,用户向操作系统发出指令,shell接受指令,在传递给操作系统,操作系统处理后,由shell接受在将结果传给用户。
是的,又是我,摸鱼摸着摸着又摸了一篇出来,已经很久没写了,希望我还能吃上it这碗饭,共勉!