目录
1. 阻塞和非阻塞 IO
2. IO 多路转接(select、poll、epoll)
3. 存储映射 IO(mmap)
4. 文件锁(fcntl、lockf、flock)
5. 管道实例 - 池类算法
1. 阻塞和非阻塞 IO
- 阻塞 IO:会等待操作的完成或期待事情的到来。会被信号打断(信号会打断阻塞中的系统调用),若被打断则错误码为 EINTR(假错)。操作的完成和期待事件的到来会通知阻塞的进程。
- 非阻塞 IO:若操作未完成或期待的事情还没到来,则立即返回,不会等待。若未发生期待事件则返回错误码 EAGAIN(假错)。不会通知,但可以通过轮询查看状态。
有限状态机编程例子,中继引擎实现,实现不同 tty 设备之间的中继引擎,实现 tty 之间相互通信,但是是忙等(因为没有使用阻塞 IO,没有用到同步手段):
1-io/advio/nonblock/relayer
2. IO 多路转接(select、poll、epoll)
上述有限状态机例子是 I/O 密集型任务,可以使用 IO 多路转接。
IO 多路转接:监视文件描述符的行为,当当前文件描述符发生了期待的行为的时候,才去执行后续的操作。可以监视多个文件描述符。
1. select() 可以用来监视多个文件描述符,包括可读、可写、异常文件描述符,移植性很好,比较古老,传参不稳定。以事件为单位来组织文件描述符。监视期间会阻塞,也会被信号打断(假错)。
#include <sys/select.h>int select(int nfds, fd_set *readfds, fd_set *writefds,fd_set *exceptfds, struct timeval *timeout);// 删除指定的fd
void FD_CLR(int fd, fd_set *set);
// 判断fd是否在集合中
int FD_ISSET(int fd, fd_set *set);
// 将fd加入到集合中
void FD_SET(int fd, fd_set *set);
// 清空集合
void FD_ZERO(fd_set *set);
缺点:
- 监视内容和监视结果存放在同一处 readfds、writefds、exceptfds。
- 文件描述符有大小限制。
2. poll() 可以等待在文件描述上发生的特定事件,以文件描述符为单位来组织事件。把期待的事件 events 和已经发生的事件 revents 区分开来了,可以移植。
#include <poll.h>int poll(struct pollfd *fds, nfds_t nfds, int timeout);struct pollfd {int fd; /* file descriptor */short events; /* requested events */short revents; /* returned events */
};
如果将 timeout 设置为 0 即为非阻塞,-1 表示为阻塞。跳过 pollfd 结构体中的 events 来指定特定的期待事件。
3. epoll(),linux 基于 poll 来做的一些优化版本,不可移植。
#include <sys/epoll.h>// 打开一个epoll文件描述符
int epoll_create(int size);
int epoll_create1(int flags);// 控制epoll文件描述符
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);// 等待epoll文件描述符上的事件
int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);
int epoll_pwait(int epfd, struct epoll_event *events,int maxevents, int timeout,const sigset_t *sigmask);
3. 存储映射 IO(mmap)
可以使用 readv(2) 和 writev(2) 来将读写多个碎片 buffer。
#include <sys/uio.h>ssize_t readv(int fd, const struct iovec *iov, int iovcnt);ssize_t writev(int fd, const struct iovec *iov, int iovcnt);
存储映射 IO 可以将某一块内存,或者某一个文件的内容映射到当前进程空间中。
1. mmap(2) 可以将文件或者设备映射到内存中,返回映射区域的起始地址。
#include <sys/mman.h>void *mmap(void *addr, size_t length, int prot, int flags,int fd, off_t offset);
int munmap(void *addr, size_t length);
参数:
- addr: 指定映射的虚拟内存地址,若为 NULL 则由内核选择合适的虚拟内存地址;
- length:映射的长度;
- prot:映射内存的保护模式,可选值如下:
PROT_EXEC:可以被执行;
PROT_READ:可以被读取;
PROT_WRITE:可以被写入;
PROT_NONE:不可访问;
- flags:指定映射的类型,可选值如下:
MAP_FIXED:使用指定的起始虚拟内存地址进行映射;
MAP_SHARED:与其他所有映射到这个文件的进程共享映射空间(可实现共享内存);
MAP_PRIVATE:建立一个写时复制(copy-on-write)的私有映射空间;
MAP_ANONYMOUS:匿名映射,可以替代 malloc,不依赖于任何文件,并且当前空间被 初始化为 0;
.....
- fd:进行映射的文件描述符;
- offset:文件偏移量(从文件何处开始映射);
例子1,mmap.c,使用 mmap 打开文件,并且计算文件中 a 字符出现的次数:
#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>int main(int argc, char *argv[])
{if (argc < 2){fprintf(stderr, "Usage..\n");exit(1);}int fd;void *addr;char *p;struct stat statbuf;int anum = 0;if ((fd = open(argv[1], O_RDONLY)) < 0){perror("open");exit(1);}if (fstat(fd, &statbuf) < 0){perror("fstat");exit(1);}addr = mmap(NULL, statbuf.st_size, PROT_READ, MAP_PRIVATE, fd, 0);if (addr == MAP_FAILED){perror("mmap()");exit(1);}p = (char *)addr;for (int i = 0; i < statbuf.st_size; i++){if (*(p + i) == 'a'){anum++;}}munmap(addr, statbuf.st_size);printf("the number of a in the file is: %d\n", anum);exit(0);
}
mmap 还能实现共享内存,从而实现有亲缘关系的进程间的通信。比如父进程先 mmap,然后再 fork,这样子进程也能访问父进程 mmap 出来的空间(flags 为 MAP_SHARED 和 MAP_ANONYMOUS)。
例子,share_mem.c,使用 mmap 实现父子进程间的共享内存(子进程写入 hello,父进程打印):
#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <string.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/wait.h>#define MEMSIZE 1024int main()
{int fd;pid_t pid;char *addr;addr = (char *)mmap(NULL, MEMSIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);if (addr == MAP_FAILED){perror("mmap");exit(1);}pid = fork();if (pid < 0){perror("fork");exit(1);}if (pid == 0) // child{strcpy(addr, "Hello!");munmap(addr, MEMSIZE);exit(0);}else // parent{wait(NULL);puts(addr);munmap(addr, MEMSIZE);exit(0);}
}
4. 文件锁(fcntl、lockf、flock)
对文件加锁是在 inode 结构体上进行的,如果对一个文件描述符进行了 dup 或者重新 open 了新的文件描述符,对不同的文件描述符加锁和解锁都是作用于同一个 inode 的。 有如下几种文件加锁方法:
fcntl() 前面讲过。Linux系统编程(二)文件IO/系统调用IO-CSDN博客
lockf() 可以对文件进行加锁或者解锁,在 linux 上 lockf 就是 fcntl 的封装。
#include <unistd.h>int lockf(int fd, int cmd, off_t len);
flock() 可以给打开的文件加上或移除咨询锁(advisory lock)。
#include <sys/file.h>int flock(int fd, int operation);
5. 管道实例 - 池类算法
例子:4-parallel/thread/mypipe。
Linux系统编程(李慧琴): Linux系统编程(李慧琴)学习代码及笔记