Linux :IO多路复用模型

转载:http://blog.csdn.net/mr253727942/article/details/50827127

一、IO多路复用定义

IO多路复用允许应用在多个文件描述符上阻塞,并在某一个可以读写时通知, 一般遵循下面的设计原则:、

  1. IO多路复用:任何文件描述符准备好IO时进行通知
  2. 在文件描述符就绪前进行睡眠。
  3. 唤醒:哪个准备好了
  4. 在不阻塞的情况下处理所有IO就绪的文件描述符
  5. 返回第一步

Linux下提供了三种IO多路复用方案,select、poll和epoll。

二、select IO 多路复用

看一下select 函数的定义:

int select (int n,fd_set *readfds,fd_set *writefds,fd_set *exceptfds,struct timeval *timeout);FD_CLR(int fd, fd_set *set);FD_ISSET(int fd, fd_set *set);FD_SET(int fd, fd_set *set);FD_ZERO(fd_set *set);

上面的定义中可以看到select主要检测三类文件描述符,分别等待不同的事件。

  • readfds

    确认是否有可读数据
    
  • writefds

    确认是否有可写数据
    
  • exceptefds

    确认是否有异常发生或者出现带外数据。
    

第一个参数n,等于所有集合中文件描述符的最大值加一。select()的调用者需要找到最大的文件描述符值加一作为第一个参数。

成功返回时,返回哪一个文件描述符,就说明该文件描述符准备好无阻塞IO。对于timeout,select操作可以设置一个超时时间,超时后即使没有文件描述符IO就绪也会返回。

select的缺点:

1.每次调用select,都需要把fd集合从用户态拷贝到内核态 
2。同时需要遍历所有fd 
3。支持的文件描述符默认只有1024

三、poll IO 多路复用

poll()系统调用也是一个IO多路复用解决方案,解决了 一些select的不足,下面给出poll的定义:

#include <sys/poll.h>
int poll (struct pollfd *fds, unsigned int nfds,
int timeout);

与上面的select()使用三个文件描述符集合不同,poll()使用了一个简单的nfds个pollfd结构体构成的数组,fds指向该数组,结构体定义如下:

#include <sys/poll.h>
struct pollfd {int fd; /* file descriptor */short events; /* requested events to watch */short revents; /* returned events witnessed */
};

每个pollfd指定了唯一一个文件描述符,每个结构体中的events字段是要坚实的文件描述符事件的一组位掩码。revents字段是发生在该文件描述符上的事件的位掩码,内核在返回时设置这个字段,所有events字段请求的时间都可能在revents字段中返回。下面是合法的事件:

POLLIN       没有数据可读
POLLRDNORM   有正常数据可读。
POLLRDBAND   有优先数据可读。
POLLPRI      有高优先级数据可读。
POLLOUT      写操作不会阻塞。
POLLWRNORM   写正常数据不会阻塞。
POLLBAND     写优先数据不会阻塞。
POLLMSG      有一个sigpoll消息可用。

除此之外还可能返回几个异常信息:

POLLER       文件描述符有错误。
POLLHUP      文件描述符上有挂起事件。
POLLNVAL     给出的文件描述符非法。

监视一个文件描述符是否可以读写,可以设置events为POLLIN | POLLOUT,返回时将在revents中检查是否有相应标志。如果设置了POLLIN,或者POLLOUT则代表可以操作相关事件。

timeout参数指定在任何IO就绪前需要等待时间的长度,负值表示永远等待,一个零值表示调用立即返回,列出所有为准备好的IO,不等待任何时间。

四、poll()与select()的区别

poll()系统调用优于select():

  • poll()不需要使用者计算最大的文件描述符值加一和传递该参数。
  • poll()在应对较大值的文件描述符时效率更好,如果用select()监视值为900的文件描述符–内核需要检查每个集合中的每个bit位,知道第九百个。
  • select()的文件描述符集合是静态大小,但是poll()可以创建合适大小的数组,只需要传递结构体数组即可。
  • select()文件描述符集合会在返回时重新创建,每个调用都必须要重新初始化它们。poll()系统调用分离了events字段和revents字段,无需改变就能重用。
  • 相对于poll(),select()移植性更好
  • select()提供了更好的超时方案。

五、epoll IO 多路复用

上面的两种方式中,每次调用都需要所有被监听的文件描述符,内核必须遍历所有的文件描述符,当文件描述符变得很大,这里的遍历就会成为瓶颈。

epoll将监听注册从实际监听中分离出来,完成了真正的事件等待。

1、先创建一个新的epoll实例:

#include <sys/epoll.h>
int efpd =  epoll_create (int size)

size是告诉内核大概需要监听的文件描述符数目。

2、控制epoll

epoll_ctl()可以向指定的epoll上下文中加入或删除文件描述符。

#include <sys/epoll.h>
int epoll_ctl (int epfd, int op, int fd, struct
epoll_event *event);

头文件

六、IO实现的内核内幕

主要涉及三个内核子系统:

  1. 虚拟文件系统(VFS)
  2. 页缓存
  3. 页回写

虚拟文件系统

虚拟文件系统是linux内核的文件操作的抽象机制,允许内核在无需了解文件系统类型的情况下,使用文件系统函数和操作文件系统数据。

VFS实现这种抽象的方法是使用一种通用文件模型,它是所有linux文件系统的基础,通用文件模型提供了linux内核文件系统必须遵循的框架,框架提供了了hooks支持读写、建立链接、同步等其他功能。

当然这种方法规定了一些共性,比如必须要有inode,super block(超级块)和目录条目等。

页缓存

页缓存是一种在内存中保存最近在磁盘文件系统上访问过的数据的方式。页缓存是内核寻找文件系统数据的第一目的地。只有缓存找不到时内核才会调用存储子系统从磁盘读数据。

linux中页缓存大小是动态的,随着IO操作将越来越多的数据带入内存,页缓存会随之增大,消耗更多的内存,如果页缓存确实消耗掉了所有空闲内存,页缓存会释放最少使用页。

页回写

内核使用缓冲区来延迟写操作,当一个进程发起写请求,数据被拷贝到缓冲区,这时将缓冲区标记为“脏”数据,如果对同一个数据块有新的写请求,缓冲区就更新为新数据,把“脏”缓冲区写入磁盘。有两个条件会触发这种回写:

  1. 当空闲内存小于设定的阀值,会将缓冲区回写。
  2. 当一个脏的缓冲区寿命超过阀值也会回写防止数据不确定。

回写由一些pdflush内核线程操作,当上述两种情况发生,线程被唤醒开始刷新脏缓冲区。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/384356.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

leetcode(一)刷题两数之和

给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那 两个 整数&#xff0c;并返回它们的数组下标。 示例 1&#xff1a; 输入&#xff1a;nums [2,7,11,15], target 9 输出&#xff1a;[0,1] 解释&#xff1a;因为 nums[…

Linux并发服务器编程之多线程并发服务器

转载&#xff1a;http://blog.csdn.net/qq_29227939/article/details/53782198 上一篇文章使用fork函数实现了多进程并发服务器&#xff0c;但是也提到了一些问题&#xff1a; fork是昂贵的。fork时需要复制父进程的所有资源&#xff0c;包括内存映象、描述字等&#xff1b;目…

leetcode(二)二分法查找算法

给定一个 n 个元素有序的&#xff08;升序&#xff09;整型数组 nums 和一个目标值 target &#xff0c;写一个函数搜索 nums 中的 target&#xff0c;如果目标值存在返回下标&#xff0c;否则返回 -1。 示例 1: 输入: nums [-1,0,3,5,9,12], target 9 输出: 4 解释: 9 出现在…

leetcode(977)有序数组的平方

给你一个按 非递减顺序 排序的整数数组 nums&#xff0c;返回 每个数字的平方 组成的新数组&#xff0c;要求也按 非递减顺序 排序。 示例 1&#xff1a; 输入&#xff1a;nums [-4,-1,0,3,10] 输出&#xff1a;[0,1,9,16,100] 解释&#xff1a;平方后&#xff0c;数组变为 […

IO多路复用之select全面总结(必看篇)

转载&#xff1a;http://www.jb51.net/article/101057.htm 1、基本概念 IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取&#xff0c;它就通知该进程。IO多路复用适用如下场合&#xff1a; &#xff08;1&#xff09;当客户处理多个描述字时&#xff08;一般…

leetcode(189) 旋转数组

**给定一个数组&#xff0c;将数组中的元素向右移动 k 个位置&#xff0c;其中 k 是非负数。 进阶&#xff1a; 尽可能想出更多的解决方案&#xff0c;至少有三种不同的方法可以解决这个问题。 你可以使用空间复杂度为 O(1) 的 原地 算法解决这个问题吗&#xff1f; 示例 1: …

I/O 多路复用之select

转载&#xff1a;http://blog.csdn.net/u012432778/article/details/47347133 概述 Linux提供了三种 I/O 多路复用方案&#xff1a;select&#xff0c;poll和epoll。在这一篇博客里先讨论select, poll 在将下一篇中介绍&#xff0c;epoll是Linux特有的高级解决方案&#xff0c;…

leetcode(283)移动零

283. 移动零 给定一个数组 nums&#xff0c;编写一个函数将所有 0 移动到数组的末尾&#xff0c;同时保持非零元素的相对顺序。 示例: 输入: [0,1,0,3,12] 输出: [1,3,12,0,0] 说明: 必须在原数组上操作&#xff0c;不能拷贝额外的数组。 尽量减少操作次数。 方法一&#xff1…

exec函数族实例解析

转载&#xff1a;http://www.cnblogs.com/blankqdb/archive/2012/08/23/2652386.html fork()函数通过系统调用创建一个与原来进程(父进程)几乎完全相同的进程(子进程是父进程的副本&#xff0c;它将获得父进程数据空间、堆、栈等资源的副本。注意&#xff0c;子进程持有的是上述…

leetcode(167)两数之和 II - 输入有序数组

两数之和 II - 输入有序数组 给定一个已按照 升序排列 的整数数组 numbers &#xff0c;请你从数组中找出两个数满足相加之和等于目标数 target 。 函数应该以长度为 2 的整数数组的形式返回这两个数的下标值。numbers 的下标 从 1 开始计数 &#xff0c;所以答案数组应当满足 …

常量指针与指针常量的区别(转帖)

转载&#xff1a;http://www.cnblogs.com/witty/archive/2012/04/06/2435311.html 三个名词虽然非常绕嘴&#xff0c;不过说的非常准确。用中国话的语义分析就可以很方便地把三个概念区分开。 一) 常量指针。 常量是形容词&#xff0c;指针是名词&#xff0c;以指针为中心的一个…

c/c++错题总结

1.类名 对象名 默认调用“对象名()”这个构造函数&#xff0c;在栈内存中存在对象名&#xff0c;在堆内存中存在实际对象&#xff1b; 2.类名 对象名(一个或以上个参数) 默认调用相应的构造函数&#xff0c;在栈内存中存在对象名&#xff0c;在堆内存中也是存在实际对象的&a…

智能指针学习笔记

转载&#xff1a;http://www.cnblogs.com/wuchanming/p/4411878.html 1. 介绍 本文介绍智能指针的使用。智能指针是c 中管理资源的一种方式&#xff0c;用智能指针管理资源&#xff0c;不必担心资源泄露&#xff0c;将c 程序员 从指针和内存管理中解脱出来&#xff0c;再者&…

c++程序编译过程

c程序编译分成四个过程&#xff1a;编译预处理&#xff0c;编译&#xff0c;汇编&#xff0c;链接 编译预处理&#xff1a;处理以#为开头 编译&#xff1a;将.cpp文件翻译成.s汇编文件 汇编&#xff1a;将.s汇编文件翻译成机器指令.o文件 链接&#xff1a;汇编生产的目标文件.o…

仿函数(函数对象)

转载&#xff1a;http://www.cnblogs.com/wuchanming/p/4411867.html 本文乃作者学习《C标准程序库》的学习笔记&#xff0c;首先介绍了仿函数&#xff08;函数对象&#xff09;和函数适配器&#xff08;配接器&#xff09;的概念&#xff0c;然后列出STL中所有的仿函数&#x…

C++ template —— 动多态与静多态(六)

转载&#xff1a;http://www.cnblogs.com/yyxt/p/5157517.html 前面的几篇博文介绍了模板的基础知识&#xff0c;并且也深入的讲解了模板的特性。接下来的博文中&#xff0c;将会针对模板与设计进行相关的介绍。 ------------------------------------------------------------…

变量之间的区别

全局变量、局部变量、静态全局变量、静态局部变量的区别 c变量根据定义具有不同的生命周期&#xff0c;会有不同的作用域&#xff0c;主要有六个作用域&#xff1a;全局作用域&#xff0c;局部作用域&#xff0c;文件作用域&#xff0c;类作用域&#xff0c;语句作用域&#xf…

计算机的网络体系以及参考模型

计算机的网络体系以及参考模型一、OSI七层模型二、TCP/IP参考模型三、TCP/IP 五层参考模型四、OSI 模型和 TCP/IP 模型异同比较五、OSI 和 TCP/IP 协议之间的对应关系六、为什么 TCP/IP 去除了表示层和会话层&#xff1f;七、数据如何在各层之间传输&#xff08;数据的封装过程…

C++ 模板详解(二)

转载&#xff1a;http://www.cnblogs.com/gw811/archive/2012/10/25/2736224.html 四、类模板的默认模板类型形参 1、可以为类模板的类型形参提供默认值&#xff0c;但不能为函数模板的类型形参提供默认值。函数模板和类模板都可以为模板的非类型形参提供默认值。 2、类模板的类…

c++类对象的创建方式

对象创建限制在堆或栈 c类对象的创建方式对象创建限制在堆或栈C 中的类的对象的建立模式如何将类限制在堆上呢&#xff1f;C 中的类的对象的建立模式 C 中的类的对象的建立模式分为两张&#xff1a;静态建立&#xff0c;动态建立 静态建立&#xff1a;由编译器为对象在栈空间…