Unix网络编程(六)高级I/O技术之复用技术 select

转载：http://blog.csdn.net/michael_kong_nju/article/details/44887411

I/O复用技术

本文将讨论网络编程中的高级I/O复用技术，将从下面几个方面进行展开：

a. 什么是复用技术呢？

b. 什么情况下需要使用复用技术呢？

c. I/O的复用技术的工作原理是什么?

d. select, poll and epoll的实现机制，以及他们之间的区别。

下面我们以一个背景问题来开始：

包括在以前的文章中我们讨论的案例都是阻塞式的I/O包括(fgetc/getc, fgets/gets)，即当输入条件未满足时进程会阻塞直到满足之后进行读取，但是这样导致的一个

问题是如果此时进程还有别的I/O信息需要读取那么这些信息将会被进程忽略掉。如何解决这个问题呢？ 

可能这么说还是有点抽象，我们针对之前的回射程序举个例子。程序在：http://blog.csdn.net/michael_kong_nju/article/details/43457393

在正常连接的情况下，客户端阻塞于fgets函数，此时如果服务器终止我们发现客户端没有得到消息，仍然阻塞：



这个时候看下网络状态，发现服务器已经结束，而客户端处于CLOSE_WAIT状态。


而客户端此时得不到这个FIN的消息，一直阻塞。而这是我们不希望看到，那么这个问题该怎么解决呢？

可以从下面几个条件来考虑：

1.使用多进程或者多线程，让不同的线程或者进程阻塞在不同的描述符上。

但是这种方法会造成程序的复杂，而且进程和线程也需要OS资源的消耗，如果访问请求过大的话，那么很可能造成服务器的崩溃。Apache服务器是用的子进程的方式，

其中的优点是在于不同的线程服务于不同的用户可以隔离用户。


2.用一个进程，但是使用的是非阻塞的I/O读取数据，

当一个I/O不可读的时候立刻返回，检查下一个是否可读，这种形式的循环为轮询（polling），这种方法比较浪费CPU时间，因为大多数时间是不可读，但是仍花费时间不断反复执行read系统调用。


3. 采用信号驱动式的I/O技术

使用这种方法，进程不会阻塞，而是设置一个信号处理函数，当I/O条件满足时由内核通知进程进行数据读取。但是这也会有一个问题，如果请求很多的话，那么需要的信号也很多。


4. 使用异步I/O（asynchronous I/O）技术

和信号驱动式类似，异步I/O技术也是使用信号进行通知进程，但是不同的是这里只有一个阶段，即当内核完成i/o操作之后会通知进程而不是就绪的时候。


关于2,3,4是另外的几种高级I/O技术，我们将在后面的文章分别进行详细的讨论。


还有一种方法就是我们即将讨论的I/O多路复用技术，下面先回答第一个问题

什么是复用技术呢？


I/O复用技术是一种预先告知内核此进程需要进行哪些I/O，并且当任何指定一个或多个I/O条件就绪时内核通知进程去进行处理的一种技术。他使得一个进程在不阻塞的

情况下处理多个描述符I/O.


针对上面的背景问题，我们可以回答我们开始的第二个疑问，


什么情况下需要使用复用技术呢？


（1）当客户处理多个描述符时，即上面的这种情况，同时处理交互式输入和网络套接字。

（2）当客户需要处理多个套接字时。

（3）当服务器需要处理多个套接字时，即并发服务器模型。

（4）当服务器需要同时处理TCP和UDP等不同的传输协议时也需要使用多路复用技术。


上面大概是几种需要使用多路复用技术的场景，下面我们来讨论复用技术的实现原理。回答开头的第三个问题：


I/O的复用技术的工作原理是什么?


下面这幅图是复用技术的工作模型，可以看到这里是使用select来实现的，当然也可以用epoll和poll来实现只是其中的具体细节不一样罢了。



下面我们开始回答最后一个问题：

select, poll and epoll的实现机制，以及他们之间的区别。


select函数：

该函数准许进程指示内核等待多个事件中的任何一个发送，并只在有一个或多个事件发生或经历一段指定的时间后才唤醒。函数原型如下：

#include <sys/select.h>
#include <sys/time.h>int select(int maxfdp1,fd_set *readset,fd_set *writeset,fd_set *exceptset,const struct timeval *timeout)
返回值：就绪描述符的数目，超时返回0，出错返回-1

函数参数介绍如下：

（1）第一个参数maxfdp1指定待测试的描述字个数，注意这里是个数是实际的最大的描述符加1，和数组下标类似从0到maxfdp 共maxfd + 1个，所以这里是maxfd plus 1. 描述字0、1、2...maxfdp1-1均将被测试。在linux中，头文件<sys/select.h>定义了最大的描述符是1024，所以这里最大的maxfdp1也就是1025，在互联网没有快速发展的时候这个值可能已经很大了，但是在现在看来很容易就会实现这么大的并发，所以select在很多条件下已经不能满足服务器的要求了，所以出现了epoll这种无限制的机制。

（2）中间的三个参数readset、writeset和exceptset指定我们要让内核测试读、写和异常条件的描述字。如果对某一个的条件不感兴趣，就可以把它设为空指针。struct fd_set可以理解为一个集合，这个集合中存放的是文件描述符，可通过以下四个宏进行设置：

          void FD_ZERO(fd_set *fdset);           //清空集合   例如： fd_set rset; FD_ZERO(&set) ; 初始化，将所有位置0

          void FD_SET(int fd, fd_set *fdset);   //将一个给定的文件描述符加入集合之中   FD_SET(1, &rset); 1bit开启。

          void FD_CLR(int fd, fd_set *fdset);   //将一个给定的文件描述符从集合中删除

          int FD_ISSET(int fd, fd_set *fdset);   // 检查集合中指定的文件描述符是否可以读写。

在select中集合是使用整数数组实现的，数组中的每一个位都是一个int可以表示32bit，即fd_set[0]可以用来表示0-31号描述符，下面依次。

（3）timeout告知内核等待所指定描述字中的任何一个就绪可花多少时间。其timeval结构用于指定这段时间的秒数和微秒数。

         struct timeval{

                   long tv_sec;   //seconds

                   long tv_usec;  //microseconds

       };

这个参数有三种可能：

（1）永远等待下去：仅在有一个描述字准备好I/O时才返回。为此，把该参数设置为空指针NULL。

（2）等待一段固定时间：在有一个描述字准备好I/O时返回，但是不超过由该参数所指向的timeval结构中指定的秒数和微秒数。

（3）根本不等待：检查描述字后立即返回，这称为轮询。为此，该参数必须指向一个timeval结构，而且其中的定时器值必须为0。

下面看看描述有哪些就绪条件;

准备好读:

1,套接字接收缓冲区的数据字节数大于等于,套接字接收缓冲区低水位线,可以用SO_RCVLOWAT套接选项来设置低水位线,对于TCP和UDP套按字,默认值为1

2,该连接的读半部分关闭(接收到了FIN的TCP连接).对这样的套接字读操作,返回0(EOF)

3,该套接字是一个监听套接字且已经完成的连接数不为0.对这样的套按字的accept通常不会阻塞

4,其上有一个套接字错误街处理.对这样的套按字的读操作将不阻塞并返回-1(错误),同时把errno设置成错误条件,这些待处理错误也可以通过指定SO_ERROR套接字选项调用getsockopt获取.

准备好写:

1,该套接字发送缓冲区的可用字节数大于等于套接字发送缓冲区低水位线的当前大小.并且或者该套接已经连接,或者套按字不需要连接(UDP),如果我们把这套接字设置成非阻塞,写操作将不阻塞并返回一个正值.可以使用SO_SNDLOWAT设置一个该套接字的低水位标记.对于TCP和UDP默认值通常为2048.

2,该连接的写半部关闭.对这样的套接写的写操作将产生SIGPIPE信号.

3使用非阻塞式的connect的套按字已经建立连接,或者connect已经失败.

4,其上有一个套接字错误等处理,对这样的套接字进行写操作会返回-,且,把ERROR设置成错误条件,可以通过指定SO_ERROR套按选项调用getsockopt获取并清除.

上面都是理论的知识，我们现在来看一个例子，我们用select重写http://blog.csdn.net/michael_kong_nju/article/details/43457393 中的echo_tcp_client.c中的str_cli函数：

[cpp] view plaincopy
print?
  1. void  
  2. str_cli(FILE *fp, int sockfd)  
  3. {  
  4.     int         maxfdp1;  
  5.     fd_set      rset;  
  6.     char        sendline[MAXLINE], recvline[MAXLINE];  
  7.   
  8.   
  9.     FD_ZERO(&rset);  
  10.     for ( ; ; ) {  
  11.         FD_SET(fileno(fp), &rset);  
  12.         FD_SET(sockfd, &rset);  
  13.         maxfdp1 = max(fileno(fp), sockfd) + 1;  
  14.         select(maxfdp1, &rset, NULL, NULL, NULL);  
  15.   
  16.   
  17.         if (FD_ISSET(sockfd, &rset)) {  /* socket is readable */  
  18.             if (read(sockfd, recvline, MAXLINE) == 0)  
  19.             {     
  20.                     perror("str_cli: server terminated prematurely");  
  21.                     exit(1);  
  22.             }  
  23.                     fputs(recvline, stdout);  
  24.         }  
  25.   
  26.   
  27.         if (FD_ISSET(fileno(fp), &rset)) {  /* input is readable */  
  28.             if (fgets(sendline, MAXLINE, fp) == NULL)  
  29.                 return;     /* all done */  
  30.             write(sockfd, sendline, strlen(sendline));  
  31.         }  
  32.     }  
  33. }  

限于篇幅的原因这里不给出客户端的main函数，但是我们建议你去我的github中下载这个我已经展开过的源码去调试运行一下：

https://github.com/michaelnju/UNPV-Relaxing-Code/blob/master/Chaper6_Select_Test/select_echo_tcp_cli.c

服务器程序还是用上一个连接中的。

这时候你会看到在客户端和服务器正常连接的过程中，如果这时候服务器断开了，那么客户端会立马被告知，而不像我们刚开始的时候那样会阻塞。


所以我们看到了select的作用。下篇文章我们将看到select在并发服务器中的作用。


完整的客户端代码：

//#include "unp.h"
  /*
  Lingtao relax this code in 2015
  */
  #include <stdio.h>
  #include <sys/types.h>
  #include <sys/socket.h>
  #include <netinet/in.h>
  #include <sys/select.h>
  #include <sys/time.h>
   
  #define LISTENQ 5
  #define MAXLINE 2048
  #define SERV_PORT 9877
  #define max(a,b) ((a) > (b) ? (a) : (b))
   
  typedef struct sockaddr SA;
   
  void
  str_cli(FILE *fp,int sockfd)
  {
  int maxfdp1;
  fd_set rset;
  char sendline[MAXLINE], recvline[MAXLINE];
   
  FD_ZERO(&rset);
  for ( ; ; ) {
  FD_SET(fileno(fp), &rset);
  FD_SET(sockfd, &rset);
  maxfdp1 = max(fileno(fp), sockfd) +1;
  select(maxfdp1, &rset, NULL, NULL, NULL);
   
  if (FD_ISSET(sockfd, &rset)) {/* socket is readable*/
  if (read(sockfd, recvline, MAXLINE) ==0)
  {
  perror("str_cli: server terminated prematurely");
  exit(1);
  }
  fputs(recvline, stdout);
  }
   
  if (FD_ISSET(fileno(fp), &rset)) {/* input is readable*/
  if (fgets(sendline, MAXLINE, fp) ==NULL)
  return; /* all done */
  write(sockfd, sendline, strlen(sendline));
  }
  }
  }
   
  int
  main(int argc,char **argv)
  {
  int sockfd;
  struct sockaddr_in servaddr;
   
  if (argc != 2)
  {
  perror("usage: tcpcli <IPaddress>");
  exit(1);
  }
  sockfd = socket(AF_INET, SOCK_STREAM,0);
   
  bzero(&servaddr, sizeof(servaddr));
  servaddr.sin_family = AF_INET;
  servaddr.sin_port = htons(SERV_PORT);
  inet_pton(AF_INET, argv[1], &servaddr.sin_addr);
   
  connect(sockfd, (SA *) &servaddr,sizeof(servaddr));
  str_cli(stdin, sockfd); /* do it all */
   
  exit(0);
  }


本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/384290.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Ubuntu在vmware虚拟机无法上网的解决方法

Ubuntu在vmware虚拟机无法上网的解决方法

http://blog.csdn.net/xueyushenzhou/article/details/50460183 在vmware中安装Ubuntu之后&#xff0c;我们希望基本的功能如上网、传输文件等功能都是可用的&#xff0c;但是经常遇到不能上网的情况。使用笔记本时&#xff0c;我们经常希望能通过无线网卡上网&#xff0c;但是…
阅读更多...
IO 多路复用之poll总结

IO 多路复用之poll总结

http://www.cnblogs.com/Anker/p/3261006.html IO多路复用之poll总结 1、基本知识 poll的机制与select类似&#xff0c;与select在本质上没有多大差别&#xff0c;管理多个描述符也是进行轮询&#xff0c;根据描述符的状态进行处理&#xff0c;但是poll没有最大文件描述符数量的…
阅读更多...
C++项目中的extern C {}

C++项目中的extern C {}

http://www.cnblogs.com/skynet/archive/2010/07/10/1774964.html 引言 在用C的项目源码中&#xff0c;经常会不可避免的会看到下面的代码&#xff1a; 123456789#ifdef __cplusplusextern "C" {#endif/*...*/#ifdef __cplusplus}#endif它到底有什么用呢&#xff0c;…
阅读更多...
C语言实现单链表（带头结点）的基本操作（创建，头插法，尾插法，删除结点，打印链表）

C语言实现单链表（带头结点）的基本操作（创建，头插法，尾插法，删除结点，打印链表）

http://blog.csdn.net/xiaofeige567/article/details/27484137 C语言实现单链表&#xff08;带头结点&#xff09;的基本操作&#xff08;创建&#xff0c;头插法&#xff0c;尾插法&#xff0c;删除结点&#xff0c;打印链表&#xff09; [plain] view plaincopy #include<…
阅读更多...
单向循环链表C语言实现

单向循环链表C语言实现

http://blog.csdn.net/morixinguan/article/details/51771633 我们都知道&#xff0c;单向链表最后指向为NULL&#xff0c;也就是为空&#xff0c;那单向循环链表就是不指向为NULL了&#xff0c;指向头节点&#xff0c;所以下面这个程序运行结果就是&#xff0c;你将会看到遍历…
阅读更多...
web服务器原理

web服务器原理

什么是web服务器&#xff1f; 在Mosaic浏览器&#xff08;通常被认为是第一个图形化的web浏览器&#xff09;和超链接内容的初期&#xff0c;演变出了“web服务器”的新概念&#xff0c;它通过HTTP协议来提供静态页面内容和图片服务。在那个时候&#xff0c;大多数内容都是静态…
阅读更多...
（C语言版）链表（三）——实现双向链表创建、删除、插入、释放内存等简单操作

（C语言版）链表（三）——实现双向链表创建、删除、插入、释放内存等简单操作

http://blog.csdn.net/fisherwan/article/details/19760681 上午写了下单向循环链表的程序&#xff0c;今天下午我把双向链表的程序写完了。其实双向链表和单向链表也是有很多相似的地方的&#xff0c;听名字可以猜到&#xff0c;每个节点都包含两个指针&#xff0c;一个指针指…
阅读更多...
（C++版）链表（一）——实现单向链表创建、插入、删除等相关操作

（C++版）链表（一）——实现单向链表创建、插入、删除等相关操作

http://blog.csdn.net/fisherwan/article/details/25557545 前段时间用C语言实现了链表的相关操作&#xff0c;但是发现当时挺清楚的&#xff0c;过了一段时间又忘的差不多了&#xff0c;所以现在打算用C再实现一遍&#xff0c;由于初次用C实现&#xff0c;存在错误的地方还望大…
阅读更多...
（C语言版）链表（二）——实现单向循环链表创建、插入、删除、释放内存等简单操作

（C语言版）链表（二）——实现单向循环链表创建、插入、删除、释放内存等简单操作

http://blog.csdn.net/fisherwan/article/details/19754585 昨天写了单向链表的代码&#xff0c;今天上午把单向循环链表的程序给敲完了。链表的相关操作一样的&#xff0c;包含链表的创建、判断链表是否为空、计算链表长度、向链表中插入节点、从链表中删除节点、删除整个链表…
阅读更多...
计科院首页静态网页

计科院首页静态网页

一.HTML代码 <!DOCTYPE html><html><head><meta charset"UTF-8"><title>首页</title> </head><body><div id"page"> <div id"page_head"> <div id"logo" aligncenter…
阅读更多...
（C语言版）链表（四）——实现双向循环链表创建、插入、删除、释放内存等简单操作

（C语言版）链表（四）——实现双向循环链表创建、插入、删除、释放内存等简单操作

http://blog.csdn.net/fisherwan/article/details/19801993 双向循环链表是基于双向链表的基础上实现的&#xff0c;和双向链表的操作差不多&#xff0c;唯一的区别就是它是个循环的链表&#xff0c;通过每个节点的两个指针把它们扣在一起组成一个环状。所以呢&#xff0c;每个…
阅读更多...
（C语言版）链表（一）——实现单向链表创建、插入、删除等简单操作（包含个人理解说明及注释，新手跟着写代码）

（C语言版）链表（一）——实现单向链表创建、插入、删除等简单操作（包含个人理解说明及注释，新手跟着写代码）

http://blog.csdn.net/fisherwan/article/details/19701027 我学习了几天数据结构&#xff0c;今天下午自己写了一个单向链表的程序。我也是新手&#xff0c;所以刚开始学习数据结构的菜鸟们&#xff08;有大牛们能屈尊看一看&#xff0c;也是我的荣幸&#xff09;可以和我一起…
阅读更多...
（C++版）链表（二）——实现单项循环链表创建、插入、删除等操作

（C++版）链表（二）——实现单项循环链表创建、插入、删除等操作

http://blog.csdn.net/fisherwan/article/details/25561857 链表&#xff08;二&#xff09;单向循环链表的实现&#xff0c;下面实现代码&#xff1a; [cpp] view plaincopy <span style"font-size:18px;" deep"5">#include <iostream> #in…
阅读更多...
（C++版）链表（三）——实现双向链表的创建、插入、删除等简单操作

（C++版）链表（三）——实现双向链表的创建、插入、删除等简单操作

http://blog.csdn.net/fisherwan/article/details/25649073 链表&#xff08;三&#xff09;实现双向链表操作&#xff0c;代码如下&#xff1a; [cpp] view plaincopy <span style"font-size:18px;" deep"5">#include <iostream> #include …
阅读更多...
（C++版）链表（四）——实现双向循环链表创建、插入、删除等简单操作

（C++版）链表（四）——实现双向循环链表创建、插入、删除等简单操作

http://blog.csdn.net/fisherwan/article/details/25649271 链表&#xff08;四&#xff09;实现双向循环链表简单操作&#xff0c;代码如下&#xff1a; [cpp] view plaincopy <span style"font-size:18px;" deep"5">#include <iostream> #…
阅读更多...
双向链表的创建和相关操作

双向链表的创建和相关操作

http://blog.csdn.net/jw903/article/details/38947753 双向链表其实是单链表的改进。 当我们对单链表进行操作时&#xff0c;有时你要对某个结点的直接前驱进行操作时&#xff0c;又必须从表头开始查找。这是由单链表结点的结构所限制的。因为单链表每个结点只有一个存储直接后…
阅读更多...
登陆界面

登陆界面

界面展示&#xff1a; <!DOCTYPE html> <html><head><meta charset"utf-8"><title>电子邮件登录</title><link href"style.css" type"text/css" rel"stylesheet"></head><body>…
阅读更多...
运用递归将两个链表进行连接

运用递归将两个链表进行连接

http://blog.csdn.net/zjut_ym/article/details/45008259 建立2个数据项按从大到小排列的链表&#xff0c;实现2个链表的合并&#xff0c;并输出合并后链表的数据项。 函数代码如下 #include<iostream> using namespace std; struct node{int data;node *next; }; node …
阅读更多...
用servlet校验密码2

用servlet校验密码2

js //创建Ajax对象&#xff0c;不同浏览器有不同的创建方法&#xff0c;其实本函数就是一个简单的new语句而已。 function createXMLHttpRequest() {var XMLHttpRequest1;if (window.XMLHttpRequest) {XMLHttpRequest_test new XMLHttpRequest();} else if (window.ActiveXOb…
阅读更多...
循环链表解决约瑟夫问题（简化版）

循环链表解决约瑟夫问题（简化版）

http://blog.csdn.net/jw903/article/details/38965477 约瑟夫环是一个经典的数学的应用问题&#xff1a;已知N个人&#xff08;以编号1&#xff0c;2&#xff0c;3...N分别表示&#xff09;围坐在一张圆桌周围。从编号为1的人开始报数&#xff0c;数到M的那个人出列&#xff1…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023