- 概述
在Linux系统中一切皆可以看成是文件,文件又可分为:普通文件、目录文件、链接文件和设备文件。文件描述符(file descriptor)是内核为了高效管理已被打开的文件所创建的索引,其是一个非负整数(通常是小整数),用于指代被打开的文件,所有执行I/O操作的系统调用都通过文件描述符。程序刚刚启动的时候,0是标准输入,1是标准输出,2是标准错误。如果此时去打开一个新的文件,它的文件描述符会是3。 POSIX标准要求每次打开文件时(含socket)必须使用当前进程中最小可用的文件描述符号码,因此,在网络通信过程中稍不注意就有可能造成串话。 标准文件描述符图如下:
文件描述与打开的文件对应模型如下图:
- 文件描述限制
在编写文件操作的或者网络通信的软件时,初学者一般可能会遇到“Too many open files”的问题。这主要是因为文件描述符是系统的一个重要资源,虽然说系统内存有多少就可以打开多少的文件描述符,但是在实际实现过程中内核是会做相应的处理的,一般最大打开文件数会是系统内存的10%(以KB来计算)(称之为系统级限制),查看系统级别的最大打开文件数可以使用sysctl -a | grep fs.file-max命令查看。与此同时,内核为了不让某一个进程消耗掉所有的文件资源,其也会对单个进程最大打开文件数做默认值处理(称之为用户级限制),默认值一般是1024,使用ulimit -n命令可以查看。在Web服务器中,通过更改系统默认值文件描述符的最大值来优化服务器是最常见的方式之一。
- 文件描述符合打开文件之间的关系
每一个文件描述符会与一个打开文件相对应,同时,不同的文件描述符也会指向同一个文件。相同的文件可以被不同的进程打开也可以在同一个进程中被多次打开。系统为每一个进程维护了一个文件描述符表,该表的值都是从0开始的,所以在不同的进程中你会看到相同的文件描述符,这种情况下相同文件描述符有可能指向同一个文件,也有可能指向不同的文件。具体情况要具体分析,要理解具体其概况如何,需要查看由内核维护的3个数据结构。
** 1. 进程级的文件描述符表 **
** 2. 系统级的打开文件描述符表 **
** 3. 文件系统的i-node表 **
进程级的描述符表的每一条目记录了单个文件描述符的相关信息。
-
控制文件描述符操作的一组标志。(目前,此类标志仅定义了一个,即close-on-exec标志)
-
对打开文件句柄的引用
内核对所有打开的文件的文件维护有一个系统级的描述符表格(open file description table)。有时,也称之为打开文件表(open file table),并将表格中各条目称为打开文件句柄(open file handle)。一个打开文件句柄存储了与一个打开文件相关的全部信息,如下所示:
-
当前文件偏移量(调用read()和write()时更新,或使用lseek()直接修改)
-
打开文件时所使用的状态标识(即,open()的flags参数)
-
文件访问模式(如调用open()时所设置的只读模式、只写模式或读写模式)
-
与信号驱动相关的设置
-
对该文件i-node对象的引用
-
文件类型(例如:常规文件、套接字或FIFO)和访问权限
-
一个指针,指向该文件所持有的锁列表
-
文件的各种属性,包括文件大小以及与不同类型操作相关的时间戳
下图展示了文件描述符、打开的文件句柄以及i-node之间的关系,图中,两个进程拥有诸多打开的文件描述符。
- 文件描述符复制
在进程A中,文件描述符1和文件描述符20都指向同一个打开文件描述体(标号23)。这很可能是通过调用dup()系列函数形成的。
文件描述符复制,在某些场景下非常有用,比如:标准输入/输出重定向。在shell下,完成这个操作非常简单,大部分人都会,但是极少人思考过背后的原理。
大概描述一下需要的几个步骤,以标准输出(文件描述符为1)重定向为例:
打开目标文件,返回文件描述符n;
关闭文件描述符1;
调用dup将文件描述符n复制到1;
关闭文件描述符n;
- 子进程继承文件描述符
进程A的文件描述符2和进程B的文件描述符2都指向同一个打开文件描述体(标号73)。这种情形很可能发生在调用fork()派生子进程之后,比如A调用fork()派生出B。这时,B作为子进程,从父进程A继承了文件描述符表,其中包括图中标明的文件描述符2。这就是子进程继承父进程打开的文件这句话的由来。
当然了,进程A通过Unix套接字将一个文件描述符传递给B也会出现类似的情形,但一般文件描述符数值是不一样的。同时为2要非常凑巧才发生。
- 总结
-
由于进程级文件描述符表的存在,不同的进程中会出现相同的文件描述符,它们可能指向同一个文件,也可能指向不同的文件
-
两个不同的文件描述符,若指向同一个打开文件句柄,将共享同一文件偏移量。因此,如果通过其中一个文件描述符来修改文件偏移量(由调用read()、write()或lseek()所致),那么从另一个描述符中也会观察到变化,无论这两个文件描述符是否属于不同进程,还是同一个进程,情况都是如此。
-
要获取和修改打开的文件标志(例如:O_APPEND、O_NONBLOCK和O_ASYNC),可执行fcntl()的F_GETFL和F_SETFL操作,其对作用域的约束与上一条颇为类似。
-
文件描述符标志(即,close-on-exec)为进程和文件描述符所私有。对这一标志的修改将不会影响同一进程或不同进程中的其他文件描述符
- 参考资料
- Linux中的文件描述符与打开文件之间的关系
- Linux文件描述符
#include"apue.h"
#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/times.h>
int main ()
{struct tms time_buf_head , time_buf_end ;long tck = 0 ;clock_t time_head , time_end ;tck = sysconf (_SC_CLK_TCK); time_head = times (& time_buf_head); printf ("head_time is : %f \n ", time_head / (double )tck); //system ("./time_test.exe");system ("sleep 2" ); time_end = times ( & time_buf_end ); printf ("end_time is : %f \n ", time_end / (double )tck );printf ("user time is : %f \n ", ((time_buf_end . tms_utime - time_buf_head . tms_utime) /( double )tck)); printf ("systime time is : %f \n ", ((time_buf_end . tms_stime - time_buf_head . tms_stime) / (double )tck));printf ("child user time is : %f \n ", ((time_buf_end . tms_cutime - time_buf_head . tms_cutime) / (double )tck));printf ("child sys time is : %f \n ", ((time_buf_end . tms_cstime - time_buf_head . tms_cstime) / (double )tck));return 0;
}