参考:linux文件编程(1)—— 常用API之open、write、read、lseek
作者:丶PURSUING
发布时间: 2021-04-08 22:19:28
网址:https://blog.csdn.net/weixin_44742824/article/details/115209134
【Linux】文件操作/文件描述符/重定向原理/缓冲区/标准错误
目录
- 一、open、creat、close
- 参数与返回值
- creat
- 二、write
- 参数与返回值
- 使用示例
- 三、read
- 参数与返回值
- 使用示例
- 四、lseek
- 参数与返回值
- 应用示例
- 【Linux】文件操作/文件描述符/重定向原理/缓冲区/标准错误
- 阻塞问题
一、open、creat、close
文件打开、创建、关闭。
参数与返回值
int open(const char *pathname, int flags)/** 返回值 **
fd>0,文件打开成功且fd为文件标识符
fd<0,文件打开失败*//** 参数 **
pathname:文件路径+文件名(若不包含路径,则默认为当前路径)
flags: (1)O_RDONLY、O_WRONLY、O_RDWR、O_CREAT(2)O_CREAT、O_APPEND、O_TRUNC*/
下面对flags(2)这类使用(|
)进行附加使用的参数进行额外说明:
(1)O_CREAT:文件若不存在则创建
注意:需要额外说明文件操作权限参数mode
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>int main()
{//尝试打开当前路径下的文件file1.cint fd = open("./file1.c",O_RDWR);//打开失败了if(fd < 0){printf("打开失败:没有这个文件\n");//尝试以可读可写的方式创建并打开文件fd = open("./file1.c",O_RDWR|O_CREAT,0600); //可读4 可写4 4+2=6if(fd > 0){printf("创建文件并且打开成功\n");}}//关闭文件close(fd);return 0;
}
对权限0600的解释:
运行结果:可以看到已经成功创建了file1.c
(2)O_APPEND:写时加到文件末端(另起一行)
如果不使用这个参数,因为文件打开后光标是位于文件头的,写入数据会把原来的数据按长度覆盖。(本质上就是光标的问题)
(3)O_TRUNC清空原内容后写入
在每次打开文件写入之前,先把原有的内容清空后写入
creat
创建文件的另一种方法(不可用于打开)
int creat(const char *pathname, mode_t mode);/** mode **
S_IRUSR 可读 宏:4
S_IWUSR 可写 宏:2
S_IXUSR 可执行 宏:1
S_IRWXU 可读可写可执行 宏:7 */
简单使用示例:
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>int main()
{//可读可写int fd = creat("./file1.c",S_IRUSR|S_IWUSR);if(fd > 0){printf("文件创建成功\n");}else{printf("同名文件已经存在\n");}close(fd);return 0;
}
运行结果:
当文件存在时创建失败,反之成功。可用ls -l
查看文件权限:
二、write
参数与返回值
ssize_t write(int fd, const void *buf, size_t count)/** 返回值 **
成功返回写入字节数,失败返回-1*//** 参数 **
fd 被写入的目标文件对应的文件描述符
buf 将缓冲区buf里面内容写到文件里面去
count 写入的字节数*/
使用示例
#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>int main()
{char* writeBuf = (char* )malloc(128);memset(writeBuf,'\0',128);printf("要往文件里写什么?\n");//为了避免栈溢出,使用fgets限制获取的内容长度fgets(writeBuf,128,stdin);//创建文件int fd = open("./test",O_RDWR|O_CREAT,0600);if(fd < 0){printf("文件打开失败\n");exit(-1);}int retWrite = write(fd,writeBuf,strlen(writeBuf));//此处不能用sizeof(计算的是指针所占用的字节数 //Linux环境下指针占8个字节 只能写8个字节/字母)if(retWrite > 0){printf("成功写入字节数:%d\n",retWrite);}else{printf("写入失败\n");}close(fd);return 0;
}
运行结果:成功创建文件并写入内容
三、read
参数与返回值
ssize_t read(int fd, void *buf, size_t count)/** 文件内容读到缓冲区buf里面去**/
使用示例
下面的程序中简化对open和write的操作,重点突出read。读取上面write例子中创建的文件内容。
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>int main()
{int fd = open("./test",O_RDWR|O_CREAT,0600);char* readBuf = (char* )malloc(128);memset(readBuf,'\0',128);int retRead = read(fd,readBuf,128);if(retRead < 0){printf("read error\n");}else{printf("读取的字节数是%d\n内容是%s\n",retRead,readBuf);} //读取的字节数并不是128个 而是根据实际的文件内容确定close(fd);return 0;
}
运行结果:
read
最需要注意的就是光标的位置,尤其是在write
操作后,光标已经到达文件尾部,直接read
,就会读个寂寞。解决办法是重新打开文件(不建议)使光标回到文件头。或者使用后面所提到的lseek
操作光标。
配合光标操作举个例子(具体光标介绍在第四节):
#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdlib.h>int main()
{int fd;int n_open;int n_write;int n_read;char *Buf="hello ubuntu";fd=open("./file2",O_RDWR);if(fd == -1){printf("没有该文件,等待创建.....\n");fd=open("./file2",O_RDWR|O_CREAT,0600);if(fd > 0){printf("创建成功并打开,fd=%d\n",fd);}}n_write=write(fd,Buf,strlen(Buf));if(n_write != -1){printf("写入成功,写了%d个字节\n",n_write);}//lseek(int fd, off_t offset, int whence);lseek(fd,0,SEEK_SET);//光标指向头部也可以写成lseek(fd,-12,SEEK_END/CUR);char *readBuf;//定义一个缓冲区readBuf=(char *)malloc(sizeof(char)*n_write+1);//n_write是写入的字节数,readBuf大小就是写入了多少个字节数,加1保险点// ssize_t read(int fd, void *buf, size_t count);n_read=read(fd,readBuf,n_write);//把fd的内容放到readBuf里面进行读取,读了n_write个if(n_read != 0){printf("read %d个字节,内容是:%s\n",n_read,readBuf);}close(fd); return 0;
}
运行结果:
四、lseek
参数与返回值
offt lseek(int fd, offt offset, int whence)/** 参数 **
whence:SEEK_SET 使光标位于文件头部SEEK_CUR 光标的当前位置SEEK_END 使光标位于文件尾部
offset:相对whence的偏移值,可以是负数表向前移动光标。
*//** 返回值 **
成功操作时返回从文件开始到到光标位置的字节数,错误则-1并且设置error
*/
应用示例
使得光标移动到文件的开始位置:
lseek(fd,0,SEEK_SET);//相对于文件开始位置偏移0,就是在文件头部咯。
lseek也常用于计算文件的大小:返回文件开始到偏移位置(文件尾部)的字节大小
size = lseek(fd,0,SEEK_END);
【Linux】文件操作/文件描述符/重定向原理/缓冲区/标准错误
https://blog.csdn.net/Hello_World_213/article/details/127335060
阻塞问题
摘自:https://blog.csdn.net/zjhkobe/article/details/6633446?utm_source=app&app_version=5.1.1&code=app_1562916241&uLinkId=usr1mkqgl919blen
read
函数从打开的设备或文件中读取数据。
#include <unistd.h>
ssize_t read(int fd, void *buf, size_t count);
返回值:成功返回读取的字节数,出错返回-1并设置errno,如果在调read之前已到达文件末尾,则这次read返回0
参数
count
是请求读取的字节数,读上来的数据保存在缓冲区buf中,同时文件的当前读写位置向后移。注意这个读写位置和使用C标准I/O库时的读写位置有可能不同,这个读写位置是记在内核中的,而使用C标准I/O库时的读写位置是用户空间I/O缓冲区中的位置。比如用fgetc读一个字节,fgetc有可能从内核中预读1024个字节到I/O缓冲区中,再返回第一个字节,这时该文件在内核中记录的读写位置是1024,而在FILE结构体中记录的读写位置是1。注意返回值类型是ssize_t,表示有符号的size_t,这样既可以返回正的字节数、0(表示到达文件末尾)也可以返回负值-1(表示出错)。
read函数返回时,返回值说明了buf中前多少个字节是刚读上来的。有些情况下,实际读到的字节数(返回值)会小于请求读的字节数count,例如:读常规文件时,在读到count个字节之前已到达文件末尾。例如,距文件末尾还有30个字节而请求读100个字节,则read返回30,下次read将返回0。
从终端设备读,通常以行为单位,读到换行符就返回了。
从网络读,根据不同的传输层协议和内核缓存机制,返回值可能小于请求的字节数,后面socket编程部分会详细讲解。
write
函数向打开的设备或文件中写数据。
#include <unistd.h>
ssize_t write(int fd, const void *buf, size_t count);
返回值:成功返回写入的字节数,出错返回-1并设置errno写常规文件时,write的返回值通常等于请求写的字节数
count,而向终端设备或网络写则不一定。
读常规文件是不会阻塞的,不管读多少字节,read一定会在有限的时间内返回。从终端设备或网络读则不一定,如果从终端输入的数据没有换行符,调用read读终端设备就会阻塞,如果网络上没有接收到数据包,调用read从网络读就会阻塞,至于会阻塞多长时间也是不确定的,如果一直没有数据到达就一直阻塞在那里。同样,写常规文件是不会阻塞的,而向终端设备或网络写则不一定。
现在明确一下阻塞(Block)这个概念。当进程调用一个阻塞的系统函数时,该进程被置于睡眠(Sleep)状态,这时内核调度其它进程运行,直到该进程等待的事件发生了(比如网络上接收到数据包,或者调用sleep指定的睡眠时间到了)它才有可能继续运行。与睡眠状态相对的是运行(Running)状态,在Linux内核中,处于运行状态的进程分为两种情况:
正在被调度执行。CPU处于该进程的上下文环境中,程序计数器(eip)里保存着该进程的指令地址,通用寄存器里保存着该进程运算过程的中间结果,正在执行该进程的指令,正在读写该进程的地址空间。
就绪状态。该进程不需要等待什么事件发生,随时都可以执行,但CPU暂时还在执行另一个进程,所以该进程在一个就绪队列中等待被内核调度。系统中可能同时有多个就绪的进程,那么该调度谁执行呢?内核的调度算法是基于优先级和时间片的,而且会根据每个进程的运行情况动态调整它的优先级和时间片,让每个进程都能比较公平地得到机会执行,同时要兼顾用户体验,不能让和用户交互的进程响应太慢。
下面这个小程序从终端读数据再写回终端。
例 28.2. 阻塞读终端
#include <unistd.h>
#include <stdlib.h>
int main(void) {
char buf[10];
int n;
n = read(STDIN_FILENO, buf, 10);
if (n < 0) {
perror(“read STDIN_FILENO”);
exit(1);
}
write(STDOUT_FILENO, buf, n);
return 0; }
执行结果如下:
$ ./a.out hello(回车) hello
$ ./a.out hello world(回车) hello
worl$ d bash: d: command not found
第一次执行a.out的结果很正常,而第二次执行的过程有点特殊,现在分析一下:
Shell进程创建a.out进程,a.out进程开始执行,而Shell进程睡眠等待a.out进程退出。
a.out调用read时睡眠等待,直到终端设备输入了换行符才从read返回,read只读走10个字符,剩下的字符仍然保存在内核的终端设备输入缓冲区中。
a.out
进程打印并退出,这时Shell进程恢复运行,Shell继续从终端读取用户输入的命令,于是读走了终端设备输入缓冲区中剩下的字符d和换行符,把它当成一条命令解释执行,结果发现执行不了,没有d这个命令。
如果在open一个设备时指定了O_NONBLOCK标志,read/write就不会阻塞。以read为例,如果设备暂时没有数据可读就返回-1,同时置errno为EWOULDBLOCK(或者EAGAIN,这两个宏定义的值相同),表示本来应该阻塞在这里(would block,虚拟语气),事实上并没有阻塞而是直接返回错误,调用者应该试着再读一次(again)。这种行为方式称为轮询(Poll),调用者只是查询一下,而不是阻塞在这里死等,这样可以同时监视多个设备:
while(1) {undefined
非阻塞read(设备1);
if(设备1有数据到达)
处理数据;
非阻塞read(设备2);
if(设备2有数据到达)
处理数据;
…
}
如果
read(设备1)
是阻塞的,那么只要设备1没有数据到达就会一直阻塞在设备1的
read
调用上,即使设备2有数据到达也不能处理,使用非阻塞I/O就可以避免设备2得不到及时处理。
非阻塞I/O有一个缺点,如果所有设备都一直没有数据到达,调用者需要反复查询做无用功,如果阻塞在那里,操作系统可以调度别的进程执行,就不会做无用功了。在使用非阻塞I/O时,通常不会在一个while循环中一直不停地查询(这称为Tight Loop),而是每延迟等待一会儿来查询一下,以免做太多无用功,在延迟等待的时候可以调度其它进程执行。
while(1) {
非阻塞read(设备1);
if(设备1有数据到达) 处理数据;
非阻塞read(设备2);
if(设备2有数据到达) 处理数据;
… sleep(n);
}
这样做的问题是,设备1有数据到达时可能不能及时处理,最长需延迟n秒才能处理,而且反复查询还是做了很多无用功。以后要学习的select(2)函数可以阻塞地同时监视多个设备,还可以设定阻塞等待的超时时间,从而圆满地解决了这个问题。
以下是一个非阻塞I/O的例子。目前我们学过的可能引起阻塞的设备只有终端,所以我们用终端来做这个实验。程序开始执行时在0、1、2文件描述符上自动打开的文件就是终端,但是没有O_NONBLOCK标志。所以就像例 28.2 “阻塞读终端”一样,读标准输入是阻塞的。我们可以重新打开一遍设备文件/dev/tty(表示当前终端),在打开时指定
O_NONBLOCK标志。
例 28.3. 非阻塞读终端
#include <unistd.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#define MSG_TRY “try again\n”
int main(void) {
char buf[10];
int fd, n;
fd = open(“/dev/tty”, O_RDONLY|O_NONBLOCK);
if(fd<0) {
perror(“open /dev/tty”);
exit(1);
}
tryagain:
n = read(fd, buf, 10);
if (n < 0) {
if (errno == EAGAIN) {
sleep(1);
write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY));
goto tryagain;
}
perror(“read /dev/tty”);
exit(1);
}
write(STDOUT_FILENO, buf, n);
close(fd);
return 0;
}
以下是用非阻塞I/O实现等待超时的例子。既保证了超时退出的逻辑又保证了有数据到达时处理延迟较小。
例 28.4. 非阻塞读终端和等待超时
#include <unistd.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#define MSG_TRY “try again\n”
#define MSG_TIMEOUT “timeout\n”
int main(void) {
char buf[10];
int fd, n, i;
fd = open(“/dev/tty”, O_RDONLY|O_NONBLOCK);
if(fd<0) {
perror(“open /dev/tty”);
exit(1);
}
for(i=0; i<5; i++) {
n = read(fd, buf, 10);
if(n>=0) break;
if(errno!=EAGAIN) {
perror(“read /dev/tty”);
exit(1);
}
sleep(1);
write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY));
}
if(i==5)
write(STDOUT_FILENO, MSG_TIMEOUT, strlen(MSG_TIMEOUT));
else
write(STDOUT_FILENO, buf, n);
close(fd);
return 0;
}