Linux系统编程(二):标准 I/O 库(下)

参考引用

  • UNIX 环境高级编程 (第3版)
  • 嵌入式Linux C应用编程-正点原子

1. 标准 I/O 库简介

  • 标准 I/O 库是指:标准 C 库中用于文件 I/O 操作(如:读、写文件等)相关的一系列库函数的集合
    • 标准 I/O 库函数相关的函数定义都在头文件 <stdio.h> 中
    • 标准 I/O 库函数构建于文件 I/O(open()、read()、write()、lseek()、close()等)这些系统调用之上,如:标准 I/O 库函数 fopen() 就利用系统调用 open() 来执行打开文件的操作

    为什么需要标准 I/O 库?直接使用文件 I/O 系统调用不是更好吗?

    • 设计库函数是为了提供比底层系统调用更为方便、好用的调用接口,虽然标准 I/O 构建于文件 I/O 之上,但标准 I/O 却有它自己的优势

  • 标准 I/O 和文件 I/O 的区别如下
    • 虽然标准 I/O 和文件 I/O 都是 C 语言函数,但是标准 I/O 是标准 C 库函数,而文件 I/O 则是 Linux 系统调用
    • 标准 I/O 是由文件 I/O 封装而来,标准 I/O 内部实际上是调用文件 I/O 来完成实际操作的
    • 可移植性:标准 I/O 相比于文件 I/O 具有更好的可移植性
      • 通常对于不同的操作系统,其内核向应用层提供的系统调用往往都是不同,如:系统调用的定义、功能、参数列表、返回值等往往都不同
      • 而对于标准 I/O 来说,由于很多操作系统都实现了标准 I/O 库,标准 I/O 库在不同的操作系统之间其接口定义几乎是一样的,所以标准 I/O 在不同操作系统之间相比于文件 I/O 具有更好的可移植性
    • 性能、效率:标准 I/O 库在用户空间维护了自己的 stdio 缓冲区,所以标准 I/O 是带有缓存的,而文件 I/O 在用户空间是不带有缓存的,所以在性能、效率上,标准 I/O 要优于文件 I/O

2. FILE 指针

  • 所有文件 I/O 函数(open()、read()、write()、lseek()等)都是围绕文件描述符进行的,当调用 open()函数打开一个文件时,即返回一个文件描述符 fd,然后该文件描述符就用于后续的 I/O 操作
  • 而对于标准 I/O 库函数来说,它们的操作是围绕 FILE 指针进行的,当使用标准 I/O 库函数打开或创建一个文件时,会返回一个指向 FILE 类型对象的指针(FILE *),使用该 FILE 指针与被打开或创建的文件相关联,然后该 FILE 指针就用于后续的标准 I/O 操作
  • FILE 指针的作用相当于文件描述符,FILE 指针用于标准 I/O 库函数中,而文件描述符则用于文件 I/O 系统调用中
  • FILE 是一个结构体数据类型,它包含了标准 I/O 库函数为管理文件所需要的所有信息,包括用于实际 I/O 的文件描述符、指向文件缓冲区的指针、缓冲区的长度、当前缓冲区中的字节数以及出错标志等
    • FILE 数据结构定义在标准 I/O 库函数头文件 stdio.h 中

3. 标准输入、标准输出和标准错误

  • 用户通过标准输入设备与系统进行交互,进程将从标准输入 (stdin) 文件中得到输入数据,将正常输出数据(如:printf 打印输出)输出到标准输出(stdout) 文件,而将错误信息(如:函数调用报错)输出到标准错误 (stderr) 文件
    • 标准输出文件和标准错误文件都对应终端的显示器,而标准输入文件则对应于键盘
  • 每个进程启动之后都会默认打开标准输入、标准输出以及标准错误,得到三个文件描述符,即 0(标准输入)、1(标准输出)、2(标准错误),在应用编程中可以使用宏 STDIN_FILENO、STDOUT_FILENO 和 STDERR_FILENO 分别代表 0、1、2,这些宏定义在 unistd.h 头文件中
    #define STDIN_FILENO 0 /* Standard input. */
    #define STDOUT_FILENO1 /* Standard output. */
    #define STDERR_FILENO2 /* Standard error output. */
    
  • 0、1、2 是文件描述符,只能用于文件 I/O,标准 I/O 中,需围绕 FILE 类型指针进行,在 stdio.h 头文件定义
    // struct _IO_FILE 结构体就是 FILE 结构体,使用 typedef 进行了重命名
    extern struct _IO_FILE *stdin; /* Standard input stream. */
    extern struct _IO_FILE *stdout; /* Standard output stream. */
    extern struct _IO_FILE *stderr; /* Standard error output stream. *//* C89/C99 say they're macros. */
    #define stdin stdin
    #define stdout stdout
    #define stderr stderr
    

4. 打开文件 fopen()、关闭文件 fclose()

  • 标准 I/O 中,将使用库函数 fopen() 打开或创建文件
    #include <stdio.h>// path:参数 path 指向文件路径,可以是绝对路径或相对路径
    // mode:参数 mode 指定了对该文件的读写权限,是一个字符串
    // 返回值:调用成功返回一个指向 FILE 类型对象的指针(FILE *)
    FILE *fopen(const char *path, const char *mode);
    
  • 参数 mode 字符串类型,可取值如下
    在这里插入图片描述

在这里插入图片描述

  • 虽然调用 fopen()函数新建文件时无法手动指定文件的权限,但却有一个默认值
    S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP | S_IROTH | S_IWOTH (0666)
    
  • 调用 fclose() 库函数可以关闭一个由 fopen() 打开的文件
    #include <stdio.h>// 参数 stream 为 FILE 类型指针,调用成功返回 0;失败将返回 EOF(也就是-1)
    int fclose(FILE *stream);
    

5. 读文件和写文件

  • 可以使用 fread() 和 fwrite() 库函数对文件进行读、写操作
    #include <stdio.h>/*  ptr:fread() 将读取到的数据存放在参数 ptr 指向的缓冲区中size:fread() 从文件读取 nmemb 个数据项,每一个数据项大小为 size 个字节,所以总共读取 nmemb * size 个字节数据nmemb:参数 nmemb 指定了读取数据项的个数stream:FILE 指针
    */
    size_t fread(void *ptr, size_t size, size_t nmemb, FILE *stream);
    /*  ptr:将参数 ptr 指向的缓冲区中的数据写入到文件中size:参数 size 指定了每个数据项的字节大小,与 fread() 函数的 size 参数意义相同nmemb:参数 nmemb 指定了写入的数据项个数,与 fread() 函数的 nmemb 参数意义相同stream:FILE 指针
    */
    size_t fwrite(const void *ptr, size_t size, size_t nmemb, FILE *stream);
    

5.1 使用 fwrite() 将数据写入到文件中

#include <stdio.h>
#include <stdlib.h>int main(void) {char buff[] = "Hello World!\n";FILE *fp = NULL;if ((fp = fopen("./test_file", "w")) == NULL) {perror("fopen error");exit(-1);}   printf("open success\n");if (fwrite(buff, 1, sizeof(buff), fp) < sizeof(buff)) {printf("fwrite error\n");fclose(fp);exit(-1);}   printf("write success\n");fclose(fp);exit(0);
}
$ gcc fw.c -o fw
$ ./fw 
open success
write success$ cat test_file 
Hello World!

5.2 使用 fread() 从文件中读取数据

#include <stdio.h>
#include <stdlib.h>int main(void) {char buf[50] = {0};FILE *fp = NULL;int size;/* 只读方式打开文件 */if ((fp = fopen("./test_file", "r")) == NULL) {perror("fopen error");exit(-1);}   printf("文件打开成功!\n");/* 读取 12 * 1=12 个字节的数据 */if ((size = fread(buf, 1, 12, fp)) < 12) {if (ferror(fp)) {  //使用 ferror 判断是否是发生错误printf("fread error\n");fclose(fp);exit(-1);}   /* 如果未发生错误则意味着已经到达了文件末尾 */}   printf("成功读取%d 个字节数据: %s\n", size, buf);/* 关闭文件 */fclose(fp);exit(0);
}
$ gcc fr.c -o fr
$ ./fr
文件打开成功!
成功读取12 个字节数据: Hello World!$ cat test_file 
Hello World!

6. fseek 定位

  • 库函数 fseek() 的作用类似系统调用 lseek(),用于设置文件读写位置偏移量
    • 调用库函数 fread()、fwrite() 读写文件时,文件的读写位置偏移量会自动递增,使用 fseek() 可手动设置文件当前的读写位置偏移量
    #include <stdio.h>// stream:FILE 指针
    // offset:与 lseek() 函数的 offset 参数意义相同
    // whence:与 lseek() 函数的 whence 参数意义相同
    int fseek(FILE *stream, long offset, int whence);
    

6.1 使用 fseek() 调整文件读写位置

#include <stdio.h>
#include <stdlib.h>int main(void) {FILE *fp = NULL;char rd_buf[100] = {0};char wr_buf[] = "www.baidu.com\n";int ret;/* 打开文件 */if ((fp = fopen("./test_file", "w+")) == NULL) {perror("fopen error");exit(-1);}   printf("open seccess\n");/* 写文件 */if (fwrite(wr_buf, 1, sizeof(wr_buf), fp) < sizeof(wr_buf)) {printf("fwrite error\n");fclose(fp);exit(-1);}   printf("write success\n");/* 将读写位置移动到文件头部 */if (fseek(fp, 0, SEEK_SET) < 0) {perror("fseek error\n");fclose(fp);exit(-1);}   /* 读文件 */if ((ret = fread(rd_buf, 1, sizeof(wr_buf), fp)) < sizeof(wr_buf)) {printf("fread error\n");fclose(fp);exit(-1);}   printf("成功读取 %d 个字节数据: %s\n", ret, rd_buf);/* 关闭文件 */fclose(fp);exit(0);
}
$ gcc fseek.c -o fseek
$ ./fseek 
open seccess
write success
成功读取 14 个字节数据: www.baidu.com

7. ftell() 函数

  • 库函数 ftell() 可用于获取文件当前的读写位置偏移量
    #include <stdio.h>// 参数 stream 指向对应的文件,函数调用成功将返回当前读写位置偏移量;调用失败将返回 -1
    long ftell(FILE *stream);
    

7.1 使用 fseek() 和 ftell() 获取文件大小

#include <stdio.h>
#include <stdlib.h>int main(void) {FILE *fp = NULL;int ret;/* 打开文件 */if ((fp = fopen("./testApp.c", "r")) == NULL) {perror("fopen error");exit(-1);}printf("open success\n");/* 将读写位置移动到文件末尾 */if (fseek(fp, 0, SEEK_END) < 0>) {perror("fseek error");fclose(fp);exit(-1);}/* 获取当前位置偏移量,也就得到了 testApp.c 整个文件的大小 */if ((ret = ftell(fp)) < 0) {perror("ftell error");fclose(fp);exit(-1);}   printf("file size: %d\n", ret);/* 关闭文件 */fclose(fp);exit(0);
}
$ gcc ftell.c -o ftell
$ ./ftell 
open success
file size: 13

8. 检查或复位状态

8.1 feof() 函数

  • 库函数 feof() 用于测试参数 stream 所指文件的 end-of-file 标志
    • 如果 end-of-file 标志被设置了,则调用 feof() 函数将返回一个非零值
    • 如果 end-of-file 标志没有被设置,则返回 0
    #include <stdio.h>int feof(FILE *stream);
    
    // 当文件的读写位置移动到了文件末尾时,end-of-file 标志将会被设置
    if (feof(file)) {/* 到达文件末尾 */
    }
    else {/* 未到达文件末尾 */
    }
    

8.2 ferror() 函数

  • 库函数 ferror() 用于测试参数 stream 所指文件的错误标志
    • 如果错误标志被设置了,则调用 ferror() 函数将返回一个非零值
    • 如果错误标志没有被设置,则返回 0
    #include <stdio.h>int ferror(FILE *stream);
    
    // 当对文件的 I/O 操作发生错误时,错误标志将会被设置
    if (ferror(file)) {/* 发生错误 */
    }
    else {/* 未发生错误 */
    }
    

8.3 clearerr() 函数

  • 库函数 clearerr() 用于清除 end-of-file 标志和错误标志
    • 当调用 feof() 或 ferror() 校验这些标志后,通常需要清除这些标志,避免下次校验时使用到的是上一次设置的值,此时可以手动调用 clearerr() 函数清除标志
    • 对于 end-of-file 标志,除使用 clearerr() 显式清除外,当调用 fseek() 成功时也会清除文件的 end-of-file 标志
    #include <stdio.h>void clearerr(FILE *stream);
    
  • 示例
#include <stdio.h>
#include <stdlib.h>int main(void) {FILE *fp = NULL;char buf[20] = {0};/* 打开文件 */if ((fp = fopen("./testApp.c", "r")) == NULL) {perror("fopen error");exit(-1);}printf("文件打开成功!\n");/* 将读写位置移动到文件末尾 */if (fseek(fp, 0, SEEK_END) < 0) {perror("fseek error");fclose(fp);exit(-1);}/* 读文件 */if (fread(buf, 1, 10, fp) < 10) {if (feof(fp))printf("end-of-file 标志被设置, 已到文件末尾!\n");clearerr(fp);  // 清除标志}/* 关闭文件 */fclose(fp);exit(0);
}

9. 格式化 I/O

9.1 格式化输出

  • C 库函数提供了 5 个格式化输出函数,包括:printf()、fprintf()、dprintf()、sprintf()、snprintf()
    #include <stdio.h>int printf(const char *format, ...);int fprintf(FILE *stream, const char *format, ...);
    int dprintf(int fd, const char *format, ...);int sprintf(char *buf, const char *format, ...);
    int snprintf(char *buf, size_t size, const char *format, ...);
    
  • 这 5 个函数都是可变参函数,它们都有一个共同的参数 format,这是一个字符串,称为格式控制字符串,用于指定后续的参数如何进行格式转换,所以才把这些函数称为格式化输出
    • printf() 函数用于将格式化数据写入到标准输出
    printf("Hello World!\n");
    printf("%d\n", 5);
    
    • dprintf() 和 fprintf() 函数用于将格式化数据写入到指定的文件中,两者不同之处在于,fprintf() 使用 FILE 指针指定对应的文件,而 dprintf()则使用文件描述符 fd 指定对应的文件
    fprintf(stderr, "Hello World!\n");
    fprintf(stderr, "%d\n", 5);dprintf(STDERR_FILENO, "Hello World!\n");
    dprintf(STDERR_FILENO, "%d\n", 5);
    
    • sprintf()、snprintf() 函数可将格式化的数据存储在用户指定的缓冲区 buf 中
    char buf[100];
    sprintf(buf, "Hello World!\n");// 一般会使用这个函数进行格式化转换,并将转换后的字符串存放在缓冲区中
    // 如:将数字 100 转换为字符串 "100",将转换后得到的字符串存放在 buf 中
    // sprintf() 函数会在字符串尾端自动加上一个字符串终止字符 '\0'
    char buf[20] = {0};
    sprintf(buf, "%d", 100);
    

    sprintf() 函数可能会造成由参数 buf 指定的缓冲区溢出,因为缓冲区溢出会造成程序不稳定甚至安全隐患,为解决这个问题,引入 snprintf() 函数,在该函数中,使用参数 size 显式的指定缓冲区的大小

    • 如果写入到缓冲区的字节数大于参数 size 指定的大小,超出的部分将会被丢弃
    • 如果缓冲区空间足够大,snprintf() 函数就会返回写入到缓冲区的字符数

9.2 格式控制字符串 format:输出

  • 格式控制字符串由两部分组成:普通字符(非 % 字符)和转换说明
    • 普通字符会进行原样输出,每个转换说明都会对应后续的一个参数,通常有几个转换说明就需要提供几个参数(除固定参数之外的参数),使之一一对应,用于控制对应的参数如何进行转换
    printf("转换说明 1 转换说明 2 转换说明 3", arg1, arg2, arg3);
    
  • 每个转换说明都是以 % 字符开头,其格式如下所示(使用 [] 括起来的部分是可选的)
    /*flags:标志,用于规定输出样式,可包含 0 个或多个标志width:输出最小宽度,表示转换后输出字符串的最小宽度precision:精度,前面有一个点号 "."length:长度修饰符type:转换类型,指定待转换数据的类型
    */
    %[flags][width][.precision][length]type
    
9.2.1 type 类型
  • type 用于指定输出数据的类型,type 字段使用一个字符(字母字符)来表示
    在这里插入图片描述

在这里插入图片描述

9.2.2 flags 样式标志
  • flags 规定输出样式,% 后面可以跟 0 个或多个以下标志
    在这里插入图片描述

在这里插入图片描述

9.2.3 width 输出宽度
  • 最小的输出宽度,用十进制数来表示输出的最小位数
    • 若实际的输出位数大于指定的输出的最小位数,则以实际的位数进行输出
    • 若实际的位数小于指定输出的最小位数,则可按照指定的 flags 标志补 0 或补空格
      在这里插入图片描述
9.2.4 precision 精度
  • 精度字段以点号 “.” 开头,后跟一个十进制正数,可取值如下
    在这里插入图片描述

在这里插入图片描述

9.2.5 length 长度修饰符
  • 长度修饰符指明待转换数据的长度,因为 type 字段指定的的类型只有 int、unsigned int 以及 double 等几种数据类型,但是 C 语言内置的数据类型不止这几种,如:16bit 的 short、unsigned short,8bit 的 char、unsigned char,64bit 的 long long 等,为了能够区别不同长度的数据类型,于是长度修饰符(length)应运而生
  • length 长度修饰符也是使用字符(字母字符)来表示,结合 type 字段以确定不同长度的数据类型
    printf("%hd\n", 12345);   // 将数据以 short int 类型进行转换
    printf("%ld\n", 12345);   // 将数据以 long int 类型进行转换
    printf("%lld\n", 12345);  // 将数据以 long long int 类型进行转换
    

在这里插入图片描述

9.3 格式化输入

  • C 库函数提供了 3 个格式化输入函数,包括:scanf()、fscanf()、sscanf()
    #include <stdio.h>int scanf(const char *format, ...);
    int fscanf(FILE *stream, const char *format, ...);
    int sscanf(const char *str, const char *format, ...);
    
    • 这 3 个格式化输入函数也是可变参函数,它们都有一个共同的参数 format,同样也称为格式控制字符串,用于指定输入数据如何进行格式转换
    • scanf() 函数可将用户输入(标准输入)的数据进行格式化转换
      • 当程序中调用 scanf() 的时候,终端会被阻塞,等待用户输入数据,此时可以通过键盘输入一些字符,如:数字、字母或者其它字符,输入完成按回车即可
    int a, b, c;
    scanf("%d %d %d", &a, &b, &c);
    
    • fscanf() 函数从 FILE 指针指定文件中读取数据,并将数据进行格式化转换
      • 标准输入文件的数据就是用户输入的数据,如:通过键盘输入的数据
    int a, b, c;
    fscanf(stdin, "%d %d %d", &a, &b, &c);
    
    • sscanf() 函数从参数 str 所指向的字符串中读取数据,并将数据进行格式化转换
    char *str = "5454 hello";
    char buf[10];
    int a;sscanf(str, "%d %s", &a, buf);
    

9.4 格式控制字符串 format:输入

  • format 字符串包含一个或多个转换说明,每一个转换说明都是以百分号 “%”,转换说明格式如下
    /*width:最大字符宽度length:长度修饰符,与格式化输出函数的 format 相同type:指定输入数据的类型
    */
    %[*][width][length]type
    %[m][width][length]type
    
  • % 后面可选择性添加星号 * 或字母 m
    • 如果添加了星号*,格式化输入函数会按照转换说明的指示读取输入,但是丢弃输入,意味着不需要对转换后的结果进行存储,所以也就不需要提供相应的指针参数
    • 如果添加了 m,它只能与 %s、%c 以及 %[ 一起使用,调用者无需分配相应的缓冲区来保存格式转换后的数据,原因在于添加了 m,这些格式化输入函数内部会自动分配足够大小的缓冲区,并将缓冲区的地址值通过与该格式转换相对应的指针参数返回出来,该指针参数应该是指向 char* 变量的指针。随后,当不再需要此缓冲区时,调用者应调用 free() 函数来释放此缓冲区
    char *buf;scanf("%ms", &buf);
    ......free(buf);
    
9.4.1 type 类型
  • 此 type 字段与格式化输出函数中的 format 参数的 type 字段是同样的意义,用于指定输入数据的类型
    在这里插入图片描述

在这里插入图片描述

9.4.2 width 最大字符宽度
  • 是一个十进制表示的整数,用于指定最大字符宽度,当达到此最大值或发现不匹配的字符时(以先发生者为准),字符的读取将停止。大多数 type 类型会丢弃初始的空白字符,并且这些丢弃的字符不会计入最大字符宽度。对于字符串转换来说,scanf() 会在字符串末尾自动添加终止符 “\0”,最大字符宽度中不包括此终止符
    scanf("%4s", buf);  // 匹配字符串,字符串长度不超过 4 个字符
    // 用户输入 abcdefg,按回车,那么只能将 adcd 作为一个字符串存储在 buf 数组中
    
9.4.3 length 长度修饰符
  • 与格式化输出函数的格式控制字符串 format 中的 length 字段意义相同,用于对 type 字段进行修饰,扩展识别更多不同长度的数据类型
    scanf("%hd", var);   // 匹配 short int 类型数据
    scanf("%hhd", var);  // 匹配 signed char 类型数据
    scanf("%ld", var);   // 匹配 long int 类型数据
    scanf("%f", var);    // 匹配 float 类型数据
    scanf("%lf", var);   // 匹配 double 类型数据
    scanf("%Lf", var);   // 匹配 long double 类型数据
    

在这里插入图片描述

10. I/O 缓冲

  • 1、首先,应用程序调用标准 I/O 库函数将用户数据写入到 stdio 缓冲区中,stdio 缓冲区是由 stdio 库所维护的用户空间缓冲区
  • 2、然后,针对不同的缓冲模式,当满足条件时,stdio 库会调用文件 I/O(系统调用 I/O)将 stdio 缓冲区中缓存的数据写入到内核缓冲区中,内核缓冲区位于内核空间
  • 3、最终,由内核向磁盘设备发起读写操作,将内核缓冲区中的数据写入到磁盘(或者从磁盘设备读取数据到内核缓冲区)
    在这里插入图片描述

10.1 文件 I/O 的内核缓冲

  • read() 和 write() 系统调用在进行文件读写操作时并不会直接访问磁盘设备,而是仅仅在用户空间缓冲区和内核缓冲区之间复制数据。如:调用 write() 函数将 5 个字节数据从用户空间内存拷贝到内核空间的缓冲区中
    write(fd, "Hello", 5);  // 写入 5 个字节数据
    
  • 调用 write() 后仅仅只是将这 5 个字节数据拷贝到了内核空间的缓冲区中,拷贝完成之后函数就返回了,在后面的某个时刻,内核会将其缓冲区中的数据写入(刷新)到磁盘设备中
    • 由此可知,系统调用 write() 与磁盘操作并不是同步的,write() 函数并不会等待数据真正写入到磁盘之后再返回
    • 如果在此期间,其它系统调用如 read() 函数读取该文件的这几个字节数据,那么内核将自动从缓冲区中读取这几个字节数据返回给应用程序

    对于读文件而言亦是如此,内核会从磁盘设备中读取文件数据并存储到内核缓冲区中,当调用 read() 读取数据时,read() 调用将从内核缓冲区中读取数据,直至把缓冲区中的数据读完,这时,内核会将文件的下一段内容读入到内核缓冲区中进行缓存,把这个内核缓冲区就称为文件 I/O 的内核缓冲


  • 文件 I/O 的内核缓冲区的设计目的?
    • 1. 提高文件 I/O 的速度和效率(使得系统调用 read()、write()的操作更为快速)
      • 不需要等待磁盘操作(将数据写入到磁盘或从磁盘读取出数据),磁盘操作通常是比较缓慢的
    • 2. 减少内核操作磁盘的次数
      • 如:线程 1 调用 write() 向文件写入 “abcd”,线程 2 也调用 write() 向文件写入 “1234”,这样,数据 “abcd” 和 “1234” 都被缓存在内核缓冲区中,稍后内核会将它们一起写入磁盘中,只发起一次磁盘操作请求

    文件 I/O 的内核缓冲区自然是越大越好,内核会分配尽可能多的内核来作为文件 I/O 的内核缓冲区,但受限于物理内存的总量,操作越大的文件也要依赖于更大空间的内核缓冲区


10.2 刷新文件 I/O 的内核缓冲区

  • 强制将文件 I/O 内核缓冲区中缓存的数据写入(刷新)到磁盘设备中,对于某些应用程序来说是很有必要的
    • 例如,应用程序在进行某操作之前,必须要确保前面步骤调用 write() 写入到文件的数据已经真正写入到了磁盘中,诸如一些数据库的日志进程
    • 在 Ubuntu 系统下拷贝文件到 U 盘时:文件拷贝完成之后,通常在拔掉 U 盘之前,需要执行 sync 命令进行同步操作,这个同步操作其实就是将文件 I/O 内核缓冲区中的数据更新到 U 盘硬件设备,所以如果在没有执行 sync 命令时拔掉 U 盘,很可能就会导致拷贝到 U 盘中的文件遭到破坏
10.2.1 控制文件 I/O 内核缓冲的系统调用
  • fsync() 函数

    • 系统调用 fsync() 将参数 fd 所指文件的内容数据和元数据写入磁盘,只有在对磁盘设备的写入操作完成之后,fsync() 函数才会返回
    • 元数据并不是文件内容本身的数据,而是一些用于记录文件属性相关的数据信息,如:文件大小、时间戳、权限等等信息,这里统称为文件的元数据,这些信息也是存储在磁盘设备中的
    #include <unistd.h>int fsync(int fd);
    
    • 示例
    #include <stdio.h>
    #include <stdlib.h>
    #include <sys/types.h>
    #include <sys/stat.h>
    #include <fcntl.h>
    #include <unistd.h>#define BUF_SIZE 4096
    #define READ_FILE "./rfile"
    #define WRITE_FILE "./wfile"static char buf[BUF_SIZE];int main(void) {int rfd, wfd;size_t size;/* 打开源文件 */rfd = open(READ_FILE, O_RDONLY);if (rfd < 0) {perror("open error");exit(-1);}/* 打开目标文件 */wfd = open(WRITE_FILE, O_WRONLY | O_CREAT | O_TRUNC, 0664);if (wfd < 0) {perror("open error");exit(-1);}/* 拷贝数据 */while((size = read(rfd, buf, BUF_SIZE)) > 0)write(wfd, buf, size);/* 对目标文件执行 fsync 同步 */fsync(wfd);/* 关闭文件退出程序 */close(rfd);close(wfd);exit(0);
    }
    
  • fdatasync() 函数

    • 系统调用 fdatasync()与 fsync()类似,不同之处在于 fdatasync() 仅将参数 fd 所指文件的内容数据写入磁盘,并不包括文件的元数据
    #include <unistd.h>int fdatasync(int fd);
    
  • sync() 函数

    • 系统调用 sync() 会将所有文件 I/O 内核缓冲区中的文件内容数据和元数据全部更新到磁盘设备中,该函数没有参数、也无返回值,意味着它不是对某一个指定的文件进行数据更新,而是刷新所有文件 I/O 内核缓冲区
    #include <unistd.h>void sync(void);
    
10.2.2 控制文件 I/O 内核缓冲的标志
  • O_DSYNC 标志
    • 在调用 open() 函数时,指定 O_SYNC 标志,使得每个 write() 调用都会自动将文件内容数据和元数据刷新到磁盘设备中,其效果类似于在每个 write() 调用之后调用 fsync() 函数进行数据同步
    fd = open(filepath, O_WRONLY | O_SYNC);
    

在程序中频繁调用 fsync()、fdatasync()、sync()(或者调用 open 时指定 O_DSYNC 或 O_SYNC 标志)对性能的影响极大,大部分的应用程序是没有这种需求的

10.3 直接 I/O:绕过内核缓冲

  • Linux 允许应用程序在执行文件 I/O 操作时绕过内核缓冲区,从用户空间直接将数据传递到文件或磁盘设备,把这种操作也称为直接 I/O(direct I/O)或裸 I/O(raw I/O)

    • 例如,某应用程序的作用是测试磁盘设备的读写速率,那么在这种应用需要下,就需要保证 read/write 操作是直接访问磁盘设备,而不经过内核缓冲
    • 对于大多数应用程序而言,使用直接 I/O 可能会大大降低性能
      • 直接 I/O 只在一些特定的需求场合,如:磁盘速率测试工具、数据库系统等
    • 可针对某一文件或块设备执行直接 I/O,需要在调用 open() 函数打开文件时指定 O_DIRECT 标志
    fd = open(filepath, O_WRONLY | O_DIRECT);
    
  • 因为直接 I/O 涉及到对磁盘设备的直接访问,所以在执行直接 I/O 时,必须要遵守三个对齐限制要求

    • 应用程序中用于存放数据的缓冲区,其内存起始地址必须以块大小的整数倍进行对齐
    • 写文件时,文件的位置偏移量必须是块大小的整数倍
    • 写入到文件的数据大小必须是块大小的整数倍
  • 以上所说的块大小指的是磁盘设备的物理块大小,常见的块大小包括 512 字节、1024 字节、2048 以及 4096 字节,如何确定磁盘分区的块大小?通常,Ubuntu 系统的根文件系统挂载在 /dev/sda1 磁盘分区下

    $ sudo tune2fs -l /dev/sda1 | grep "Block size"
    Block size:               4096
    

10.4 stdio 缓冲

  • 标准 I/O 是 C 语言标准库函数,而文件 I/O 是系统调用,虽然标准 I/O 是在文件 I/O 基础上进行封装而实现,但在效率、性能上,标准 I/O 要优于文件 I/O,原因在于标准 I/O 维护了自己的缓冲区,称为 stdio 缓冲区
    • 文件 I/O 内核缓冲,这是由内核维护的缓冲区,而标准 I/O 所维护的 stdio 缓冲是用户空间缓冲区
    • 当应用程序中通过标准 I/O 操作磁盘文件时,标准 I/O 函数会将用户写入或读取文件的数据缓存在 stdio 缓冲区,然后再一次性将 stdio 缓冲区中缓存的数据通过调用系统调用 I/O(文件 I/O)写入到文件 I/O 内核缓冲区或拷贝到应用程序的 buf 中
10.4.1 对 stdio 缓冲进行设置
1. setvbuf() 函数
  • 调用 setvbuf() 库函数可以对文件的 stdio 缓冲区进行设置,如:缓冲区的缓冲模式、缓冲区的大小、起始地址等

    #include <stdio.h>int setvbuf(FILE *stream, char *buf, int mode, size_t size);
    
  • stream

    • FILE 指针,用于指定对应的文件,每一个文件都可以设置它对应的 stdio 缓冲区
  • buf

    • 如果参数 buf 不为 NULL,那么 buf 指向 size 大小的内存区域将作为该文件的 stdio 缓冲区,因为 stdio 库会使用 buf 指向的缓冲区,所以应该以动态(分配在堆内存,如 malloc)或静态的方式在堆中为该缓冲区分配一块空间,而不是分配在栈上的函数内的自动变量(局部变量)
    • 如果 buf 等于 NULL,那么 stdio 库会自动分配一块空间作为该文件的 stdio 缓冲区(除非参数 mode 配置为非缓冲模式)
  • mode:用于指定缓冲区的缓冲类型

    • _IONBF:不对 I/O 进行缓冲(无缓冲)。意味着每个标准 I/O 函数将立即调用 write() 或者 read(),并且忽略 buf 和 size 参数,可以分别指定两个参数为 NULL 和 0。标准错误 stderr 默认属于这一种类型,从而保证错误信息能够立即输出
    • _IOLBF:采用行缓冲 I/O。这种情况下,当在输入或输出中遇到换行符 “\n” 时,标准 I/O 才会执行文件 I/O 操作
      • 对于输出流,在输出一个换行符前将数据缓存(除非缓冲区已经被填满),当输出换行符时,再将这一行数据通过文件 I/O write() 函数刷入到内核缓冲区中
      • 对于输入流,每次读取一行数据。对于终端设备默认采用的就是行缓冲模式,譬如标准输入和标准输出
    • _IOFBF:采用全缓冲 I/O。这种情况下,在填满 stdio 缓冲区后才进行文件 I/O 操作(read、write)
      • 对于输出流,当 fwrite 写入文件的数据填满缓冲区时,才调用 write() 将 stdio 缓冲区中数据刷入内核缓冲区
      • 对于输入流,每次读取 stdio 缓冲区大小个字节数据。默认普通磁盘上的常规文件常用这种缓冲模式
  • size:指定缓冲区的大小

  • 返回值:成功返回 0,失败将返回一个非 0 值,并设置 errno 指示错误原因

当 stdio 缓冲区中的数据被刷入到内核缓冲区或被读取之后,这些数据就不会存在于缓冲区中了,数据被刷入了内核缓冲区或被读走了

2. setbuf() 函数
  • setbuf() 函数构建于 setvbuf() 之上,执行类似的任务
    #include <stdio.h>void setbuf(FILE *stream, char *buf);
    
  • setbuf() 调用除了不返回函数结果(void)外,就相当于
    // 要么将 buf 设置为 NULL 以表示无缓冲
    // 要么指向由调用者分配的 BUFSIZ 个字节大小的缓冲区(BUFSIZ 定义于头文件 <stdio.h> 中,该值通常为 8192)
    setvbuf(stream, buf, buf ? _IOFBF : _IONBF, BUFSIZ);
    
3. setbuffer() 函数
  • setbuffer() 函数类似于 setbuf(),但允许调用者指定 buf 缓冲区的大小
    #include <stdio.h>void setbuffer(FILE *stream, char *buf, size_t size);
    
  • setbuffer() 调用除了不返回函数结果(void)外,就相当于
    setvbuf(stream, buf, buf ? _IOFBF : _IONBF, size);
    
10.4.2 标准输出 printf() 的行缓冲模式测试
  • 标准 printf() 输出测试
    #include <stdio.h>
    #include <stdlib.h>
    #include <unistd.h>int main(void) {printf("Hello World!\n");printf("Hello World!");for ( ; ; )sleep(1);
    }
    
    $ gcc io2.c -o io2
    $ ./io2
    Hello World!  # 只有第一个 printf() 打印的信息显示出来了,第二个并没有显示出来

这就是 stdio 缓冲的问题,标准输出默认采用的是行缓冲模式,printf() 输出的字符串写入到了标准输出的 stdio 缓冲区中,只有输出换行符时(不考虑缓冲区填满的情况)才会将这一行数据刷入到内核缓冲区,也就是写入标准输出文件(终端设备)

  • 第一个 printf 包含了换行符,所以已经刷入了内核缓冲区
  • 第二个 printf 没有包含换行符,所以输出的 “Hello World!” 还缓存在 stdio 缓冲区中,需要等待一个换行符才可输出到终端

  • 将标准输出配置为无缓冲模式
    #include <stdio.h>
    #include <stdlib.h>
    #include <unistd.h>int main(void) {/* 将标准输出设置为无缓冲模式 */if (setvbuf(stdout, NULL, _IONBF, 0)) {perror("setvbuf error");exit(0);}printf("Hello World!\n");printf("Hello World!");for ( ; ; )sleep(1);
    }
    
    $ gcc io3.c -o io3
    $ ./io3
    Hello World!
    Hello World!
10.4.3 刷新 stdio 缓冲区
  • 无论采取何种缓冲模式,在任何时候都可以使用库函数 fflush() 来强制刷新(将输出到 stdio 缓冲区中的数据写入到内核缓冲区)stdio 缓冲区,该函数会刷新指定文件的 stdio 输出缓冲区
    #include <stdio.h>// 参数 stream 指定需要进行强制刷新的文件,如果该参数设置为 NULL,则表示刷新所有的 stdio 缓冲区
    int fflush(FILE *stream);
    
  • 使用 fflush() 刷新 stdio 缓冲区
    #include <stdio.h>
    #include <stdlib.h>
    #include <unistd.h>int main(void) {printf("Hello World!\n");printf("Hello World!");fflush(stdout);  // 刷新标准输出 stdio 缓冲区for ( ; ; )sleep(1);
    }
    
    $ gcc io4.c -o io4
    $ ./io4
    Hello World!
    Hello World!
    

  • 使用库函数 fflush() 是一种强制刷新的手段,在一些其它的情况下,也会自动刷新 stdio 缓冲区
    • 关闭文件时系统自动刷新 stdio 缓冲区
    #include <stdio.h>
    #include <stdlib.h>
    #include <unistd.h>int main(void) {printf("Hello World!\n");printf("Hello World!");fclose(stdout);  // 关闭标准输出for ( ; ; )sleep(1);
    }
    

    上面的测试程序中,在最后都使用了一个 for 死循环,让程序处于休眠状态无法退出,为什么要这样做呢?原因在于程序退出时也会自动刷新 stdio 缓冲区,这样的话就会影响到测试结果,下面去掉 for 死循环,让程序结束

    • 程序退出时系统自动刷新 stdio 缓冲区
    #include <stdio.h>
    #include <stdlib.h>
    #include <unistd.h>int main(void) {printf("Hello World!\n");printf("Hello World!");
    }
    
    $ gcc io5.c -o io5
    $ ./io5
    Hello World!
    Hello World! $
    

如果使用 exit()、return 或像上述示例代码一样不显式调用相关函数或执行 return 语句来结束程序,这些情况下程序终止时会自动刷新 stdio 缓冲区,但是如果使用 _exit 或 _Exit() 终止程序则不会自动刷新 stdio 缓冲区

11. 文件描述符与 FILE 指针互转

  • 在同一个文件上执行 I/O 操作时,可以将文件 I/O(系统调用 I/O)与标准 I/O 混合使用,这个时候就需要将文件描述符和 FILE 指针对象之间进行转换,此时可以借助于库函数 fdopen()、fileno() 来完成
    • 库函数 fileno() 可以将标准 I/O 中使用的 FILE 指针转换为文件 I/O 中所使用的文件描述符
    • 而 fdopen() 则进行着相反的操作
    #include <stdio.h>int fileno(FILE *stream);
    FILE *fdopen(int fd, const char *mode);
    
  • 对于 fileno() 函数来说
    • 根据传入的 FILE 指针得到整数文件描述符,通过返回值得到文件描述符
    • 如果转换错误将返回 -1,并且会设置 errno 来指示错误原因
    • 得到文件描述符之后,便可以使用诸如 read()、write()、lseek()、fcntl()等文件 I/O 方式操作文件
  • fdopen() 函数与 fileno() 功能相反
    • 给定一个文件描述符,得到该文件对应的 FILE 指针
    • 之后便可以使用诸如 fread()、fwrite() 等标准 I/O 方式操作文件了

当混合使用文件 I/O 和标准 I/O 时,需要特别注意缓冲的问题

  • 文件 I/O 会直接将数据写入到内核缓冲区进行高速缓存
  • 标准 I/O 则会将数据写入到 stdio 缓冲区,之后再调用 write() 将 stdio 缓冲区中的数据写入到内核缓冲区
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>int main(void) {printf("print");  // 缺换行符 "\n"write(STDOUT_FILENO, "write\n", 6);exit(0);
}
$ gcc test.c -o test
$ ./test 
write   # 先输出了 "write" 字符串信息,接着再输出了 "print" 字符串信息
print $

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/224089.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【MySQL学习之基础篇】概述

文章目录 1. mysql的启动和停止命令2. 客户端连接3. 数据模型 1. mysql的启动和停止命令 通过指令启动或停止&#xff0c;以管理员身份运行cmd&#xff0c;进入命令行执行如下指令&#xff1a; &#xff08;1&#xff09;启动myaql net start mysql&#xff08;2&#xff09;…

PyTorch: 基于【VGG16】处理MNIST数据集的图像分类任务【准确率98.9%+】

目录 引言在Conda虚拟环境下安装pytorch步骤一&#xff1a;利用代码自动下载mnist数据集步骤二&#xff1a;搭建基于VGG16的图像分类模型步骤三&#xff1a;训练模型步骤四&#xff1a;测试模型运行结果后续模型的优化和改进建议完整代码结束语 引言 在本博客中&#xff0c;小…

商城后台管理系统--->新闻简报(富文本编辑器,文章,图片上传)

在商城的项目里面需要添加新闻&#xff0c;使用富文本编辑器&#xff0c;我用的是 wangEditor这个编辑器挺好用的&#xff0c;而且也方便简单&#xff0c;官网也是中文的wangEditor 这是做的添加新闻的页面 我用的是SCUI框架,引入的是npm,具体可看官网 npm install wangedit…

【Docker实战】基于Dockerfile搭建LNMP+wordpress

一、项目背景和要求 公司在实际的生产环境中&#xff0c;需要使用Docker 技术在一台主机上创建LNMP服务并运行Wordpress网站平台。 然后对此服务进行相关的性能调优和管理工作 二、架构&#xff1a; nginx172.111.0.10docker-nginxmysql172.111.0.20docker-mysqlPHP172.111…

map 和 multimap 存储区别 、取消自动排序 unordered_map

测试代码 std::map<int, CString > Map1;Map1.insert({ 6, L"HN400*200*11*8" });Map1.insert({ 5, L"HN200*200*11*8" });Map1.insert({ 7, L"HN100*200*11*8" });Map1.insert({ 4, L"HN200*200*11*8" });Map1.insert({ 4, L…

【开发工具】最新VMWare无法识别USB设备,驱动错误,未知错误【2023.12.15】

解决方案1&#xff1a;在这里改下连接方式 多试试 解决方案2 控制面板卸载程序&#xff0c;进行VMWare的修复 解决方案3 对于Windows7系统&#xff0c;切换解决方案1的usb类型为3.1&#xff0c;并下载这个intel的驱动包到虚拟机里 https://www.intel.com/content/www/us/en/do…

科目三 换挡为什么要踩离合器

换挡时需要踩离合器为了切断动力传输&#xff0c;让变速器空转&#xff0c;齿轮才会同步&#xff0c;从而轻松挂挡。 在起步时&#xff0c;当车速达到15km/h时&#xff0c;从一挡换到二挡。 当车速达到25km/h时&#xff0c;可以换成三挡&#xff0c; 达到35km/h左右时&#xf…

高效电商策略:小红书集成CRM与广告推广无代码化

无代码开发的优势 随着科技的不断进步&#xff0c;无代码开发&#xff08;No-Code Development&#xff09;已经成为快速构建系统和应用的新趋势。无代码开发指的是不需要传统编程知识&#xff0c;通过图形化的用户界面和模型驱动逻辑来创建应用程序。这种方式让非技术背景的用…

金蝶云星空协同开发环境应用内执行SQL脚本

文章目录 金蝶云星空协同开发环境应用内执行SQL脚本 金蝶云星空协同开发环境应用内执行SQL脚本

中文字符串逆序输出

今天碰到这个题&#xff0c;让我逆序输出中文字符串&#xff0c;可给我烦死了&#xff0c;之前没有遇到过&#xff0c;也是查了资料才知道&#xff0c;让我太汗颜了。 英文字符串逆序输出很容易&#xff0c;开辟一块空间用来存放逆序后的字符串&#xff0c;从后往前遍历原字符串…

操作系统笔记——储存系统、文件系统(王道408)

文章目录 前言储存系统地址转换内存扩展覆盖交换 储存器分配——连续分配固定大小分区动态分区分配动态分区分配算法 储存器分配——非连续分配页式管理基本思想地址变换硬件快表&#xff08;TLB&#xff09;多级页表 段式管理段页式管理 虚拟储存器——基于交换的内存扩充技术…

题目:区间或 (蓝桥OJ 3691)

题目描述: 解题思路: 本题采用位运算.先求出全部数组每一位各自的前缀和,然后再判断区间内每一位区间和是否为0,不为0则乘上相应的2^n并将各个为的2^n相加,得ans. 实现原理图 题解: #include<bits/stdc.h> using namespace std;const int N 1e5 9;int a[N], prefix[35…

20231215给AIO-3399J适配Rockchip的原始Andoroid10的挖掘机开发板02

20231215给AIO-3399J适配Rockchip的原始Andoroid10的挖掘机开发板02 2023/12/15 15:37 【请严重注意&#xff1a;】如果刷不适配的SDK&#xff0c;可能会引起您的开发板【硬件发生物理】损坏&#xff01; 如果您按照本步骤刷机引起的一切后果&#xff0c;请自行承担责任&#x…

Day09 Liunx高级系统设计11-数据库1

MySQL 简介 数据库DB 数据库&#xff08; DataBase &#xff0c; DB &#xff09;从本质上讲就是一个文件系统&#xff0c;它能够将数据有组织地集合在一起&#xff0c;按照一定的规则长期存储到计算机的磁盘中&#xff0c;并且能够供多个用户共享和使用&#xff0c;同时&…

Linux篇:信号

一、信号的概念&#xff1a; ①进程必须识别能够处理信号&#xff0c;信号没有产生&#xff0c;也要具备处理信号的能力---信号的处理能力属于进程内置功能的一部分 ②进程即便是没有收到信号&#xff0c;也能知道哪些信号该怎么处理。 ③当进程真的受到了一个具体的信号的时候…

猫粮哪个牌子质量好性价比高?分享十款主食冻干猫粮品牌排行榜!

一款好的、健康的主粮对猫整体有很大的提升&#xff0c;主食作为猫的日常饮食&#xff0c;直接关乎着小猫是否能摄入充分的营养&#xff0c;达到最佳的理想状态&#xff0c;因此对于每一位铲屎官来说&#xff0c;主食选得好不好至关重要。面对种类众多的主食&#xff0c;很多人…

c/c++ 结构体、联合体、枚举

结构体 结构体内存对齐规则&#xff1a; 1、结构体的第一个成员对齐到结构体变量起始位置偏移量为0的地址处 2、其他成员变量要对齐到某个数字&#xff08;对齐数&#xff09;的整数倍的地址处。 对齐数&#xff1a;编译器默认的一个对齐数与该成员变量大小的较小值。 vs 中…

编程实际应用实例:洗车店会员管理系统操作教程

一、前言 洗车店在会员管理有时候需要一卡多用&#xff0c;基本也不需要做卡&#xff0c;直接报手机号或车牌号即可完成电子会员卡录入。 下面以 佳易王洗车店会员管理系统软件为例说明&#xff0c; 软件试用版下载或技术支持可以点击下方的官网卡片 如图&#xff1a;这个卡…

【教程】Autojs脚本实现暂停和超时重启功能的思路和示例代码

转载请注明出处&#xff1a;小锋学长生活大爆炸[xfxuezhang.cn] 背景介绍 autojs本身不支持暂停脚本&#xff0c;现有网上大部分最直接的做法就是在每条语句后面添加检查是否暂停。当脚本功能和代码量非常打的时候&#xff0c;每一条语句后面都加检测&#xff0c;未免不太现实。…

RFID技术在物流仓储解决方案中的应用

行业现状 当前市场竞争日益激烈&#xff0c;提高生产效率、降低运营成本对企业至关重要。仓库和物流管理在各行业中广泛应用。建立完善的仓库管理流程&#xff0c;提高仓库周转率&#xff0c;减少资金占用&#xff0c;实现资产变现&#xff0c;降低仓库淘汰成本&#xff0c;是…