(21)Linux的文件描述符输出重定向

一、文件描述符

1、文件描述符的底层理解

在上一章中,我们已经把 fd 的基本原理搞清楚了,知道了 fd 的值为什么是 0,1,2,3,4,5...

也知道了 fd 为什么默认从 3 开始,而不是从 0,1,2,因为其在内核中属于进程和文件的对应关系。

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>int main(void)
{int fd = open("log.txt", O_WRONLY | O_CREAT | O_TRUNC, 0666);if (fd < 0) {perror("open");return 1;} printf("fd: %d\n", fd);close(fd);
}

 

再看结果为3的时候,感觉不奇怪吧

接下来我们应该探索应用特征了。我们需要探索以下三个问题:

  • ① 文件描述符的分配原则
  • ② 重定向的本质
  • ③ 理解缓冲区

2、fd 的分配原则 

代码演示:默认把 0,1,2 打开,那我们直接 close(0) 关掉它们

 

 运行结果如下:

 

此时,给我的文件分配的文件描述符就是0;

现在我们再把 2 关掉,close(2) 看看:

运行结果:

所以,默认情况下 0,1,2 被打开,你新打开的文件默认分的就是 3 (因为 0,1,2 被占了) 。

如果把 0 关掉,给你的就是 0,如果把 2 关掉,给你的就是 2……

 那是不是把 1 关掉,给你的就是 1 呢?我们来看看:

int main(void)
{close(1);int fd = open("log.txt", O_WRONLY | O_CREAT | O_TRUNC, 0666);if (fd < 0) {perror("open");return 1;} printf("fd: %d\n", fd);close(fd);
}

结果:

发现什么都没有。

出乎意料啊,fd 居然不是 1,而是什么都没有,这是怎么回事呢?

原因很简单,1 是 stdout,printf 打印是往 stdout 打印的,你把 1 关了当然就没有显示了。

分配规则:从头遍历数组 fd_array[] ,找到一个最小的且没有被使用的下标分配给新的文件。

根据 fd 的分配规则,新的 fd 值一定是 1,所以虽然 1 不再指向对应的显示器了,但事实上已经指向了 log.txt 的底层 struct file 对象了。
但是结果没打印出来, log.txt 里也什么都没有。

二、重定向(Redirection)

1、fflush 刷新缓冲区 

实际上并不是没有,而是没有刷新,用 fflush 刷新缓冲区后,log.txt 内就有内容了。

代码演示: 

int main(void)
{close(1);int fd = open("log.txt", O_WRONLY | O_CREAT | O_TRUNC, 0666);if (fd < 0) {perror("open");return 1;}printf("fd: %d\n", fd);fflush(stdout);close(fd);
}

运行结果:

 

我们自己的代码中调用的就是 printf,printf 本来是往显示器打印的,

现在不往显示器打了,而是写到了文件里,它的 "方向" 似乎被改变了。

这不就是重定向吗?

2、dup2 函数

上面的一堆数据,都是内核数据结构,只有 OS 有权限,所以其必须提供对应接口,比如 dup。

除了 dup,还有有一个 dup2,后者更复杂一些,我们今天主要介绍 dum2 来进行重定向操作!

man dup2

dup2 可以让 newfd 拷贝 oldfd,如果需要可以将 newfd 先关闭。

newfd 是 oldfd 的一份拷贝,将后者 (newfd) 的内容写入前者 (oldfd),最后只保留 oldfd。

                                                        \textrm{oldfd}\leftarrow\textrm{ newfd} 

 

至于参数的传递,比如我们要输出重定向 (stdout) 到文件中:

我们要重定向时,本质是将里面的内容做改变,所以是要把 fd 的内容拷贝到 1 中的:

当我们最后进行输出重定向的时候,所有的内容都和 fd 的内容是一样的了。

所以参数在传递时,oldfd 是 fd,所以应该是 dum2(fd, 1);

dum2(fd, 1);  ✅
dum2(1, fd);  ❌

因为要将显示器的内容显示到文件里,所以 oldfd 就是 fd,newfd 就是 1 了。

注意事项:dum2() 接口在设计时非常地反直觉,所以在理解上特比容易乱,搞清楚原理!

 代码演示:dup2() 

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h> 
#include <fcntl.h>
#include <unistd.h>int main(void)
{int fd = open("log.txt", O_WRONLY | O_CREAT | O_TRUNC, 0666);if (fd < 0) {perror("open");return 0;}dup2(fd, 1);   //   fd ← 1fprintf(stdout, "打开文件成功,fd: %d\n", fd);// 暂时不做讲解,后面再说fflush(stdout);close(fd);return 0;
}

运行结果:

 

3、 追加重定向

追加重定向只需要将我们 open 的方式改为 O_APPEND 就行了。 

int main(void)
{// 追加重定向只要将我们打开文件的方式改为 O_APPEND 即可int fd = open("log.txt", O_WRONLY | O_CREAT | O_APPEND, 0666);if (fd < 0) {perror("open");return 0;}dup2(fd, 1);fprintf(stdout, "打开文件成功,fd: %d\n", fd);fflush(stdout);close(fd);return 0;
}

 运行结果如下:

4、输入重定向 

之前我们是如何读取键盘上的数据的?

int main(void)
{int fd = open("log.txt", O_RDONLY);if (fd < 0) {perror("open");return 0;}// 读数据char line[64];while (fgets(line, sizeof(line),stdin) != NULL) {printf("%s\n", line);}fflush(stdout);close(fd);return 0;
}

 现在我们使用输入重新的,说白了就是将 "以前从我们键盘上去读" 改为 "在文件中读"。

代码演示:所以我们将 open 改为 O_RDONLY,dup(fd, 0) : 

int main(void)
{// 输入重定向int fd = open("log.txt", O_RDONLY);if (fd < 0) {perror("open");return 0;}// 将本来从键盘上读 (0),改为从文件里读(3)dup2(fd, 0);// 读数据char line[64];while (fgets(line, sizeof(line),stdin) != NULL) {printf("%s\n", line);}fflush(stdout);close(fd);return 0;
}

运行结果如下:

三、缓冲区的理解(Cache) 

思考几个问题:

什么是缓冲区?为什么要有缓冲区?缓冲区在哪里?

对于缓冲区的概念,我们在 "进度条实现" 的插叙章节中有做探讨,但只是一个简单的讲解。

我们对缓冲区有一个共识,也知道它的存在,但我们还没有去深入理解它。

我们先来探讨第一个问题:

  1. 什么是缓冲区?缓冲区的本质就是一段内存。
  2. 为什么要有缓冲区?为了 解放使用缓冲区的进程时间。缓冲区的存在可以集中处理数据刷新,减少 IO 的次数,从而达到提高整机的效率的目的。
  3. 缓冲区在哪里?我们写一段代码来感受 "缓冲区" 的存在!
     

代码演示:用 printf 和 write 各自打印一段话 

  1 #include <stdio.h>  2 #include <sys/stat.h>  3 #include <sys/types.h>  4 #include <unistd.h>  5 #include<string.h>                                                                                                                                 6   7 int main(void)                         8 {                                               9     printf("Hello printf\n");   // stdout -> 1  10     const char* msg = "Hello write\n";          11     write(1, msg, strlen(msg));         12                                        13     sleep(5);    // 休眠五秒           14                                        15     return 0;                          16 }     

运行结果:

 

 但是,如果我们去除 \n,我们就会发现 printf 的内容没有被立马打印,而 write 立马就出来了:

 

运行结果:

为什么sleep5s之后,才打印出hello printf????

1、语言级缓冲区

首先,我们要知道:printf 内部就是封装了 write!

printf 里打印的内容 "Hello printf" 实际上是在缓冲区里的,printf 不显示的原因是没有带 \n,数据没有被立即刷新,所以 sleep 时 printf 的内容没有被显示出来。 

此时如果我们想让他刷新,可以手动加上 fflush(stdout) 刷新一下缓冲区。

至此我们说明了,printf 没有立即刷新的原因,是因为有缓冲区的存在。

可是,write 是立即刷新的!既然 printf 又封装了 write,那么缓冲区究竟在哪?

这个缓冲区一定不在 write 内部,因为如果这个缓冲区是函数内部提供的,那么直接刷新出来了。

所以这个缓冲区它只能是 C 语言提供的,该缓冲区是一个 语言级缓冲区 (语言级别的缓冲区) 。

我们再演示一次,这次选用 C 库函数 printf, fprintf 和 fputs,系统调用接口 write,观察其现象。

💬 代码演示:老样子,首先给它们都带上 \n

#include <stdio.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>
#include <string.h>
int main(void)
{// 给它们都带上 \nprintf("Hello printf\n");    // stdout -> 1fprintf(stdout, "Hello fprintf!\n");fputs("Hello fputs!\n", stdout);const char* msg = "Hello write\n";write(1, msg, strlen(msg));sleep(5);return 0;
}

运行结果:

代码演示:现在我们再把 \n 去掉:

运行结果:

此时结果是只有 write 内容先出,当退出时 printf, fprint, fputs 的东西才显示出来。

然而 write 无论带不带 \n 都会立马刷新,也就是说,只要 printf, fprint, fputs 调了 write 数据就一定显示。 我们继续往下深挖,stdout 的返回值是 FILE,FILE 内部有 struct,封装很多的成员属性,其中就包括 fd,还有该 FILE 对应的语言级缓冲区。

C 库函数 printf, fwrite, fputs... 都会自带缓冲区,但是 write 系统调用没有带缓冲区。

我们现在提及的缓冲区都是用户级别的缓冲区,为提高性能,OS 会提供相关的 内核级缓冲区

库函数在系统调用的上层,是对系统调用做的封装,但是 write 没有缓冲区,这说明了:

该缓冲区是二次加上的,由 C 语言标准库提供,我们来看下 FILE 结构体:

 放到缓冲区,当数据积累到一定程度时再刷。

2、fflush 是怎么运行的? 

如果在刷新之前关闭了 fd,会有什么问题?

int main(void)
{printf("Hello printf");    // stdout -> 1fprintf(stdout, "Hello fprintf!");fputs("Hello fprintf!", stdout);const char* msg = "Hello write";write(1, msg, strlen(msg));close(1);   // 直接把内部的文件关掉了,看你怎么刷sleep(5);return 0;
}

 运行结果:

之前的代码示例中,为了解决这个问题,我们用 fflush 冲刷缓冲区让数据 "变" 了出来:

int main(void)
{close(1);int fd = open("log.txt", O_WRONLY | O_CREAT | O_TRUNC, 0666);if (fd < 0) {perror("open");return 1;}printf("fd: %d\n", fd);fflush(stdout);close(fd);
}

运行结果:

重定向到文件中时不用 fflush,直接调 close 文件显示不出来的原因是:数据暂存到了缓冲区。

既然缓冲区在 FILE内部,在 C 语言中,我们每一次打开一个文件,都要有一个 FILE* 会返回。

这就意味着,每一个文件都有一个 fd 和属于它自己的语言级别缓冲区。

3、缓冲区的刷新策略 

 刷新策略,即什么时候刷新,刷新策略分为常规策略 和 特殊情况。

常规策略:

  • 无缓冲 (立即刷新)   
  • 行缓冲 (逐行刷新)   
  • 全缓冲 (缓冲区打满,再刷新)

特殊情况:

  • 进程退出
  • 用户强制刷新(即调用 fflush)

下面我们运行一组代码:

#include <stdio.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>int main(void)
{const char* str1 = "hello printf\n";const char* str2 = "hello fprintf\n";const char* str3 = "hello fputs\n";const char* str4 = "hello write\n";// C 库函数printf(str1);fprintf(stdout, str2);fputs(str3, stdout);// 系统接口write(1, str4, strlen(str4));// 调用完了上面的代码,才执行的 forkfork();return 0;
}

运行结果如下:

到目前为止还很正常,四个接口分别输出对应的字符串,打印出 4 行,没问题。

但如果我们此时重定向,比如输入 ./myfile > log.txt,怪事就发生了!log.txt 中居然有 7 条消息:

 

解读:当我们重定向后,本来要显示到显示器的内容经过重定向显示到了文件里,

  • 如果对应的是显示器文件,刷新策略就是 行刷新 
  • 如果是磁盘文件,那就是 全刷新,即写满才刷新

然而这里重定向,由显示器重定向到了文件,缓冲区的刷新策略由 "行缓冲" 转变为 "全缓冲"。 

文件中有 7 条,printf 出现 2 次,fprintf 出现 2 次,fputs 出现 2 次,但是 write 只有一次,

这和缓冲区有关,因为 write 压根不受缓冲区的影响。

fork 要创建子进程,之后父子进程无论谁先退出,它们都要面临的问题是:父子进程刷新缓冲区

 刷新的本质:把缓冲区的数据 write 到 OS 内部,清空缓冲区。

这里的 "缓冲区" 是自己的 FILE 内部维护的,属于父进程内部的数据区域。

所以当我们刷新时,代码和数据要发生写实拷贝,即父进程刷一份,子进程刷一份,

因而导致上面的现象,printf, fprintf, fputs 刷了 2 次到了 log.txt 中。
 

 还有一点点,我们下次再讲,感谢阅读!!!!!!!!!

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/604021.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

XSS(跨站脚本攻击)漏洞介绍

简介 XSS(跨站脚本攻击)是一种常见的计算机安全漏洞,也是Web应用中最主流的攻击方式之一。它利用网站接收用户提交数据时未进行足够的转义处理或过滤不足的缺点,将恶意代码嵌入到Web页面中。当其他用户访问该页面时,嵌入的代码会被执行,从而导致盗取用户资料、利用用户身…

《EnlightenGAN: Deep Light Enhancement withoutPaired Supervision》论文超详细解读(翻译+精读)

前言 最近学习低照度图像增强时读到这篇EnlightenGAN的论文觉得写得很有意思&#xff0c;讲故事的手法也很值得小白写论文时模仿&#xff0c;今天就来带大家读一下~ 目录 前言 ABSTRACT—摘要 翻译 精读 一、INTRODUCTION—简介 翻译 精读 二、RELATED WORKS—相关工…

【数据仓库与联机分析处理】多维数据模型

目录 一、数据立方体 二、数据模型 &#xff08;一&#xff09;星形模型 &#xff08;二&#xff09;雪花模式 &#xff08;三&#xff09;事实星座模式 三、多维数据模型中的OLAP操作 &#xff08;一&#xff09;下钻 &#xff08;二&#xff09;上卷 &#xff08;三…

oracle数据迁移到mysql

项目场景&#xff1a; 需要更换数据库 问题描述 导入导出脚本。不能满足需求 解决方案&#xff1a; 使用阿里巴巴的yugong 阿里巴巴去Oracle数据迁移同步工具(全量增量,目标支持MySQL/DRDS) GitHub - alibaba/yugong: 阿里巴巴去Oracle数据迁移同步工具(全量增量,目标支持MyS…

Leetcode 第 121 场双周赛 Problem D 统计强大整数的数目(Java + 记忆化搜索的数位 DP 模板 + 特判)

文章目录 题目思路Java 记忆化搜索的数位 DP 模板 特判第 1 步&#xff1a;第 2 步&#xff1a;第 3 步&#xff1a; 复杂度Code 题目 Problem: 100163. 统计强大整数的数目给你三个整数 start &#xff0c;finish 和 limit 。同时给你一个下标从 0 开始的字符串 s &#xf…

postman设置下载文件大小限制

问题 本地写了一个下载文件的接口&#xff0c;调用postman测试的时候&#xff0c;小文件可以&#xff0c;但时大文件就会报错&#xff0c;postman提示&#xff1a; 解决方案 点击postman的设置按钮&#xff0c;点击【Settings】&#xff0c;在打开的弹窗中选择【General】Tab…

三菱plc学习入门(二,三菱plc指令,触点比较,计数器,交替,四则运算,转换数据类型)

今天&#xff0c;进行总结对plc的学习&#xff0c;下面是对plc基础的学习&#xff0c;希望对读者有帮助&#xff0c;欢迎点赞&#xff0c;评论&#xff0c;收藏&#xff01;&#xff01;&#xff01; 目录 触点比较 当数据太大了的时候&#xff08;LDD32位&#xff09; CMP比…

1874_曲轴位置传感器

Grey 全部学习内容汇总&#xff1a; GitHub - GreyZhang/g_ECU_hacking: some learning notes about ECU(engine control unit) hacking. 1874_曲轴位置传感器 功能描述 综述 发动机控制处理中&#xff0c;曲轴位置传感器是非常关键的一个信息。这里先从基本的功能上&…

如何设计企业级业务流程?学习华为的流程六级分类经验

业务流程管理&#xff08;BPM&#xff09;是一种系统化的方法&#xff0c;用于分析、设计、执行、监控和优化组织的业务流程&#xff0c;以实现预期的目标和价值。业务流程管理中&#xff0c;流程的分级方法有多种&#xff0c;常见的有以下几种&#xff1a; APQC的流程分级方法…

【Verilog】基于Verilog的DDR控制器的简单实现(一)——初始化

在FPGA中&#xff0c;大规模数据的存储常常会用到DDR。为了方便用户使用&#xff0c;Xilinx提供了DDR MIG IP核&#xff0c;用户能够通过AXI接口进行DDR的读写访问&#xff0c;然而MIG内部自动实现了许多环节&#xff0c;不利于用户深入理解DDR的底层逻辑。 本文以美光(Micro…

(leetcode)Z字形变换 -- 模拟算法

个人主页&#xff1a;Lei宝啊 愿所有美好如期而遇 题目链接 . - 力扣&#xff08;LeetCode&#xff09; 输入描述 string convert(string s, int numRows)&#xff0c;输入一个字符串s&#xff0c;以及一个行数numRows&#xff0c;将字符串按照这个行数进行Z字形排列&…

vue项目接入滑动验证码

前言 本文教你基于Node.js环境&#xff0c;在vue项目中如何接入KgCapctah。 准备工作 访问凯格行为验证码官网&#xff0c;注册账号后登录控制台&#xff0c;访问“无感验证”模块&#xff0c;申请开通后系统会分配给应用一个唯一的AppId、AppSecret。凯格提供后端SDK来校验…

Python 面向对象知识点补充

Python 面向对象知识点补充 【一】Mixins机制 【1】概念 Mixins&#xff1a;是一种在面向对象编程中&#xff0c;通过组合多个类的特称来创建一个新类的技术核心机制&#xff1a;就是在多继承的背景下尽可能地提升多继承的可读性通过命名规范来满足人的思维习惯&#xff08;…

Java:File类详解

文章目录 1、概述2、创建File实例3、常用方法3.1 获取功能的方法3.2 绝对路径和相对路径3.3 判断功能的方法3.4 创建删除功能的方法3.5 文件过滤功能的方法 4、文件夹的遍历5、综合练习5.1 创建文件夹5.2 查找文件&#xff08;不考虑子文件夹&#xff09;5.3 查找文件&#xff…

一些数字设计及验证的笔试题(6)

一些数字设计及验证的笔试题汇总&#xff0c;仅供参考。 文章目录 一、什么是亚稳态&#xff1f;如何改善&#xff1f; 二、C语言下列关系符号中&#xff0c;优先级最低的是哪个&#xff1f; 三、下面哪种不属于Vim编辑器的工作模式&#xff1f; 四、在以下的哪个timescale…

python爬虫,简单的requests的get请求,百度搜索实例

1、百度搜索实例 import requests url https://www.baidu.com/s? # key_word 迪丽热巴 key_word input(输入搜索内容&#xff1a;) headers {User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537…

来瞅瞅Java 11都有啥新特性

第1章&#xff1a;引言 大家好&#xff0c;我是小黑&#xff01;今天小黑要和咱们聊聊Java 11&#xff0c;这个在Java发展史上占有一席之地的版本。说起Java&#xff0c;咱们都知道&#xff0c;它是一门历史悠久又持续发展的编程语言。Java不仅因其“一次编写&#xff0c;到处…

Sentinel限流熔断

官网&#xff1a;https://sentinelguard.io/zh-cn/docs/introduction.html github文档&#xff1a;https://github.com/alibaba/Sentinel/wiki Sentinel 是一款面向分布式服务架构的轻量级流量控制组件&#xff0c;主要以流量为切入点&#xff0c;从流量控制、 熔断降级 、系…

百度地图打点性能优化(海量点、mapv)

文章目录 百度地图打点性能优化&#xff08;海量点、mapv&#xff09;原因优化方法数据获取方面页面加载方面 参考资料 百度地图打点性能优化&#xff08;海量点、mapv&#xff09; 原因 在百度地图api中&#xff0c;默认的点是下图的红点 而这种点位比较多的时候&#xff0c…

61、python - 手写卷积、bn、池化、全连接、激活、ResBlock

这篇算是一个总结,之前的原理部分在介绍各个算法时候,已经加入了每个算法的代码编写介绍。 给出的示例是用 python 语法来实现的,也是实现的最基础的版本,这也是我们手写算法的初衷:不调用其他的三方库,从最基础的手写算法开始,一步步完成算法实现和性能优化,这样可以…