重定向原理和缓冲区

文章目录

  • 重定向
  • 缓冲区

正文开始前给大家推荐个网站,前些天发现了一个巨牛的 人工智能学习网站, 通俗易懂,风趣幽默,忍不住分享一下给大家。 点击跳转到网站。

重定向

内核中为了管理被打开的文件,一定会存在描述一个文件的file结构体,这个结构体中大概有什么呢?
我们知道文件=文件内容 + 文件属性,所以file结构体中一定会存在打开文件的各种属性,其次它也一定存在自己的读写方法,也就是方法集,文件的内容是存在在磁盘中的,所以file中又一个属于内核级别的文件缓冲区,所以当我们读写文件的时候,是需要把文件的内容拷贝到文件缓冲区中的,然后如果读文件就把缓冲区中的内容拷贝到我们自己的定义的缓冲区中,如果写或者修改的话就把内容拷贝到内核缓冲区中,然后刷新到磁盘,所以我们在应用层进行的数据读写的本质就是将内核缓冲区的内容进行来回拷贝。不管是读文件还是写文件都需要先把内容拷贝到文件缓冲区。

fd的分配规则
进程是默认打开了0,1,2文件描述符的,我们在打开一个文件fd就是3,如果我们关闭了1,然后在进行打开文件,那么新打开的文件fd就是1,所以文件描述符的分配规则是遍历文件fd表,寻找最小的没有被使用的位置,然后分配给打开的文件。

重定向原理

重定向的就是把本来应该打印到显示器的内容打印了文件中,而往显示器打印本质就是想显示器文件打印,因为C语言中的标准输入输出本质就是封装了fd0和1,所以我们利用文件描述符的分配规则就可以自己实现一个简单的重定向功能。
如果我们要实现一个输出重定向的话,我们只需要把fd1关了,然后再打开一个文件,然后我们往显示器中打印内容,就会往fd1中打印,但是现在文件1指向的是我们自己新打开的文件。输入同理。

#include <stdio.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>int main()
{close(1);int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC , 0666);if(fd < 0) return -1;printf("hello printf\n");fflush(stdout);close(fd);return 0;
}

在这里插入图片描述
所以通过这种方式我们就可以自己实现一个输出重定向。但是我们每次都要自己关闭1号文件描述符,这样太麻烦了,那么如果存在一种可以把我们打开的文件的fd内容覆盖1号下标的内容就可以实现这个技术,所以重定向的本质就是修改文件描述符表。对于用户来说,fd是不变的,但是fd指向的内容改变了。系统中有一个函数dup2就可以实现这个功能。
在这里插入图片描述
dup2就可以让oldfd覆盖到newfd。对于被覆盖的文件,OS会自动帮你关闭的,所以我们通过这种方式也可以实现重定向功能。
以输入重定向为例:
dup2(fd,0)就可以实现下图的效果。
在这里插入图片描述
所以重定向的本质就修改文件描述符指向的内容,命令行级别的只需要对字符串进行特定的解析,然后调用dup2函数就可以实现重定向功能。程序替换时不会影响重定向的,因为程序替换只会替换代码和数据,对于进程的PCB是不影响的,所以对于PCB指向的文件fd

#include <stdio.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>int main()
{int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC , 0666);if(fd < 0) return -1;//使用dup2dup2(fd,1);printf("hello hello\n");close(fd);return 0;
}

在这里插入图片描述
如果是对于追加和输入重定向的话,我们只需要控制一些打开文件时,打开的方式就可以实现,和输出同理。

我们知道标准输入和标准输出是我们平时使用必不可少的东西,所以系统会帮我们自动打开,这都没毛病,但是标准错误是什么东西??

#include <stdio.h>
int main()
{printf("i am printf\n");perror("i am perror ");return 0;
}

如果我们直接运行:
在这里插入图片描述
如果我们重定向一下:
在这里插入图片描述
可以通过这种方式把标准输出和标准错误打印的东西分开打印,perror和cerr都是向标准错误中打印,我们可以通过重定向把标准输出和标准错误打印的东西分别打印到不同的文件方便调试。

打印到同一个文件
在这里插入图片描述
打印到不同文件:
在这里插入图片描述

缓冲区

什么是缓冲区?
缓冲区的本质就是一快内存,用来存放数据的。

为什么要有缓冲区?
缓冲区的主要作用就是提高效率,谁使用缓冲区就提供谁的效率,因为有缓冲区的存在,我们在写一些东西的时候一定会涉及I/O操作,就一定会访问硬件,所以通过缓冲区累计一部分数据后再进行发送会远远比每次都进行I/O的效率要高很多。可以提高发送的效率。

缓冲区能够缓存一定的数据,就一定会存在自己的刷新策略:

  1. 全缓冲(缓冲区满了,在进行刷新)
  2. 行缓冲(行刷新)
  3. 无缓冲(立即刷新)

这三种是一般的策略,用户也可以通过fflush这样的函数来进行强制的刷新,并且在进程结束的时候,一般都要进行缓冲区的刷新的。一般对于显示器文件来说是行刷新,对于普通的磁盘文件是全刷新的。

我们可以通过一个样例来证明一下这个缓冲区的存在:

#include <stdio.h>
#include <unistd.h>
#include <sys/types.h>
#include <string.h>int main()
{printf("hello printf\n");fprintf(stdout, "hello fprintf\n");fputs("hello fputs\n", stdout);char buffer[1024] = "hello write\n";write(1,buffer,strlen(buffer));pid_t id = fork();return 0;
}

这个代码很简单就不解释了,我们先直接运行一下,然后在重定向一下,看结果:

在这里插入图片描述
那么为什么会出现这个现象呢?

  1. 当我们直接运行的时候我们调用的所有接口都是向显示器文件打印,而显示器文件的刷新方式是行刷新,而我们所有的打印后面都有‘\n’,所以在fork()之前,我们的数据都已经被刷新了,包括write系统调用。
  2. 当我们重定向的时候,本质已经是向磁盘文件中打印了,不是向显示器文件打印了,所以刷新方式已经变成了全缓冲。
  3. 全缓冲就意味着缓冲区很大,当我们fork的时候,我们实际写入的数据很少,不足以把缓冲区打满,所以当fork的时候数据仍然在缓冲区中。
  4. 我们可以看到,重定向之后,只有C语言的接口打印了两次,而write系统调用只打印了一次,所以我们目前说的缓冲区是C语言提供的,和操作系统没有任何关系。也侧面证明了exit和_exit的区别,一个C语言提供的,程序退出刷新缓冲区,一个系统调用,不刷新缓冲区,所以这个缓冲区一定是C语言提供的。
  5. C/C++提供的缓冲区,里面保存的一定是我们用户的数据,只要我们不刷新,这个数据就属于我们用户,但是如果我们把缓冲区的数据写入了OS中,那么这部分数据就不属于我们了,而是属于OS。
  6. 当进程退出时一般都要刷新缓冲区,即使没有达到刷新的条件。而刷新的本质即使清空缓冲区,清空也是写入。所以当我们重定向向文件中打印的时候,系统调用会先先打,而C语言提供的接口打印的东西都还在C语言提供的缓冲区中,当我们fork创建子进程后,子进程会继承父进程的大部分数据,当子进程或者父进程退出时,退出的一方要刷新缓冲区,也就是写入,由于父子之间具有独立性,就要发生写时拷贝,这时,就出现了上面C语言接口打印两次的情况。

我们之前说过文件也有自己的文件缓冲区,也就是内核缓冲区,所以C语言的缓冲区和内核缓冲区的关系就是我们平时先把数据拷贝到C语言的缓冲区,根据刷新的机制在刷新到文件缓冲区,然后OS根据自己的安排定时刷新到磁盘。所以文件读写的本质就是来回拷贝。
在这里插入图片描述
从用户缓冲区拷贝到文件缓冲区的过程就是我们平时说的刷新。
我们在使用C语言的I/O接口是,都会接触FILE结构体,就连默认打开的3个流都是FILE指针类型。
在这里插入图片描述
因此C语言提供的缓冲区就是在FILE结构体中。所以FILE中不仅封装了fd文件描述符,还封装了缓冲区。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/823755.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ESP8266闪存文件系统(SPIFFS)

开发环境&#xff1a; 1、安装ESP8266的开发环境&#xff0c;如Arduino IDE。 2、下载并安装ESP8266的相关开发库和工具。 我们使用的是Arduino IDE。 基本介绍&#xff1a; 每一个ESP8266都配有一个闪存&#xff0c;这个闪存很像是一个小硬盘&#xff0c;我们上传的文件就被…

MCU最小系统晶振模块设计

单片机的心脏&#xff1a;晶振 晶振模块 单片机有两个心脏&#xff0c;一个是8M的心脏&#xff0c;一个是32.768的心脏 8M的精度较低&#xff0c;所以需要外接一个32.768khz 为什么是8MHZ呢&#xff0c;因为内部自带的 频率越高&#xff0c;精度越高&#xff0c;功耗越大&am…

[Java EE] 多线程(二): 线程的创建与常用方法(下)

2.3 启动一个线程–>start() 之前我们已经看到了如何通过重写run()方法来创建一个线程对象,但是线程对象被创建出来并不意味着线程就开始运行了. 覆写run方法是给线程提供了所要做的事情的指令清单创建线程对象就是把干活的人叫了过来.而调用start方法,就是喊一声"行…

贪心法确定补水地点

贪心算法是一个简单有趣的算法&#xff0c;它总是做出当前看来最好的选择&#xff0c;每次的局部最优选择最终可以产生整体最优解或整体最优解的近似。本文将介绍如何用贪心法解决补水问题。 1. 补水问题 2升水可以走 k k k英里&#xff0c;水站可以把水补满为2升&#xff0c…

【五十四】【算法分析与设计】Manacher算法,Manacher算法作用,Manacher算法流程,Manacher算法证明,Manacher算法代码

Manacher算法作用 1. 给你一个字符串str&#xff0c;要你求这个字符串的最长回文子串的长度&#xff0c;或者求这个字符串的最长回文子串在str中开始位置的下标。 2. 暴力解法&#xff0c;中心扩散算法&#xff0c;时间复杂度O(N*2)。Manacher算法可以用O(N)解决这个问题。…

鸿蒙相关岗位需求突增!你具体知道都有哪些岗位吗?

1 月 18 日&#xff0c;鸿蒙 Next 预览版面向开发者正式开放申请。至此&#xff0c;鸿蒙原生应用版图已成型&#xff0c;这个中国自主研发的操作系统&#xff0c;正式走上了独立之路。 随后迎来了不少互联网公司与华为鸿蒙原生应用达成了合作&#xff0c;像我们常见的阿里、京…

【Android GUI】FramebufferNativeWindow与Surface

文章目录 显示整体体系FramebufferNativeWindowFramebufferNativeWindow构造函数 dequeueBufferSurface总结参考 显示整体体系 native window为OpenGL与本地窗口系统之间搭建了桥梁。 这个窗口系统中&#xff0c;有两类本地窗口&#xff0c;nativewindow1是能直接显示在屏幕的…

上班族副业指南:六种实用赚钱途径

在现今竞争激烈的社会中&#xff0c;许多上班族都选择开辟副业来增加收入与实现自我价值。副业不仅能够增强经济安全感&#xff0c;还能满足个人兴趣爱好&#xff0c;并为未来铺设更坚实的财务基石。本文将为你揭示六种适合上班族的副业选择&#xff0c;帮助你找到最适合自己的…

JookDB下载安装使用

天行健&#xff0c;君子以自强不息&#xff1b;地势坤&#xff0c;君子以厚德载物。 每个人都有惰性&#xff0c;但不断学习是好好生活的根本&#xff0c;共勉&#xff01; 文章均为学习整理笔记&#xff0c;分享记录为主&#xff0c;如有错误请指正&#xff0c;共同学习进步。…

CUDA优化入门

本文记录了我的cuda学习经历&#xff0c;和大多数人一样&#xff0c;通过优化矩阵乘法的过程来了解一些基本的概念。仓库链接&#xff1a; GiteeGithub Refences NVIIDA Fermi Architecture WhitepaperCUDA C Programming GuideCUDA C Best Practices Guide 其中Fermi架构是…

LINUX中使用cron定时任务被隐藏,咋回事?

一、问题现象 线上服务器运行过程中&#xff0c;进程有莫名进程被启动&#xff0c;怀疑是有定时任务自动启动&#xff0c;当你用常规方法去查看&#xff0c;比如使用crontab去查看定时器任务&#xff0c;提示no crontab for root 或者使用cat到/var/spool/cron目录下去查看定时…

反射

目录 01、Java反射机制概述1.1、使用反射&#xff0c;实现同上的操作、调用私有属性 02、理解Class类并获取Class实例2.1、Class类的理解2.2、获取Class实例的4种方式2.3、Class实例对应的结构的说明 03、ClassLoader的理解3.1、ClassLoader的理解3.2、使用ClassLoader加载配置…

20240329-2-树模型集成学习TreeEmbedding

树模型集成学习 集成学习主要有两个思想&#xff0c;分别是bagging和boosting。树模型的集成模型都是使用树作为基模型&#xff0c;最常用的cart树&#xff0c;常见的集成模型有RandomForest、GBDT、Xgboost、Lightgbm、Catboost。 概要介绍 RandomForest 随机森林(Random …

Java面试八股之JDK和JRE的区别

JDK和JRE的区别 定义&#xff1a;JDK&#xff08;Java Development Kit&#xff09;是Java开发工具包的缩写&#xff0c;它是Java开发人员必备的工具。JDK包含了编译器(javac)、Java虚拟机(JVM)和Java类库等开发工具和资源。它提供了开发、编译、调试和运行Java程序所需的一切…

LeetCode 2924.找到冠军 II:脑筋急转弯——只关心入度

【LetMeFly】2924.找到冠军 II&#xff1a;脑筋急转弯——只关心入度 力扣题目链接&#xff1a;https://leetcode.cn/problems/find-champion-ii/ 一场比赛中共有 n 支队伍&#xff0c;按从 0 到 n - 1 编号。每支队伍也是 有向无环图&#xff08;DAG&#xff09; 上的一个节…

L2-2 老板的作息表

新浪微博上有人发了某老板的作息时间表&#xff0c;表示其每天 4:30 就起床了。但立刻有眼尖的网友问&#xff1a;这时间表不完整啊&#xff0c;早上九点到下午一点干啥了&#xff1f; 本题就请你编写程序&#xff0c;检查任意一张时间表&#xff0c;找出其中没写出来的时间段…

nginx安装在linux上

nginx主要用于反向代理和负载均衡&#xff0c;现在简单的说说如何在linux操作系统上安装nginx 第一步&#xff1a;安装依赖 yum install -y gcc-c pcre pcre-devel zlib zlib-devel openssl openssl-devel 第二步&#xff1a; 下载nginx&#xff0c;访问官网&#xff0c;ngin…

加速催化剂设计,上海交大贺玉莲课题组基于 AutoML 进行知识自动提取

日常生活中&#xff0c;「催化」是最为常见的化学反应之一。比如&#xff0c;酿酒酿醋的本质&#xff0c;就是粮食中的淀粉在微生物酶的催化作用下&#xff0c;转变成酒精和醋酸的过程。 用更为学术的说法——在化学反应里能改变反应物反应速率&#xff08;既能提高也能降低&a…

51单片机工程模板的建立(基于STC15系列库)

一、开启前准备 1.STC15官方库文件 1.1 stc15-software-lib-v1.0.rar&#xff1b;下载地址&#xff1a;STC15系列库&#xff08;带使用手册&#xff09;资源-CSDN文库 2.Keil4_C51软件&#xff0c;或其它版本&#xff1b; 二、创建工程模板 1.建立文件分类 listing&#xf…

干货!微信小程序通过NodeJs连接MySQL数据库

在前后端数据库架构的思维中&#xff0c;微信小程序的生态地位是充当前端&#xff0c;后端和数据库还需开发者另外准备。微信开放社区提供强悍的云函数、云数据库、CMS内容管理&#xff0c;无疑为开发小程序的功能提供了不少便捷。 当我们在开发PC端的系统时&#xff0c;常见的…