【Linux笔记】文件描述符与重定向

一、Linux关于文件操作的一些系统调用

1、open和close

我们在C语言阶段已经学过很多文件操作的函数,今天我们要来看看操作系统中对于文件是怎么操作的。

1.1、open与close的用法

C语言的库函数中有很多关于文件操作的接口,包括fopen、fclose、fprintf、fput……

但是系统中对于文件操作的系统调用接口就就没有这多多了,今天我们最主要要看的是四个接口:open和close、read和write。

这两个函数顾名思义一个是打开文件的接口一个是关闭文件的接口,他俩的功能和
C语言的fopen和fclose的功能类似。但也有些不同的地方,第一个不同的地方是返回值,C语言的ffopen和flose的返回值是一个IFLE*的结构体指针,但是open和close的返回值是一个整型,这个返回值就是我们后面要细聊的“文件描述符”。

对于open接口,它的三个参数需要解释一下,第一个参数就是我们要打开的文件的路径和文件名,这个其实和C语言中的fopen一样,第二个参数是以什么方式打开,第三个参数是打开文件时的权限。

我们先来看看他俩的基础用法:

这open的第二个参数的传法有点儿奇怪,这其实是一个类似于位图标记的传参方式,我们后面再来简单的解释一下。上面的代码中的O_CREAT | O_RDONLY表示的是文件不存在就创建,并且是以只读方式打开。

而close只需要传一个文件描述符,所以我们现在虽然还没有细讲文件描述符是什么,但是我们可以肯定的是文件描述符一定能定位一个文件。

上面的代码运行后我们当前目录中就创建出来了一个test.txt文件:

1.2、关于open函数第二个参数flags的理解

open接口的第二个参数flags其实就是利用“位图”的思想,以一个参数来达到类似C语言中可变参数列表的传参方式。

我们可以以一个小例子来理解一下:

运行结果:

从上面可以看出,flags传参其实是通过位运算来达到的,因为这里的Print1~4都只有一个比特位为1,而且位置都是互不相同的。所以按位或之后会将阐述flags的对应比特位都置为1,所以Print函数里面在匹配的时候只要对应位置为1的宏都会被匹配上,也就达到了类似传递多个参数的目的啦。

1、read和write

有了open和close我们可以打开和关闭一个文件,那接下来就是要对被打开的文件的进行操作了。

今天主要介绍两个对文件读和写的接口read和write:

先来看看write接口,write的第一个参数表示要将信息写入到哪一个文件描述符中(文件描述符定位一个文件),第二个参数表示信息从哪一个缓冲区中读取,第三个参数表示的是缓冲区的大小。

首先如果要向文件中写入,要先将文件的打开方式添加上O_WRONLY,表示以只写方式打开。

运行之后我们就可以看见文件中就有了我们写入的内容了:

而如果我们修改写入的内容我们会发现一个与C语言的文件操作不太一样的现象:

我们会发现第二次写入的时候,并没有将文件内容清空,而是从文件起始位置开始写,并覆盖原来的内容。不像C语言的fopen以写方式打开每次都会将文件内容清空。

而如果我们将打开文件的方式再加上O_TRUNC,那么在每次写入的时候就会将文件先清空了:

如果我们将O_TRUNC改成O_APPEND,那么写入的方式就变成了“追加”:

既然我们可以向文件中写入,那肯定就能向文件中读取了,这就要用到read接口了:

read的参数和write的参数一样,第一个参数fd表示要从哪一个文件描述符中读取,第二个参数表示要将内容读取到哪一个缓冲区中,第三个参数表示缓冲区的大小。

首先如果要想从文件中读取数据,先要将文件的打开方式修改成O_RDONLY,表示易只读方式打开。

运行后我们就可以在命令行中打印出来文件中的内容了:

二、文件描述符的本质

1、操作系统怎么管理被打开的文件

在了解文件描述符的本质之前,我们先打印出文件描述符看看,它是个什么数字:

我们看到当前的文件描述符是3,是一个小整数。

不急,既然进程可以打开一个文件,那么进程就一定能打开多个文件,我们打开多个文件试试,看看多个文件的文件描述符是怎样的:

从结果中我们可以看出,文件描述符都是一些小整数,并且是按顺序的,先打开的文件的文件描述符就小,后打开的就大。

文件描述符的本质:

既然操作系统是管理硬件资源和软件资源的系统软件,而我们打开的文件在没被使用时存住在磁盘中,属于硬件资源,被打开时我们知道先将文件内容加载到内存,也属于硬件资源。所以操作系统肯定也要将被打开的文件进行管理。

那怎么管理呢?我们知道操作系统也还是C语言写的,所以操作系统管理资源其实也就是通过C语言编程管理资源,那就“先描述,再组织”咯。

所以操作系统会为每个被打开的文件创建一个类型为struct file的结构体对象,这个file对象里存储着许多该文件的信息,大小、创建时间、位置(磁盘位置)、修改时间等等。并且它们之间是以双向链表的形式连接起来的:

那这是操作系统做的事,我们的进程又怎么找到它打开的文件所对应的struct file结构体呢?

我们知道操作系统会为每个运行的进程创建一个构造一个testk_struct的结构体对象,这个对象中存着很多管理进程相关的信息,而其中一个与我们今天所讲的文件相关的就是一个类型为struct flies_strcut* 类型的结构体指针,该结构体指针指向的是一个类型为struct file_struct类型的结构体对象,这个结构体对象就是一个“进程描述符表”:

而这个文件描述符表里面最重要的一个成员就是一个类型为struct file* fd_array[]指针数组,这个指针数组中存的就是一个一个指向该进程打开文件的struct file对象的指针:

有数组就有下标。

所以,文件描述符的本质其实就是一个数组的下标,这个数组就是文件描述符表中的struct file* fd_array[]数组。

所以进程在访问对应的文件的时候,其实是先拿着文件描述符找到文件描述符数组中对应下标中的地址,再通过地址找到对应的struct file对象,再通过这个对象访问到磁盘中的文件。

三、重定向

1、先看看重定向的现象

Linux操作系统中有一些指令,可以将原本要打印到命令行中的内容打印到一个文件中,这个其实就是我们今天要讲的重定向——输出重定向:

上面的结果就是直接将,ls的内容打印到了test.txt文件中,而如果我们只输入一个> test.txt指令,会发现原来的文件内容被清空了:

所以,虽然我们现在还没讲重定向的原理,但是我们可能能推断出,输出重定向也是一定是要先打开文件,并且打开文件的方式是O_WRONLY | O_TRUNC。

而除了输出重定向外,我们还有一个指令叫做“追加重定向”:

很明显,这个追加重定向在打开文件的时候一定是以O_WRONLY | O_APPEND的方式打开的。

而除了输出重定向>,我们还有一个指令叫做输入重定向,他可以将原本要从键盘中读入并打印到显示器上的操作指令修改成从某一个文件中读取并打印到显示器上。

例如我们有一个指令cat,它单独写的时候其实是从键盘中读入内容再打印到显示器上的:

而如果加上<,它就会先从指定的文件中读取内容,然后再打印到显示器上:

所以我们现在就明白了,我们以前使用的cat指令查看文件内容的时候,其实是执行了一个输入重定向,只是cat后面的<操作符可以省略罢了

2、操作系统会为每个进程默认打开的三个文件

那上面这些重定向的原理是怎么样的?不急,我们还先了解一些一下,操作系统为每一个进程默认打开的三个文件。

不知道大家是否会有一个疑问,就是我们上面打印出来的文件描述符都是从3开始的,而上面说过文件描述符的本质其实就是数组下标,但是数组下标都是从0开始的,那么0、1、2下标到哪去了呢?

可能大家在C语言阶段都知道了,我们C语言程序在运行时候,系统都会默认为我们打开三个文件:标准输入、标准输出、标准错误。也就是stdin、stdout、stderr。

那怎么证明呢?

我们运行程序的时候什么也不做,就打印出这三个文件描述符,操作系统其实是支持我们直接打印出这三个文件的文件描述符的:

我们在学习C语言的时候就知道,stdin这些文件其实就是一个结构体指针,而这个结构体指针执行的结构体之中就有一个_fileno的成员表示的就是改文件的文件描述符。

既然操作系统都帮我们直接打开了,那我们肯定就可以直接使用了,而我们的read和write是可以直接从文件描述符中读取的,所以我们就可以看到下面这样奇怪的现象:

当然我们也可以直接标准输入的文件描述符0配合read接口,读取内容再打印到显示器stdout上:

3、怎么在自己的代码中实现重定向

如果想要在我们写的代码中实现一个重定向,我们先要来看看文件描述符的分配规则,我们已经知道,在一个C语言程序中新打开一个文件,它别分配到的文件描述符是3:

那我们知道,stdin、stdout、stderr是程序启动时候就已经加载了的,并且文件描述符是0、1、2,我们也可以直接使用它们,那我们当然也可以直接关闭它们了!

就那标准输入来说,如果我们直接关闭了标准输入,那么新的开的文件被分配到的文件描述符又是多少呢?

 结果是0,那我们现在直接关闭标准错误,那是不是分配到的文件描述符是2呢?

结果显然是的。

所以现在我们就可以输出一个结论:文件描述符的分配规则是选择最低位置的没有被使用的文件描述符分配!

那如果我们直接关闭标准输出呢?文件描述符是不是1呢?

但是我们看结果怎么什么东西都没有打印呢?

这是因为我们已经把标准输出已经关了,也就是把显示器直接关了!信息当然没有打印到显示器上面了,那信息打印到哪里了呢?

其实信息打印到了文件中了,但是如果我们就以上的代码运行后,查看test.txt文件是看不到任何内容的:

如果想要看到,就必须先要刷新一下“用户级缓冲区”:

其实我们在将内容写到stdout中的时候是并没有直接写到stdout之中的,而是在中间经过了一个C语言提供的用户及缓冲区,只有缓冲区遇到刷新条件的时候才会将内容刷新到stdout中。这个刷新条件其中一个就是程序结束,但是我们这里在程序结束之前其实就将stdout关闭了,所以信息也就没能刷新到stdout中了。(这里的stdout其实是我们打开的test.txt文件)。

所以至此,我们可以再输出一个结论,文件描述符的本质其实就是修改文件描述符表中特定下标内的内容!

如下图:

如上图,我们程序开始运行的时候就已经打开的这三个文件,但是我们一开始就将stdout给关闭了,所以根据文件描述符的分配规则,我们新打开的test.txt文件分配到的文件描述符就是1。

而这个系统对于printf,printf是不知道的,因为printf里面执封装了stdout,或者说pritnf只封装了文件描述符1,所以printf只认文件描述符1。你下层的操作printf都不管,它只知道调用的时候就去文件描述符1里面去读取,所以读到的就是文件test.tx里面的内容。

所以根据上面的结论我们可以将输入重定向给实现出来:

scanf默认是从键盘也就是stdin中读取数据,但现在我们文件描述符1的内容已经变成了test.txt文件的地址了,所以scanf也就去test.txt中读取数据了。

但是每次实现重定向如果都要我们先关闭,对应的标准输入出入中的一个未免有点太麻烦,所以系统也给我们提供了一个文件描述符表级别的数字内容交换接口:

它有两个参数:oldfd和newfd,两个参数都是文件描述符。

而dup2接口的作用就是:让oldfd去覆盖newfd,也就是最后只剩下oldfd。

所以如果我们想要用dup2来实现,输出重定向的话就应该这样写:

同样的,输入重定向我们也可以一键实现了:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/657791.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker容器引擎镜像创建

目录 一、镜像的创建 &#xff08;一&#xff09;基于现有镜像创建 1.启动一个镜像&#xff0c;在容器里做修改 2.将修改后的容器提交为新的镜像 &#xff08;二&#xff09;基于本地模板创建 &#xff08;三&#xff09;基于Dockerfile 创建 1.联合文件系统&#xff08…

五大架构之一:系统架构数据流风格

系统架构数据流风格详细介绍 系统架构数据流风格是一种软件体系结构风格&#xff0c;它强调了系统内部不同部分之间的数据流动。这种风格侧重于描述系统中的数据处理过程&#xff0c;以及数据是如何从一个组件传递到另一个组件的。以下是系统架构数据流风格的详细介绍&#xff…

redisTemplate.opsForValue()

redisTemplate ​在Spring Data Redis中&#xff0c;redisTemplate 是一个非常重要的组件&#xff0c;它为开发者提供了各种操作 Redis 的方法。对于 opsForValue() 方法&#xff0c;它是用来获取一个操作字符串值的操作对象。这意味着你可以使用它来执行各种字符串相关的操作…

[文本挖掘和知识发现] 02.命名实体识别之基于BiLSTM-CRF的威胁情报实体识别万字详解

作者于2023年8月新开专栏——《文本挖掘和知识发现》&#xff0c;主要结合Python、大数据分析和人工智能分享文本挖掘、知识图谱、知识发现、图书情报等内容。这些内容也是作者《文本挖掘和知识发现&#xff08;Python版&#xff09;》书籍的部分介绍&#xff0c;本书预计2024年…

前端面试题-网络请求-http请求方式-http状态码-url地址到浏览器渲染过程-跨域-请求测试工具-http和https

前端面试题-网络请求-http请求方式-http状态码-url地址到浏览器渲染过程-跨域-请求测试工具 http请求方式http的状态码有哪些&#xff1f;分别代表什么意思&#xff1f;从输入一个url地址到浏览器完成渲染的整个过程解决跨域的三种方式请求测试工具-postman的使用http和https h…

公司人才招聘工作开展难点分析

某国有资本运营公司位于北方某省级城市。在2019年&#xff0c;北方某市的当地政府提出组建专业化国有资本投资运营公司&#xff0c;大力开展专业化资本运营&#xff0c;推动国有资本进退留转市场出清和专业化重组的政策方针。为提高国有资产的管理运营能力&#xff0c;该市成立…

KAFKA高可用架构涉及常用功能整理

KAFKA高可用架构涉及常用功能整理 1. kafka的高可用系统架构和相关组件2. kafka的核心参数2.1 常规配置2.2 特殊优化配置 3. kafka常用命令3.1 常用基础命令3.1.1 创建topic3.1.2 获取集群的topic列表3.1.3 获取集群的topic详情3.1.4 删除集群的topic3.1.5 获取集群的消费组列表…

001集—shapefile(.shp)格式详解——arcgis

一、什么是shapefile Shapefile 是一种用于存储地理要素的几何位置和属性信息的非拓扑简单格式。shapefile 中的地理要素可通过点、线或面&#xff08;区域&#xff09;来表示。包含 shapefile 的工作空间还可以包含 dBASE 表&#xff0c;它们用于存储可连接到 shapefile 的要…

1 月 30 日算法练习-思维和贪心

文章目录 重复字符串翻硬币乘积最大 重复字符串 思路&#xff1a;判断是否能整除&#xff0c;如果不能整除直接退出&#xff0c;能整除每次从每组对应位置中找出出现最多的字母将其他值修改为它&#xff0c;所有修改次数即为答案。 #include<iostream> using namespace …

组件如何组织以提升维护性、扩展性

文章目录 一、提升组件的维护性和扩展性1.1、单一职责原则&#xff08;Single Responsibility Principle&#xff09;1.2、松耦合&#xff08;Loose Coupling&#xff09;1.3、高内聚&#xff08;High Cohesion&#xff09;1.4、模块化设计&#xff08;Modular Design&#xff…

从零开始复现GPT2(三):词表,Tokenizer和语料库的实现

源码地址&#xff1a;https://gitee.com/guojialiang2023/gpt2 GPT2 模型词表TokenizerTokenizer 类_normalize 方法_tokenize 方法_CHINESE_CHAR_RANGE 和 _PUNCTUATION_RANGE 数据集语料库TokenizedCorpus 类 模型 词表 定义了一个名为 Vocab 的类&#xff0c;用于处理和管理…

【项目日记(六)】第二层: 中心缓存的具体实现(下)

&#x1f493;博主CSDN主页:杭电码农-NEO&#x1f493;   ⏩专栏分类:项目日记-高并发内存池⏪   &#x1f69a;代码仓库:NEO的学习日记&#x1f69a;   &#x1f339;关注我&#x1faf5;带你做项目   &#x1f51d;&#x1f51d; 开发环境: Visual Studio 2022 项目日…

给准备从事软件开发工作的年轻人的13个建议

从事软件开发是一个不断学习和适应变化的过程。这里有一些针对刚入行或准备从事软件开发工作的年轻人的建议&#xff1a; 掌握基础知识&#xff1a;确保你有扎实的编程基础。了解至少一种编程语言的语法和核心概念&#xff0c;比如C语言、Python、Java或C#。同时&#xff0c;理…

Spring 中获取 Bean 对象的三种方式

目录 1、根据名称获取Bean 2、根据Bean类型获取Bean 3、根据 Bean 名称 Bean 类型来获取 Bean&#xff08;好的解决方法&#xff09; 假设 Bean 对象是 User&#xff0c;并存储到 Spring 中&#xff0c;注册到 xml 文件中 public class User {public String sayHi(){retur…

Meta开源Code Llama 70B,缩小与GPT-4之间的技术鸿沟

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

MIT6.5830 实验1

GoDB 介绍 实验中实现的数据库被称为GoDB&#xff0c;根据 readMe1 中的内容可知&#xff0c;GoDB 含有&#xff1a; Structures that represent fields, tuples, and tuple schemas; Methods that apply predicates and conditions to tuples; One or more access methods …

LeetCode 829. 连续整数求和

一开始我想的是质因数分解&#xff0c;然后项数 为奇数的好解决但是偶数弄不了 然后看题解发现了你直接写出通项公式&#xff1a; 假设首项是a&#xff0c;项数为k 则 (ak-1a)*k 2*n 看看k 的范围 2*a 2n/k 1-k>2 2*n/k >k1 2n>k*k 所以可以暴力枚举k sqrt…

Java 开发环境 全套包含IDEA

一、JDK配置 1.下载 JDK Builds from Oracle 去这边下载open JDK 2.JDK环境变量配置 按win&#xff0c;打开设置 找到环境变量编辑 这边输入的是你下载的那个JDK的bin的路径 检擦配置是否正确在cmd中输入 二、IDEA安装配置 1.下载&#xff08;社区版&#xff09; JetBrai…

分类预测 | Matlab实现DT决策树多特征分类预测

分类预测 | Matlab实现DT决策树多特征分类预测 目录 分类预测 | Matlab实现DT决策树多特征分类预测分类效果基本描述程序设计参考资料分类效果

如何用Docker+jenkins 运行 python 自动化?

1.在 Linux 服务器安装 docker 2.创建 jenkins 容器 3.根据自动化项目依赖包构建 python 镜像(构建自动化 python 环境) 4.运行新的 python 容器&#xff0c;执行 jenkins 从仓库中拉下来的自动化项目 5.执行完成之后删除容器 前言 环境准备 Linux 服务器一台(我的是 CentOS7)…