Linux操作系统——理解文件系统

预备知识

到目前为止,我们所学习到的关于文件的操作,全部都是基于文件被打开,被访问,访问期间比较重要的有重定向,缓冲区,一切皆文件,当我们访问完毕的时候需要将文件关闭,关闭时那也就是将对应的文件对象进行关闭,缓冲区该刷新刷新,该释放时释放,该清空清空,可是所有的动作都是基于内存级的,对于一个文件打开这种情况的一系列操作。

1.你的系统里可能有成千上万的文件,所有的文件都被打开了吗?

并不是所有的文件都会被打开,被打开的文件可能只有1/100,甚至1/500,甚至1/1000,就比如你系统里面有10000个文件,可能被打开的只有200个,还有9800多个根本就没有被打开。 

2.一个文件被打开了有刚刚所谈的那些操作,那么一个文件被打开之前,文件在哪里呢?

其实这些文件都在磁盘上进行保存。

那么问题就来了,其实我们在内存中那些被打开的文件本来相对整个系统的文件数目来说本来就占少数,这些文件都需要通过struct file这样的结构体进行管理起来,那么我们没有被打开的那些那么多的文件要不要被管理起来呢? 答案当然是要管理了,要不然fopen这个接口要打开一个文件为什么可以通过带路径之后找到这个文件再打开呢?

我们没有被打开的文件不仅要在磁盘上进行保存,还需要带有规律的进行保存,方便用户进行随时读取,其实就是方便用户随时打开,随时换出内存。

其实用我们生活中的例子也很容易理解,就比如你的衣服,并不是所有的衣服都是穿在身上的,而是身上穿一件,大部分衣服都是放在你的衣柜里面的,那么你的大部分衣服虽然没有穿,但是你要不要把这些衣服放好呢?也就是管理好呢?就在你哪天需要指定的某一件衣服的时候你管理起来了,那么你想找到这件衣服会很快速的知道它在哪里,那么如果你把衣服随便扔一个地方,当你需要的时候换那一身衣服的时候你会发现你很难找到,效率特别低,甚至可能找不到了。所以说你身上那套衣服是你正在使用的衣服,而没有穿在身上的那些衣服依然需要管理好。而对于这样对衣服进行管理的核心工作是什么?是为了快速定位你需要的衣服。也就是快速定位文件。那么管理好了之后就是怎么快速定位文件的问题了,那么在我们快速定位文件就需要谈及到路径了。

生活中的例子其实比比皆是,你们平常都有各种网购买东西,你们学校附件的菜鸟驿站都有来自各个学生的成千上万的快递,但是不是所有的快递都会及时的被同学们拿走,比如说你取你的快递,把你的快递取走打开了,你要使用这个快递了,叫做你打开这个文件了,但是大部分的快递还是暂时存在菜鸟驿站里面,那么剩下的这么多没有被访问的快递,菜鸟驿站的工作人员也需要将这些快递进行管理起来,如果快递就随便堆积如山,也不进行管理,那么如果有个人来取快递,那估计得找个大半天,那还不一定能找着。所以我们平常都有看到菜鸟驿站工作人员有给快递进行分类然后贴上对应的取件码,其实这个取件码就很像我们谈到的文件路径,我们通过取件码可以迅速找到自己的快递,同样我们也可以通过文件存放在磁盘上的路径对文件进行快速定位。我们菜鸟驿站工作人员所做的工作叫做文件系统,文件系统是我们操作系统的一个分支,操作系统有内存管理,进程管理,也有文件管理等等。

所以,我们可以把文件的管理工作总结为:

1.打开的文件进行管理

2.没有被打开的文件也要在磁盘中进行管理

这就是文件系统做的工作。

其实文件系统解决的是文件存储的问题,而我们的文件=内容+属性,所以进而转化成了对文件内容存储和对文件属性存储的问题。文件存储在磁盘中需要方便我们的操作系统/用户对文件进行增删查改。

而我们下面主要谈的是没有被打开的文件也要在磁盘中进行管理,下面我们需要先对磁盘硬件进行深入了解,也就是理解硬件的物理存储结构,然后对其进行逻辑抽象,来理解逻辑存储结构,最后来理解文件系统与操作系统之间的关系。

理解磁盘---硬件——物理存储结构

为什么要用磁盘来对文件进行存储呢?因为它便宜,容量大,所以大部分的公司企业就会大量使用。

如下是磁盘的图片

如下是侧视图:

如下是俯视图

一个盘面可以有很多的同心磁道,一圈磁道可以有很多扇形的扇区,扇区是磁盘的最小存储单元---512字节。其中如果你自己只想改变这一个扇区里面的一个比特位,你都必须把整个扇区加载到内存中,所以我们把磁盘这样的设备叫做块设备。如果我想向一个扇区写入,我们该如何寻址呢?

1.先选择哪一面? --- 本质选择磁头

2.选择该面上的哪一个磁道

3.选择在该该磁道的哪一个扇区

我们一般把这种定位方法叫做CHS定位法,既然我们可以向一个扇区写入,就可以向任意一个/多个扇区写入,甚至连续多个扇区式的写入,当然也可以随机写入。那么文件的存储问题就是文件的内容和属性的存储,而文件内容和属性的存储本质就是二进制数据的存储,所以文件的存储问题最终都会落在磁盘当中以扇区的形式为基本单元,把文件的属性和内容的数据全部都给我们保存好。这些文件的存储全部都是在磁盘盘片某一面上的某个磁道上的某个扇区上以512字节进行存储,如果你是一个比较大的文件,那你可能要存在多个扇区上,如果你是属性可能只需要一个512字节,如果是内容可能需要多个512字节,也可能只需要一个扇区。所以多个扇区里,有的可能存的是属性,有些可能存的是内容。

其实每个磁头都有编号,所以定位磁头不需要机械运动,而寻找磁道是通过磁头在盘面上左右转动,而盘面高速旋转是为了找到对应的扇区。这就是为什么磁头需要这么运动,然后盘面需要高速旋转。这就是CHS定位法的寻址原理。

理解逻辑抽象——逻辑存储结构

上图不知道小伙伴们有没有见过,它叫做磁带,磁带这玩意和那个光盘是同一个时代的产物,磁带是软性介质,里面是可以存储数据的,复读机里面也有马达,可以把磁带转起来,磁带去旋转的时候会有相应的硬件进行数据读取。

这种复读机可以把它打开,然后把磁带放进去,我们之前如果有见过磁带的小伙伴应该知道,他是有两个圈圈的,磁带从左边转到右边,转完的时候还可以取下来反一面倒着转,叫倒带。

磁带把那些黑色条状的东西拉出来就是上述第一张图那个样子,这个是软性介质,所以我们也可以把它拉的很长,拉的很直,卷起来就是同心圆的样子,拉直了就是一根长长的直线,磁盘的盘面卷起来就是圆状的。

所以呢,我们也可以把磁盘盘片想象成一个线性的空间

我们还可以把这一面继续进行划分,可以划分成很多的磁道,然后磁道也可以继续划分,划分成一片一片的扇区。

那么我们就可以把它逻辑抽象成以扇区为单位的数组,数组都是有下标的,那么我们假设从1~100000是第一面,100001~200000叫做第二面,第一面里面又可以化分成1~10000是第一个磁道,10001~20000是第二个磁道,每一面每一个磁道都是这么划分。所以我们对磁盘的管理就变成了对数组的管理。

假设寻找第123456个扇区的位置,那么我们首先寻找他在第几个面:123456/100000=1,也就是第2个面,然后123456%100000=23456,那么就是在第一个面的第23456个位置上。

那么我们就把我们的线性地址转化成了CHS地址。

操作系统可以按照扇区为单位进行存取,操作系统也可以基于文件系统,按照块为单位进行数据存取。其实操作系统以一个扇区为单位来进行访问有点小,为了提高一定的效率,所以进行了规定,以8个扇区为基本单位,也就是一个文件块来进行访问 (8*512 = 4096字节,也就是4KB)。从此往后我们只需要知道起始的地址,我们就可以访问8个扇区,我们把这种地址叫做LBA地址(Logical Block Address) 通过将这些LBA地址进行转化变成CHS地址就可以交给磁盘,磁盘就可以把数据写到对应的位置上了。

所以我们形成的最终的结论:对存储设备的管理在操作系统层面转换成了对(4KB blocks[])数组的增删查改。

理解文件系统与操作系统之间的关系

假设你的笔记本电脑有500GB大的磁盘空间,这个空间想要直接管理起来是非常困难的,就好比中国这么大的地方,我们叫中央政府来管理整个中国,那是不是很不现实,所以中国又分了很多个省,省里又分了很多个市,市里又分了一些小县城,所以我们会有区政府,市政府,省政府,所以这是在干什么呢?这不就是把一个很大的区域拆分成很多的小区域吗?大区域不好管,小区域好管对吧。所以呢,我们也可以按照这种做法,把磁盘的500GB进行拆分,拆分成100GB,100GB,100GB,100GB,100GB。所以呢我们要想把这500GB管好,只需要把这100GB管好就可以了,因为这些100GB都可以采用一样的管理方法进行管理,这个动作我们叫做分区。其实这个例子也随处可见,比如说我们自己的笔记本电脑,一般只有一块磁盘,而出现像C盘,D盘,E盘,F盘这种都是通过分区实现的,但是实际上只有一块磁盘。

然后我们还可以把这100GB划分成50个2GB的组(Group),也就是50组,那么管理好500GB也就变成了管理好一个组,也就是2GB的内容就可以了。这种思想就是大事化小的思想,分治法。

如上图所示,我们把这些组叫做块组,这些块组里面存的数据有两种,一种是我的文件信息,另一种是跟多的文件管理的数据。而我的文件信息包括内容和属性,这些都是数据,内容和属性分开存储。而在我们班级里面,除了有普通的学生,也有一些班干部,对班级进行管理的一些成员,我们步入学校不久,那么班级的管理者会很快就选出来,因为方便后续对班级进行管理,所以对一个分组来讲呢,在正式使用文件系统之前,我们一定要把每一个组当中的管理数据写入到块组当中,也就是说比如说使用了多大的空间,还剩多少空间等等这些数据是应该提前显示出来的。所以换句话说就是块组里面的各个分区都要先写入管理数据,我们把这个操作称之为格式化。

下面我们在Xhell里面新建文件和目录:

我们认识一条新的指令:

ls -li

我们发现它比ll多一条数据,这条数据都是数字,每一个文件对应的这个数字都不一样,我们把这条数据叫做文件的inode编号,一般情况下,一个文件一个inode,也就是说inode 每个文件都有。在整个分区具有唯一性,在Linux内核当中,识别文件和文件名无关,和inode有关。

而我们这张图对应的inode Table叫做i节点表:存放文件属性 如 文件大小,所有者,最近修改时间等。保存文件属性是通过inode来保存的,Linux内核中有一个inode的结构体:

struct inode

{

        大小,权限,拥有者,所属组,ACM时间,inode编号等。
}

这个结构体占128字节。

假设inodeTable里面有1000个4KB的文件块,那就是32000个inode,所以inode由于大小是固定的,所以inode在这张表里也很好定位,所以我想要知道inode在整张表的定位,我们只需要知道inode在整张表里的偏移量,所以给文件分配一个inode是很容易的,所以我们就可以把这张inode Table看成一个数组struct inode inode_table[N].

上图中的DataBlock是数据区:存放文件内容。

这些文件块都有对应的编号。其实inode结构体里面会维护一个int blocks[N]的数组,这个数组记录的是该inode对应的文件存放在数据区的文件内容所对应的文件块的编号,维持在一个数组里面,比如说该文件的文件内容存放在1,2,4编号的文件快中,那么就把这三个编号存在这个blocks数组中。

下面我们来谈inodeBitmap 表示 inode位图(inode Bitmap):每个bit表示一个inode是否空闲可用。比特位的位置表示inode编号,比特位的内容(0/1)表示对应的inode编号是否被使用。

块位图(Block Bitmap):Block Bitmap中记录着Data Block中哪个数据块已经被占用,哪个数据块没有被占用。比特位的位置表示Block编号,比特位的内容(0/1)表示对应的Block编号是否被使用。

Block Group:ext2文件系统会根据分区的大小划分为数个Block Group。而每个Block Group都有着相同的结构组成。政府管理各区的例子

超级块(Super Block):存放文件系统本身的结构信息。记录的信息主要有:bolck 和 inode的总量,未使用的block和inode的数量,一个block和inode的大小,最近一次挂载的时间,最近一次写入数据的时间,最近一次检验磁盘的时间等其他文件系统的相关信息。Super Block的信息被破坏,可以说整个文件系统结构就被破坏了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/639141.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

3.RHCSA脚本配置及通过node2改密码

运行脚本发现node2不成功 脚本破解 选第二个 Ctrl x 换行 破解成功后做node2的改密码题 回到redhat, 发现检测程序检测密码题成功,得了8分.

DBA技术栈MongoDB: 数据增改删除

该博文主要介绍mongoDB对文档数据的增加、更新、删除操作。 1.插入数据 以下案例演示了插入单个文档、多个文档、指定_id、指定多个索引以及插入大量文档的情况。在实际使用中,根据需求选择适合的插入方式。 案例1:插入单个文档 db.visitor.insert({…

【蓝桥杯冲冲冲】动态规划初步[USACO2006 OPEN] 县集市

蓝桥杯备赛 | 洛谷做题打卡day13 文章目录 蓝桥杯备赛 | 洛谷做题打卡day13题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示样例说明数据规模与约定 思路:方程: 题解代码我的一些话 [USACO2006 OPEN] 县集市 The County Fair 题目描述 每年…

Threejs实现立体3D园区解决方案及代码

一、实现方案 单独贴代码可能容易混乱,所以这里只讲实现思路,代码放在最后汇总了下。 想要实现一个简单的工业园区、主要包含的内容是一个大楼、左右两片停车位、四条道路以及多个可在道路上随机移动的车辆、遇到停车位时随机选择是否要停车&#xff0…

解决ssh登录Permission denied, please try again

现象截图如下: 确定root的密码是正确的,最后的原因找到了,是远程的服务器,禁用了root账户可以被远程访问的权限。开启操作如下: 1.编辑配置文件 vi /etc/ssh/sshd_config 2.文件中找到PermitRootLogin #PermitRoo…

seaborn可视化示例详解

目录 1、散点图 2、散点图回归线 3、折线图 4、频数柱状图 5、分组散点图 6、箱型图 7、数值分布柱状图 8、频数分布图 9、联合分布图 10、数值分布柱状图 11、相关系数热力图 划重点 少走10年弯路 Seaborn是一个基于Python的数据可视化库,Seaborn提供了许多用…

链表|数据结构|C语言深入学习

什么是链表 离散,就是“分离的、散开的” 链表是什么样子的: 有限个节点离散分配 彼此间通过指针相连 除了首尾节点,每个节点都只有一个前驱节点和一个后继节点 首节点没有前驱结点,尾节点没有后继节点 基本概念术语&#xf…

1.使用分布式文件系统Minio管理文件

分布式文件系统DFS分类 文件系统 文件系统是操作系统用于组织管理存储设备(磁盘)或分区上文件信息的方法和数据结构,负责对文件存储设备空间进行组织和分配,并对存入文件进行保护和检索 文件系统是负责管理和存储文件的系统软件,操作系统通过文件系统提供的接口去…

Docker五部曲之五:通过Docker和GitHub Action搭建个人CICD项目

文章目录 项目介绍Dockerfile解析compose.yml解析Nginx反向代理到容器以及SSL证书设置MySQL的准备工作Spring和环境变量的交互 GitHub Action解析项目测试结语 项目介绍 该项目是一个入门CICD-Demo,它由以下几部分组成: Dockerfile:用于构建…

「 典型安全漏洞系列 」05.XML外部实体注入XXE详解

1. XXE简介 XXE(XML external entity injection,XML外部实体注入)是一种web安全漏洞,允许攻击者干扰应用程序对XML数据的处理。它通常允许攻击者查看应用程序服务器文件系统上的文件,并与应用程序本身可以访问的任何后…

【Unity小技巧】3D人物移动脚步和跳跃下落音效控制

文章目录 单脚步声多脚步声,跳跃落地音效播放不同材质的多脚步声完结 单脚步声 public AudioClip walkingSound; public AudioClip runningSound;//移动音效 public void MoveSound() {// 如果在地面上并且移动长度大于0.9if (isGround && moveDirection.s…

动物免疫(羊驼免疫)-泰克生物

在过去几十年里,抗体研究和应用的领域已经经历了革命性的变化。在这个进程中,一种特殊来源的抗体 —— 来自骆驼科动物(包括羊驼)的单链抗体(也称纳米抗体)引起了全球科学家的广泛关注。 羊驼等骆驼科动物…

【Linux】python版本控制和环境管理

文章目录 1.查看目前python的版本2.添加软件源并更新3.选择你想要下载的版本4.警示:没必要设置默认版本误区千万千万不要覆盖python3软链接解决办法 5.pip软件包管理最省心稍微麻烦换源 网上有很多教程都是教导小白去官方下载之后编译安装。但是,小白连c…

4.go 基础类型及类型转换

目录 概述basic types总结例子 Zero values总结例子 类型转换总结例子 结束 概述 go 版本: go1.20.13 basic types 总结 基本类型如下: boolstringint int8 int16 int32 int64 uint uint8 uint16 uint32 uint64 uintptrbyte // alias for uint8…

[pytorch入门] 2. tensorboard

tensorboard简介 TensorBoard 是一组用于数据可视化的工具。它包含在流行的开源机器学习库 Tensorflow 中.但是也可以独立安装&#xff0c;服务Pytorch等其他的框架 可以常常用来观察训练过程中每一阶段如何输出的 安装pip install tensorboard启动tensorboard --logdir<d…

蓝桥杯理历年真题 —— 数学

1. 买不到的数目 这道题目&#xff0c;考得就是一个日常数学的积累&#xff0c;如果你学过这个公式的话&#xff0c;就是一道非常简单的输出问题&#xff1b;可是如果没学过&#xff0c;就非常吃亏&#xff0c;在考场上只能暴力求解&#xff0c;或是寻找规律。这就要求我们什么…

Python图像处理【19】基于霍夫变换的目标检测

基于霍夫变换的目标检测 0. 前言1. 使用圆形霍夫变换统计图像中圆形对象2. 使用渐进概率霍夫变换检测直线2.1 渐进霍夫变换原理2.2 直线检测 3. 使用广义霍夫变换检测任意形状的对象3.1 广义霍夫变换原理3.2 检测自定义形状 小结系列链接 0. 前言 霍夫变换 (Hough Transform,…

H5112C PWM调光 无频闪 高性价比 支持12V 24V 36V 48V 60V 72V 内置MOS

PWM调光芯片是一种常用于LED调光控制的芯片&#xff0c;其工作原理如下&#xff1a; 脉冲宽度调制&#xff08;PWM&#xff09;&#xff1a;PWM是一种调制技术&#xff0c;通过改变信号的脉冲宽度来控制输出信号的平均功率。在PWM调光中&#xff0c;芯片会以一定的频率产生一系…

SpringCloud Alibaba 深入源码 - Nacos 和 Eureka 的区别(健康检测、服务的拉取和订阅)

目录 一、Nacos 和 Eureka 的区别 1.1、以 Nacos 注册流程来解析区别 一、Nacos 和 Eureka 的区别 1.1、以 Nacos 注册流程来解析区别 a&#xff09;首先&#xff0c;我们的服务启动时。都会把自己的信息提交给注册中心&#xff0c;然后注册中心就会把信息保存下来. 注册的…

ELK日志分析

目录 一、ELK概述 &#xff08;一&#xff09;ELK的定义 &#xff08;二&#xff09;ELK工具 1.ElasticSearch 2.Kiabana 3.Logstash &#xff08;1&#xff09;定义 &#xff08;2&#xff09;插件 ① input ② filter ③ output &#xff08;三&#xff09;可以添…