从硬件到软件:揭秘磁盘结构和文件系统组织

📟作者主页:慢热的陕西人

🌴专栏链接:Linux

📣欢迎各位大佬👍点赞🔥关注🚓收藏,🍉留言

本博客主要内容讲解了从磁盘的硬件结构,再到操作系统内部是如何组织文件系统的包括软硬连接的介绍!

文章目录

    • 1.磁盘的结构
    • 2.CHS定位法
    • 3.逻辑抽象
    • 4.文件系统
      • 4.1从硬件向软件过度
      • 4.2软硬件链接
      • 4.3软硬连接:
        • 4.3.1制作软硬链接,对比差别:
          • ①硬连接:
          • ②软连接

我们目前所了解到的,都是被打开的文件!如果文件没有被打开呢??在哪里?

一定不是在内存中!只能在磁盘等外设中静静的存储着!

磁盘文件,如果没有被打开,如何理解这些文件呢? 没有被打开的文件,有什么问题?

1.如何合理存储的问题

2.主要是为了解决:快速定位,快速读取和写入—磁盘文件也是如此!!

pre:标识一个文件:文件名(目前)

a.如何定位一个文件

b.如果对文件进行读取和写入

所以我们来了解以下磁盘的结构:

1.磁盘的结构

磁盘是我们计算机上唯一的一个机械设备!同时它还是外设(作为外设来说他们的速度都是相对CPU和内存来说比较慢的)。

一个剖面图:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

磁盘中的存储的基本单元:扇区,512字节or4kb字节

一般的磁盘所有的扇区都是512字节。

磁道:同半径的所有扇区;

柱面:所有盘片上的对应相同半径的磁道共同部分被称为柱面

那么磁盘是如何寻找磁盘上的文件的?

2.CHS定位法

C:cylinder柱面(磁道)

H:head 磁头

S:sector扇区

①首先我们要定位在哪一个面:

只需要确定用哪一个磁头读取,盘片的编号,来确定在哪一个面。

②确定在盘片的哪一个扇区:

a.先定位在哪一个磁道—由半径决定

b.在确定在该磁道,在哪一个扇区—根据扇区的编号,定位一个扇区

一个普通的文件(属性+数据)->都是数据(0,1)->无非就是占用一个或者多个扇区,来进行自己的数据存储的!!!

我们既然能够用CHS来定位任意一个扇区,我们就可以定位多个扇区,从而将文件从硬件的角度,进行读取或者写入!!!

3.逻辑抽象

①根据我们之前的了解,如果OS能够知道任意一个CHS地址,就能访问任意一个扇区。

②那么OS内部是不是直接使用的CHS地址呢?答案是不是的。

③为什么?

​ a. OS是软件,磁盘是硬件,硬件定位一个地址,CHS,但是如果OS直接用了这个地址,万一硬件变了呢?OS也要发生变化,OS要和硬件做好解耦工作:也就是说硬盘内部有一套自己的定位系统,和操作系统内部是不一样的,但是两者是可以相互转换的。

​ b.即便是扇区,512字节,单位IO的基本数据量也是很小的!硬件:512字节,OS实际进行IO,基本单位是4kB(可以调整的) — 磁盘:是一种块设备。所以,OS需要有一套新的地址,进行块级别的访问。

接下来我们从硬件层面上深入的理解磁盘是和操作系统如何协作的:

我们把磁道展开,展开的磁道就是一个一个的小扇区:这些小扇区好像一个一个的数组,非常适合操作系统去做管理:

image-20231119211719683

初步完成了一个从物理逻辑到系统逻辑的过程!数组不是天然有下标!此时,定位一个扇区,只需要一个数组下标是不是就可以定位一个扇区了。而其中我们的OS是以4kB为单位进行IO的,故一个OS级别的文件块要包括8个扇区!甚至,在OS的角度,其实它是不关心扇区的!

计算机常规的访问方式:起始地址+偏移量的方式(语言+数据类型) 只需要知道数据块的起始地址(第一个扇区的下标地址) + 4KB(块的类型)我们把数据块看作一种类型!

所以块的地址,本质就是数组一个下标,N,以后我们表示一个块,我们可以采用线性下标的N的方式,定位一个任何一个块了。

OS -> N -> LBA -> 逻辑块地址!

可是我们的磁盘只认识CHS地址!

所以我们的LBA <--------->CHS是可以相互转化的—>简单的数学运算就可以做到:

image-20231119222702735

OS要管理磁盘,就将磁盘看做一个大数组,对磁盘的管理,变成了对数组的管理!!我们的先描述,在组织:

//硬盘
struct block
{//...
}//区
struct part
{int lba_start;int lba_end;//组struct part group [100];
}

4.文件系统

4.1从硬件向软件过度

前面我们提到了块的概念,对于磁盘系统来说整个磁盘太大了,那么将磁盘先分组—>分区,到最后最小的部分(这里说的是管理的,物理结构最小的是扇区)就是块。

image-20231119224042624

struct disk
{struct part[4];//....
}

Linux ext2文件系统,上图为磁盘文件系统图(内核内存映像肯定有所不同),磁盘是典型的块设备,硬盘分区被划分为一个个的block。一个block的大小是由格式化的时候确定的,并且不可以更改。例如mke2fs的-b选项可以设定block大小为1024、2048或4096字节。而上图中启动块(Boot Block)的大小是确定的 。

接下来我们介绍这些参数:

  • superBlock:存放文件系统本身的结构信息。记录的信息主要有:bolck 和 inode的总量,
    未使用的block和inode的数量,一个block和inode的大小,最近一次挂载的时间,最近一次写入数据的时间,最近一次检验磁盘的时间等其他文件系统的相关信息。Super Block的信息被破坏,可以说整个文件系统结构就被破坏了。

    广义来说:文件系统的所有的信息:1.文件系统的类型;2.整个分组的情况;

    并且SB在各个分组里面可能都会存在,而且是统一更新的,而是为了防止SB域坏掉,如果出现故障,整个分区不可以被使用!所以我们要时常做好备份。

  • GDT,Group Descriptor Table:组描述符—该组内的详细统计等详细信息。

  • 块位图(Block Bitmap): Block Bitmap中记录着Data block中那个数据块已经被占用了,那个数据块没有被占用。

  • inode位图(inode Bitmap):每个bit位表示一个innode是否空闲可用。

  • i节点表(inode Table):存放文件属性。如:文件大小,所有者,最近修改时间等。

  • 数据区(data Blocks):存放文件内容。

  • block bitmap: 每一个bit表示datablock是否空闲可用!

一般来说:

①一个文件,内部所有属性的集合—>inode节点(128字节),一个文件,一个inode

②其中,即便是一个分区,内部也会存在大量的文件即会存在大量的inode节点,一个group,需要有一个区域,来专门保存该group内的所有文件的inode节点—>inode Table , innode表。

③分组内部,可能会存在多个inode,需要将inode区分开来,每一个inode都会有自己的inode编号!!

④inode编号,也属于对应文件的属性id;

⑤而文件的内容:是变化的,我们是用数据块来进行文件内容的保存的,所以一个有效文件,要保存内容,就需要[1, n]数据块,如果有多个文件呢?需要更多的数据块,Data Blocks

⑥Linux查找一个文件,是要根据inode编号,来进行文件查找的,包括读取内容!!

⑦一个inode对应一个文件,而改文件inode属性和改文件对应的数据块,是有映射关系的!

⑧在Linux内部是将内容和属性分离的,都要以块的形式,被保存在磁盘的某个位置!

4.2软硬件链接

inodevs文件名:
Linux系统只认inode号,文件的inode属性中,并不存在文件名!文件名,是给用户用的。

②重新认识目录:

目录是文件么?是的,目录有inode吗?是。

有内容吗?有内容是什么?

③任何一个文件,一定在一个目录内部,所以目录的内容是什么呢?需要数据块,目录的数据块里面保存的是该目录下文件名和文件inode编号对应的映射关系,而且,在目录内部,文件名和inode互为key值。

④当我们访问一个文件的时候,我们是在特定目录下访问的,cat log.txt

​ a.先要在当前目录下,找到log.txt的inode编号

​ b.一个目录也是一个文件,也一定隶属于一个分区,结合inode,在该分区中找到分组,在该分组中inode table中,找到文件的inode

​ c.通过inode和对应的datablock的映射关系,找到该文件的数据块,并加载到OS,并完成显示到显示器

⑤如何理解文件的增删查改:

a.根据文件名—> inode number

b.inode number —>inode 属性中的映射关系,设置block bitmap 对应的比特位,置0即可。

c.inode number 设置inode bitmap 对应的比特位设置为0

所以总结一下,删文件,只需要修改位图即可!

所以这就是为什么有那些文件恢复软件的存在!

⑥细节补充:

a.如果文件被误删了,我们该怎么办?

​ 我们只需要通过文件日志查看误删的文件的inode然后找到对应的inode bitmap将其置1(非常简单的说法,实际的操作非常复杂);

b. inode,确定分组,inode number是在一个分区内唯一有效的,不能跨分区

c. 上面我们学到的分区,分组,填写系统属性 —> 谁做的呢? OS做的。什么时候做的呢?分区完成后,后面要让分区能够被正常使用,我们需要对分区做格式化,格式化的过程,其实就是OS向分区写入文件系统的管理属性信息。

d.我们如果inode只是单单的用数组建立和datablock的映射关系,15 * 4kB = 60KB 那么是不是意味着一个文件内容最多放入:60KB不是的,原因是我们存在直接索引,也存在二级索引(所指向的数据块里面的内容,不是直接的数据,而是其他数据块的编号),和三级索引(相当于两层的多叉树)。

struct inode
{int inode number;int ref_count;mode_t mode;int uid;int gid;int size;data;...int datablock[NUM];
}

⑦有没有可能,一个分组,数据块没用完,inode没了,或者inode没用完,datablock用完了?

这种情况是存在的就是一个分组中全是空文件的时候,存在inode没了但是datablock还有冗余的情况,但是在操作系统内部很少出现这种情况。

4.3软硬连接:

我们有了以上之前的认识,那么我们认识软硬链接,就是顺水推舟的事情。

4.3.1制作软硬链接,对比差别:
①硬连接:

我们用ls -li命令查看:可以发现两个文件的inode是相同的,那么实际上的意思就是两个文件在硬件上是同一个文件:

image-20231120180341420

不信的话我们cat一下查看一下内容是否相同:

image-20231120181043027

硬链接和目标文件公用同一个inode number,意味着,硬链接一定是和目标文件使用同一个inode的!

硬链接没有独立的inode。

那么硬链接干了什么?建立了新的文件名和老的inode的映射关系!之前我们提到一个inode的结构体:内部有一个参数叫ref_count,这个参数就代表的是引用次数!所以当我们每次建立一个硬链接的时候,对应的ref_count就自加1;所以本质是一种引用计数,代表的是有多少个文件名指向我,也就是硬链接数。

struct inode
{int inode number;int ref_count;mode_t mode;int uid;int gid;int size;data;...int datablock[NUM];
}
②软连接

使用ln -s log.txt Newfile创建一个软链接

我们发现inode是不相同,软链接内部放的是自己所指向的文件的路径类似于windows中的快捷方式

image-20231120181902510

到这本篇博客的内容就到此结束了。
如果觉得本篇博客内容对你有所帮助的话,可以点赞,收藏,顺便关注一下!
如果文章内容有错误,欢迎在评论区指正

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/151127.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Redis维护缓存的方案选择

Redis中间件常常被用作缓存&#xff0c;而当使用了缓存的时候&#xff0c;缓存中数据的维护&#xff0c;往往是需要重点关注的&#xff0c;尤其是重点考虑的是数据一致性问题。以下是维护数据库缓存的一些常用方案。 1、先删除缓存&#xff0c;再更新数据库 导致数据不一致的…

OpenAI内斗剧情反转!微软力保ChatGPT之父回归?

美东时间11月17日下午&#xff0c;全球最热门的聊天机器人ChatGPT开发商OpenAI宣布了一项重磅管理层调整&#xff0c;Sam Altman将辞去CEO一职&#xff0c;并离开公司董事会。 Altman被踢出的消息除了让业界担心会影响该公司未来发展外&#xff0c;OpenAI另一位共同创办人暨总裁…

京东小程序:无代码开发实现API集成,连接电商平台、CRM和客服系统

无需复杂API开发&#xff0c;京东小程序连接电商平台 京东小程序平台以其全开放的生态模式&#xff0c;让商家享有京东系APP流量福利、海量SKU和开放能力&#xff0c;提升用户体验&#xff0c;同时也带来了新商机。京东小程序的最大优势在于&#xff0c;商家无需进行复杂的API…

系统设计之通讯协议

一、通讯协议 架构风格定义了应用程序编程接口 (API) 的不同组件如何相互交互。因此&#xff0c;它们通过提供设计和构建 API 的标准方法来确保效率、可靠性以及与其他系统集成的便捷性。以下是最常用的样式&#xff1a; 1. SOAP 成熟、全面、基于XML 最适合于企业应用 可扩展…

城市生命线丨桥梁健康监测系统应用详情

现代城市当中&#xff0c;桥梁的重要性以及危险性是最高的&#xff0c;因此&#xff0c;对于桥梁的安全健康监测就会变得更加的重要&#xff0c;在科技发展的今天&#xff0c;新型基础设施已经能够准确、实时的监测桥梁的安全和健康。 WITBEE万宾助力建设更健康&#xff0c;智慧…

sentinel 网关

网关简介 大家都都知道在微服务架构中&#xff0c;一个系统会被拆分为很多个微服务。那么作为客户端要如何去调用这么多的微服务呢&#xff1f;如果没有网关的存在&#xff0c;我们只能在客户端记录每个微服务的地址&#xff0c;然后分别去调用。 这样的架构&#xff0c;会存在…

【Python】12 GPflow安装

概述 GPflow 是一个基于TensorFlow 在 Python 中构建高斯过程模型的包。高斯过程是一种监督学习模型。 高斯过程的一些优点是&#xff1a; 不确定性是高斯过程的固有部分。高斯过程可以在不知道答案时告诉您。适用于小型数据集。如果您的数据有限&#xff0c;高斯过程可以从…

Yolov8部署——vs2019遇到的问题

Yolov8部署——vs2019遇到的问题 问题一&#xff1a; 默认库"LIBCMT"与其他库的使用冲突 解决方法&#xff1a;选择自己的项目右键属性——c/c——代码生成——运行库&#xff08;多线程&#xff08;/MT&#xff09; 问题二&#xff1a; 文件包含在偏移0x18处开始…

buildadmin+tp8表格操作(2)----表头上方按钮绑定事件处理,实现功能(全选/全不选)

buildAdmin 表格上方的按钮添加完成之后&#xff0c; 就要对其实现功能了 有了上面的说明&#xff0c; 我就只要得到了 ref 中的表格对象&#xff0c; 就可以象el-table 一样来操作表格的属性和方法了 我们来实现上面的几个按钮的方法 全选/全不选 上面就是添加按钮功能的全过…

算法——动态规划(新)

什么是动态规划&#xff1f; 动态规划算法的基本思想-求解步骤-基本要素和一些经典的动态规划问题【干货】-CSDN博客 一、三步问题 面试题 08.01. 三步问题 - 力扣&#xff08;LeetCode&#xff09; 思路 我们要知道&#xff0c;走楼梯&#xff0c;前三个阶梯步数已经知道&…

4-5学生分数对应的成绩

![#include<stdio.h> int main(){float score;char grade;for(int i0;i<7;i){printf("请输入成绩&#xff1a;");scanf("%f",&score);while(score>100||score<0){printf("\n输入的成绩有误&#xff0c;请重新输入&#xff1a;&quo…

深入了解百度爬虫工作原理

在当今数字化时代&#xff0c;互联网已经成为人们获取信息的主要渠道之一。而搜索引擎作为互联网上最重要的工具之一&#xff0c;扮演着连接用户与海量信息的桥梁角色。然而&#xff0c;我们是否曾经好奇过当我们在搜索引擎中输入关键词并点击搜索按钮后&#xff0c;究竟是如何…

【18年扬大真题】给定有m个整数的递增有序数组a和有n个整数的递减有序数组b,将a数组和b数组归并为递增有序的数组c

【18年扬大真题】 给定有m个整数的递增有序数组a和有n个整数的递减有序数组b&#xff0c; 将a数组和b数组归并为递增有序的数组c。 void Merge(int arr[],int m ,int brr[],int n,int crr[]) {int i 0;int j n-1;int k 0;while(i < m&&j > 0) {if (arr[i] &l…

Cesium 问题:输出的 纬度 latitude 是 0

文章目录 问题分析问题 在坐标转换的时候,出现如下问题 分析 在检查代码后,发现我将转换之前的高度默认设置为了 0 ,因此没能正确转换 let positionsOnCircle = [];// 圆面边缘的点 let numPoints = 360; for (let i

asp.net在线考试系统+sqlserver数据库

asp.net在线考试系统sqlserver数据库主要技术&#xff1a; 基于asp.net架构和sql server数据库 功能模块&#xff1a; 首页 登陆 用户角色 管理员&#xff08;对老师和学生用户的增删改查&#xff09;&#xff0c;老师&#xff08;题库管理 选择题添加 选择题查询 判断题添加…

图片叠加_图片压缩

图片叠加 try {/* 1 读取第一张图片*/File fileOne new File("1.png");BufferedImage imageFirst ImageIO.read(fileOne);/* 2读取第二张图片 */File fileTwo new File("2.png");BufferedImage imageSecond ImageIO.read(fileTwo);//创建一个最底层画…

STM32 SPI

SPI介绍 SPI是Serial Pepheral interface缩写&#xff0c;串行外围设备接口。 SPI接口是一种高速的全双工同步通信总线&#xff0c;已经广泛应用在众多MCU、存储芯片、AD转换器和LCD之间。大部分STM32有3个SPI接口&#xff0c;本实验使用的是SPI1。 SPI同一时刻既能发送数据&…

vue3+vite+ts 发布自定义组件到npm

vue3vite 发布自定义组件到npm 初始化项目编写组件配置打包组件上传到npm测试组件库 初始化项目 // 创建项目 pnpm create vite vue-test-app --template vue-ts// 运行项目 cd vite vue-test-app pnpm install pnpm run dev编写组件 1、根目录下创建packages目录作为组件的开…

MindNode v5.0.1(思维导图软件)

思维导图软件哪个比较好呢&#xff1f;MindNode for mac一款功能简单&#xff0c;界面简洁&#xff0c;不用看教程都会用的思维导图软件。mindnode mac可随时随地记录自己的想法&#xff0c;让您从灵感入手&#xff0c;将奇思妙想铺陈在画布上&#xff0c;让一切井井有条。 Mi…

企业实现员工聊天和转账行为的实时监管

如何解决企业营销团队的管理问题&#xff1f; 在当今竞争激烈的市场环境中&#xff0c;企业营销团队的管理显得尤为重要。营销团队是企业发展的重要支柱&#xff0c;然而&#xff0c;一些常见的问题如员工飞单、私单、辱骂删除客户、离职带走公司客户以及工作不认真、工作量无…