全网讲的最详细的Docker镜像分层存储原理

先说结论，容器镜像分层存储图示
在这里插入图片描述
欢迎关注
在这里插入图片描述

实验环境准备

当前实验docker版本24.0.7如下，当前docker版本使用overlay2机制存储镜像

Client: Docker Engine - CommunityVersion:           24.0.7API version:       1.43Go version:        go1.20.10Git commit:        afdd53bBuilt:             Thu Oct 26 09:07:41 2023OS/Arch:           linux/amd64Context:           defaultServer: Docker Engine - CommunityEngine:Version:          24.0.7API version:      1.43 (minimum version 1.12)Go version:       go1.20.10Git commit:       311b9ffBuilt:            Thu Oct 26 09:07:41 2023OS/Arch:          linux/amd64Experimental:     falsecontainerd:Version:          1.6.25GitCommit:        d8f198a4ed8892c764191ef7b3b06d8a2eeb5c7frunc:Version:          1.1.10GitCommit:        v1.1.10-0-g18a0cb0docker-init:Version:          0.19.0GitCommit:        de40ad0

$ sudo docker pull httpd
Using default tag: latest
latest: Pulling from library/httpd
1f7ce2fa46ab: Pull complete 
424de2a10000: Pull complete 
6d9a0131505f: Pull complete 
5728e491734b: Pull complete 
20d3235e84ad: Pull complete 
Digest: sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a
Status: Downloaded newer image for httpd:latest
docker.io/library/httpd:latest

# sudo docker image inspect httpd"Id": "sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949","RepoTags": ["httpd:latest"],"RepoDigests": ["httpd@sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a"],"GraphDriver": {"Data": {"LowerDir": "/var/lib/docker/overlay2/766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb/diff:/var/lib/docker/overlay2/76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2/diff:/var/lib/docker/overlay2/aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743/diff:/var/lib/docker/overlay2/32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2/diff","MergedDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/merged","UpperDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/diff","WorkDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/work"},"Name": "overlay2"},"RootFS": {"Type": "layers","Layers": ["sha256:92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839","sha256:fad7e2250d8fefbd8524054837403921b468448b6bae1ee439bb793e254b6725","sha256:27496babc700a08c0a14777dd4bb818273e8cc9f77d526fcb4554043cff291d9","sha256:28f18e7dc61c56a068f00ec92dde62cf9de21cbce0eb9a8395c6617e2fef9463","sha256:b9bf93af811f6900f445158ab648fd4868b69b770908142b897772e6bb8c2a2f"]}

overlay2文件系统

overlayfs通过三个目录来实现：lower目录、upper目录、以及work目录。三种目录合并出来的目录称为merged目录

  • lower目录：可以是多个，是处于最底层的目录，作为只读层
  • upper目录：只有一个，作为读写层
  • work目录：为工作基础目录，挂载后内容会被清空，且在使用过程中其内容用户不可见
  • merged目录：为最后联合挂载完成给用户呈现的统一视图，也就是说merged目录里面本身并没有任何实体文件，给我们展示的只是参与联合挂载的目录里面文件而已，真正的文件还是在lower和upper中。所以，在merged目录下编辑文件，或者直接编辑lower或upper目录里面的文件都会影响到merged里面的视图展示。

docker image inspect httpd的结果中LowerDir的值是实际存储文件系统数据的目录

MergedDir,UpperDir,WorkDir也都是放在/var/lib/docker/overlay2/目录下

上面inspect命令结果中"Id": "sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949",，这一部分其实就是repository元数据，用于找到镜像image元数据/var/lib/docker/image/overlay2/imagedb/content/sha256(Id值)/

上面inspect命令结果中RootFS的Layers是layer元数据，其中的每个sha256的值就是diff_id

docker镜像分层存储原理

docker镜像的元数据分为repository,image,layer三部分

由于docker镜像分层存储，所以repository和image没有对应的物理镜像文件，而每个layer元数据都有具体的物理镜像层文件与之对应，

并且layer元数据和镜像文件分开存储，二者基于内容寻址(即基于文件内容索引镜像和镜像层)存储机制进行关联

repository元数据

repository是某个镜像所有迭代版本的集合，它在本地的持久化信息就存储在/var/lib/docker/image/overlay2/repositories.json中，其中记录了所有repository的名字以及每个repository中所有版本镜像的名字。

这里的sh256的值和docker pull时的sha256值一样

root@ubuntu20:/var/lib/docker/image/overlay2# cat repositories.json 
{"Repositories":{"httpd":{"httpd:latest":"sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949","httpd@sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a":"sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949"}
}}

image元数据

image元数据的本地文件位于/var/lib/docker/image/overlay2/imagedb/content/sha256/，包括以下信息：镜像架构、操作系统、镜像配置、Docker版本和镜像层信息rootfs。

其中rootfs包含该镜像所有镜像层的id，即diff_id。其中的diff_ids从上到下依次为nginx镜像底层到顶层的diff_id。

镜像层的id为diff_id

# cat /var/lib/docker/image/overlay2/imagedb/content/sha256/a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949
.....
"rootfs":{"type":"layers","diff_ids":["sha256:92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839","sha256:fad7e2250d8fefbd8524054837403921b468448b6bae1ee439bb793e254b6725","sha256:27496babc700a08c0a14777dd4bb818273e8cc9f77d526fcb4554043cff291d9","sha256:28f18e7dc61c56a068f00ec92dde62cf9de21cbce0eb9a8395c6617e2fef9463","sha256:b9bf93af811f6900f445158ab648fd4868b69b770908142b897772e6bb8c2a2f"]
}

layer元数据

用户拉取了某个镜像层后，Docker会基于该镜像层的文件和image元数据生成layer元数据，

主要包括该镜像层的diff_id(diff)，如果该镜像层没有父镜像层，那么该层的diff_id就是chain_id

父镜像层的chain_id（parent)、

该镜像层的大小（size）、

镜像层文件的索引（cache-id）等，

这些元数据存储在 /var/lib/docker/image/overlay2/layerdb/sha256/路径下

root@ubuntu20:/var/lib/docker/image/overlay2/layerdb/sha256# tree -L 2
.   
├── 16d494768121f45ba050ad50a669400818478131cb930bb0c8b5d2f908057142
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
├── 29b181ca372e770053cc03410789236d7a96171f1f77110741d0f3f068a29c67
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
├── 92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839
│   ├── cache-id
│   ├── diff
│   ├── size
│   └── tar-split.json.gz
├── cdfabdae5172d05eb5141bb77aaa300a195570b0befd780b6e2fc7bd20ea2cd5
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
└── e8254408730a345e2ccf863e19c850e7ee78b59dfd9e4aa265b0107dd4301be5├── cache-id├── diff├── parent├── size└── tar-split.json.gz

cache-id是Docker随机生成的UUID，用于标识和索引具体的镜像文件；

chainID是image元数据与layer元数据关联的索引ID，根据当前层的diffID和父镜像层的chainID得来，具体计算方法如下：

  • 如果该镜像层是最底层(没有父镜像层)，该层的 diff_id 便是 chain_id。
  • 该镜像层的 chain_id 计算公式为 chainID=sha256(父层chain_id+" "+本层diff_id)，也就是根据父镜像层的 chain_id 加上一个空格和当前层的 diff_id，再计算 SHA256 校验码。

镜像文件存储目录

镜像层元数据与镜像层文件分开存储，并通过cache-id(overlay2目录下的文件夹的名字)进行关联。具体的镜像层文件存储在/var/lib/docker/overlay2文件夹下

root@ubuntu20:/var/lib/docker/overlay2# tree -L 2
.
├── 32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2
│   ├── committed
│   ├── diff
│   └── link
├── 766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── 76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── 88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
└── l├── J6BYBF6ADSYX4HKH65NQSXLNAD -> ../76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2/diff├── L2DROY4Y7V2ZGUIOFOLSARZO3T -> ../aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743/diff├── U2HWCDVI7VIS6QKAUANBZSIC4L -> ../32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2/diff├── V2RW2JJO2BYNGIFOMQJ74TF5C3 -> ../766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb/diff└── WUF77DAMALFDYBOPZYWKS7WOIG -> ../88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/diff

子目录l记录了很多长26位的软连接，指向本地缓存目录下的diff目录。(容器运行时会用到，具体参见文章开头的链接)

其他7个子目录是镜像层的目录，代表Nginx镜像共有7个镜像层，每个镜像层目录都由一串UUID命名，这个UUID即layer元数据部分介绍的cache-id，用于将镜像元数据和镜像文件关联起来。

其中diff目录保存了镜像层的实际内容；

link保存了当前镜像层的短ID，与 l目录互为引用；

lower目录保存了当前镜像层的所有父镜像层的短ID集合，用于挂载时直接读取；

work目录为overlay2驱动的写时复制目录。

镜像索引关系

repositories.json文件存储了repository元数据，其中包括imageID；

由imageID可以索引到image元数据，其中包括该镜像每层的 ID，即 diff_id；

根据当前层diff_id和父镜像层的chainID可以计算出当前层的chainID，就可以索引到当前层的layer元数据；

当前层的layer元数据文件夹下包括cacheID，从而索引到存储在/var/lib/docker/overlay2路径下的镜像文件存储数据。

/var/lib/docker//overlay2/	# 存放实际的镜像或容器文件/image/overlay2/distribution/imagedb/		# image元数据content/sha256/	# image元数据metadata/	layerdb/		# layer元数据mounts/	# 运行的容器的挂载元数据sha256/	# layer元数据repositories.json	# repository元数据

在这里插入图片描述

容器启动

⼀个容器完整的层应由三个部分组成

  • 镜像层：也称为rootfs，提供容器启动的⽂件系统。镜像层属于roLayer
  • init层：⽤于修改容器中⼀些⽂件如/etc/hostname，/etc/hosts，/etc/resolv.conf等。init层属于mountedLayer
  • 容器层：使⽤联合挂载统⼀给⽤⼾提供的可读写⽬录。容器层属于mountedLayer

启动容器时会在/var/lib/docker/image/overlay2/layerdb/mounts/下创建container_id文件夹，其中包括

  • mount-id：存储在/var/lib/docker/overlay2/(镜像文件存储目录)的⽬录名称。（容器层，联合挂载⽽来，mount到docker/overlay2/⽬录下）
  • init-id：initID是在mountID后加了⼀个-init，同时initID就是存储 在/var/lib/docker/overlay2/的⽬录名称。
  • parent：容器所基于的镜像的最上层的chain_id。

多架构下的镜像信息

可以使用 docker manifest inspect $image 命令来查看，manifest为docker的体验特性，在Linux系统下开启

最好的方式为开启docker daemon的特性，修改 /etc/docker/daemon.json 文件

{"experimental": true
}

配置镜像加速时配置阿里镜像地址也是通过这个文件来做的

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/841067.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Three.js 研究：2、如何让动画线性运动

Three.js 研究：2、如何让动画线性运动

1、默认的动画含有加速度并非线性的 制作好的动画很明显是非线性的，这是一个运动环，为了让环运行线性进行如下设置。 2、设置动画成为线性动画
阅读更多...
Vue从入门到实战Day07

Vue从入门到实战Day07

一、vuex概述 目标：明确vuex是什么，应用场景，优势 1. 是什么： vuex是一个vue的状态管理工具，状态就是数据。 大白话：vuex是一个插件，可以帮助我们管理vue通用的数据（多组件共享的…
阅读更多...
解锁数据关联之道：SQL 表连接详解

解锁数据关联之道：SQL 表连接详解

文章目录 概述表关系横向连接内连接 inner join左连接 left join右连接 right join全连接 full join交叉连接 cross join 纵向合并UNION ALLUNION 概述 在数据处理、数据分析中常会用到表连接。表连接的作用是将多个表中的数据关联起来，以便在查询过程中获取更全面…
阅读更多...
家政项目day2 需求分析（模拟入职后熟悉业务流程）

家政项目day2 需求分析（模拟入职后熟悉业务流程）

目录 1 项目主体介绍1.1 项目背景1.2 运营模式1.3 项目业务流程 2 运营端需求2.1 服务类型管理2.2 服务项目（服务）管理2.3 区域管理2.4 区域服务管理2.5 相关数据库表的管理2.6 设计工程结构2.7 测试接口（接口断点查看业务代码） 1…
阅读更多...
【机器学习与大模型】开源大模型和闭源大模型：技术发展与社会责任的平衡点

【机器学习与大模型】开源大模型和闭源大模型：技术发展与社会责任的平衡点

目录 💡引言✈️✈️一，开源大模型的优势与劣势✈️✈️1.1 优势：✈️✈️1.2 挑战和劣势： 🚀🚀2. 闭源大模型的优势与劣势🚀🚀2.1 优势：🚀🚀2.2 …
阅读更多...
【pyspark速成专家】7_SparkSQL编程1

【pyspark速成专家】7_SparkSQL编程1

目录 一，RDD，DataFrame和DataSet对比 二，创建DataFrame 本节将介绍SparkSQL编程基本概念和基本用法。 不同于RDD编程的命令式编程范式，SparkSQL编程是一种声明式编程范式，我们可以通过SQL语句或者调用DataFrame的相…
阅读更多...
amis 联动效果触发的几种方式

amis 联动效果触发的几种方式

联动效果实现主要俩种方式: 1.表达式实现联动,基于组件内或数据链的变量变化的联动 比如： "source": "/amis/api/mock2/options/level2?name${name} " (必须是这种字符串拼接形式,在data数据映射中表达式不会触发联动) 所有初始化接口链…
阅读更多...
Java进阶学习笔记10——子类构造器

Java进阶学习笔记10——子类构造器

子类构造器的特点： 子类的全部构造器，都会先调用父类的构造器，再执行自己。 子类会继承父类的数据，可能还会使用父类的数据。所以，子类初始化之前，一定先要完成父类数据的初始化，原因在于&…
阅读更多...
线程生命周期

线程生命周期

创建线程的两种方法 1.继承Thread类 2.实现Runnable接口 线程从创建到消亡分为新建、就绪、运行、阻塞、死亡5种状态。 新建状态 创建一个线程就处于新建状态。此时线程对象已经被分配了内存空间，并且私有数据也被初始化，但是该线程还不能运行。 就…
阅读更多...
03-02-Vue组件之间的传值

03-02-Vue组件之间的传值

前言 我们接着上一篇文章 03-01-Vue组件的定义和注册 来讲。 下一篇文章 04-Vue：ref获取页面节点–很简单 父组件向子组件传值 我们可以这样理解：Vue实例就是一个父组件，而我们自定义的组件（包括全局组件、私有组件）…
阅读更多...
足球走地全自动化操作软件实现过程

足球走地全自动化操作软件实现过程

本次采用selenium实现自动化操作的流程 打开浏览器录入账号密码等待数据请求（监听）有新数据，进行自动化操作通过homeName搜索，找到对应数据找到对应的类型（让、大小…）找到对应的盘口输入数量提交 附登录…
阅读更多...
Python语法（全）

Python语法（全）

前言： 下面是Python基本的语法，大家耐心观看！ 1.基础语法 1.1字面量 字面量：在代码中，被写下来的的固定的值，称之为字面 1.2字符串 字符串（string），又称文本&#xff…
阅读更多...
nss做题

nss做题

[NCTF 2018]签到题 1.f12在index.php中找到flag [NSSCTF 2022 Spring Recruit]ezgame 1.在js源码中就有flag [UUCTF 2022 新生赛]websign 1.打开环境后发现ctrlu和右键，f12都被禁用了。两种方法，第一种：禁用js；第二中提前打开…
阅读更多...
vue 表单些某项 v-if 控制后,想在显示时添加验证

vue 表单些某项 v-if 控制后,想在显示时添加验证

效果: 可以为<el-form-item>添加 key 然后prop正常写就行 (key需要唯一值) <el-form-item label"设置" v-if"advanced_setting" key"threshold" prop"threshold"><el-inputv-model"form_Warning.threshold"p…
阅读更多...
关于burp的intruder返回包空白问题

关于burp的intruder返回包空白问题

记录一下被自己蠢笑的问题 burp返回包为空怎么办&#xff0c;在查询无果后经过多次试验&#xff0c;确实没有效果 看那三个点还以为加载呢&#xff0c;攻击完了怎么一个显示没有 于是…… 鼠标到三个点&#xff0c;往下一拉 哈哈哈哈哈哈哈&#xff0c;真是被自己给蠢到了
阅读更多...
[5] CUDA线程调用与存储器架构

[5] CUDA线程调用与存储器架构

CUDA线程调用与存储器架构 前几节简单讲了如何编写CUDA程序&#xff0c;利用GPU的处理能力并行执行多个线程和块。之前所有程序里的线程是相互独立的&#xff0c;没有多个线程之间的通信多是实际应用程序需要中间线程之间的通信&#xff0c;本文将仔细讲解线程调用以及CUDA的分…
阅读更多...
@JsonFormat注解出现日期序列化以及反序列化问题（日期比实际日期少一天）

@JsonFormat注解出现日期序列化以及反序列化问题（日期比实际日期少一天）

文章目录 前言一、场景如下所示二、问题分析三、JsonFormat注解是什么以下是 JsonFormat 注解的一些常用属性&#xff1a; 四、解决问题解决方式&#xff1a;只需要指定对应的时区就好效果如下&#xff1a; 五、JsonFormat 注解时出现日期问题总结 前言 在一次的偶然机会下发现…
阅读更多...
Python基于PyQt6制作GUI界面——按钮

Python基于PyQt6制作GUI界面——按钮

示例对应的制作的 ui文件 界面如下所示。 <?xml version"1.0" encoding"UTF-8"?> <ui version"4.0"><class>Form</class><widget class"QWidget" name"Form"><property name"geom…
阅读更多...
ColossalAI Open-Sora 1.1 项目技术报告 （视频生成）

ColossalAI Open-Sora 1.1 项目技术报告 （视频生成）

项目信息 项目地址&#xff1a;https://github.com/hpcaitech/Open-Sora技术报告&#xff1a; Open-Sora 1&#xff1a;https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_01.mdOpen-Sora 1.1&#xff1a;https://github.com/hpcaitech/Open-Sora/blob/main/docs…
阅读更多...
swift中json和字典Dict或者数组相互转换，JSONSerialization的强大使用

swift中json和字典Dict或者数组相互转换，JSONSerialization的强大使用

在Swift中&#xff0c;你可以使用JSONSerialization类将JSON字符串转换为字典。要将 Swift 字典转换为 JSON 字符串&#xff0c;我们可以使用JSONSerialization类的data(withJSONObject:options:)方法。这个方法将字典转换为二进制数据&#xff0c;然后我们可以使用String(data…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023