四种方法将 Docker Registry 迁移至 Harbor

Registry

Docker Distribution

Docker Distribution 是第一个是实现了打包、发布、存储和镜像分发的工具,起到 docker registry 的作用。(目前 Distribution 已经捐赠给了 CNCF)。其中 Docker Distribution 中的 spec 规范后来也就成为了 OCI distribution-spec 规范。可以认为 Docker Distribution 实现了大部分 OCI 镜像分发的规范,二者在很大程度上也是兼容的。

OCI 的指导思想时先有工业界的实践,再将这些实践总结成技术规范,因此尽管 OCI 的 distribution-spec 规范还没有正式发布(目前版本是 v1.0.0-rc1),但以 Docker Distribution 作为基础的镜像仓库已经成为普遍采用的方案,docker registry http api v2 也就成为了事实上的标准。

Harbor

harbor 也是采用了 Docker Distribution (docker registry)作为后端镜像存储服务,在 harbor 2.0 之前的版本,镜像相关的功能大部分是由 Docker Distribution 来处理,镜像和 OCI 等制品的元数据是 harbor 组件从 docker registry 中提取出来的;harbor 在 2.0 版本之后,镜像等 OCI 制品相关的元数据由 harbor 自己来维护,而且元数据是在 PUSH 这些制品时写入到 harbor 的数据库中的。

正因得益于此,harbor 不再仅仅是个用来存储和管理镜像的服务,而一个云原生仓库服务,能够存储和管理符合 OCI 规范的 Helm Chart、CNAB、OPA Bundle 等多种 Artifact。

Docker Registry to Harbor

回到本文主题:如何将 docker registry 中的镜像迁移至 harbor?

假如内网环境中有两台机器,一台机器上运行着 docker registry,域名假设为 registry.k8s.li 。另一台机器运行着 harbor,假设域名为 harbor.k8s.li。现在 docker registry 中存放了五千个镜像。harbor 是刚刚部署的,里面还没有镜像。在磁盘和网络没有限制的情况下,如何高效地将 docker registry 中的镜像迁移到 harbor 中呢?

获取 Registry 所有镜像的列表

首先在迁移之前我们要获取一份 docker registry 中镜像的列表,这样我们才能保证迁移后没有镜像丢失。根据《 深入浅出容器镜像的一生》一文中提到的 registry 的存储目录结构。在 registry 存储目录中,每个镜像的 tag 都是由 current/index 这个文件指向该 tag 镜像的 manifests 文件的,由此我们可以通过遍历 registry 存储目录中 current/index 文件的方式来得到所有镜像的 tag,由此得到该 registry 中所有镜像的列表。注意,这样只能得到有 tag 的镜像,其他没 tag 的镜像无法获取到。

可通过如下命令在 registry 存储目录下获取镜像列表:

Harbor 创建 project

对于新部署的 harbor 来说,上面只会有一个默认的 library 的 project,需要手动在 harbor 上创建 docker registry 中对应的 project。docker registry 中镜像的 project 就是 registry 存储目录中 repositories 下的目录名。

得到了镜像列表,以及在 harbor 上完成了对应 project 的创建,我们就可以做正式的迁移工作啦。根据不同的场景,可使用如下几种方案:

方案一:docker retag

方案一可能是大多数人首先想到的办法,也是最简单粗暴的方法。就是在一台机器上使用 docker pull 下 docker registry 中的所有镜像,然后再 docker retag 一下,再 docker push 到 harbor 中。

如果之前看过我写的《深入浅出容器镜像的一生》和 《镜像搬运工 skopeo 初体验》,并且已经在日常生活中使用 skopeo ,一定会觉得这并不是个聪明的方案,因为 docker pull –> docker tag –> docker pull 的过程中会对镜像的 layer 进行解压缩。对于只是将镜像从一个 registry 复制到另一个 registry 来说,这些 docker 在这些过程中做了很多无用功。详细的原理可以参考上述两篇文章,在此不再赘述。

为了追求高效,我们不使用 docker retag 方案,下面看一下方案二:

方案二:skopeo

在《镜像搬运工 skopeo 初体验》一文中介绍过可以使用 skopeo copy 直接从一个 registry 中复制镜像原始 blobs 到另一个 registry 中,在此期间不会涉及镜像 layer 解压缩操作。在性能和耗时两个角度上,都比使用 docker 的方式高效很多。

  •  使用 skopeo copy

  •  使用 skopeo sync

无论是 docker 和 skopeo 本质上都是通过 registry 的 HTTP API 下载和上传镜像的,在这过程中还是多了不少 HTTP 请求的,如果走的是 HTTPS 的话,还涉及了 HTTPS 加密和解密的过程,这期间有很多无用功。那么还有没有更好的办法?

方案三:迁移存储目录

文章开头提到 harbor 的后端镜像存储也是使用的 docker registry,对于一个 registry 来说,只要是使用的是 Docker Distribution V2 ,它后端的存储目录结构都是一模一样的。那为什么不直接将 registry 的存储目录打包复制并解压到 harbor 的 registry 存储目录?这样又能保证所有的镜像都迁移过去,不会落下任何一个。

对于 harbor 1.x 版本来讲,将 docker registry 的存储目录直接迁移到 harbor 的 registry 存储目录,然后删除 harbor 的 redis 数据(因为 harbor 的 redis 缓存了镜像的元数据信息),重启 harbor 就好了。重启 harbor 之后,harbor 会调用后端的 registry 去提取镜像的元数据信息并存储到 redis 中。这样就完成了迁移的工作。

在 docker registry 机器上备份 registry 存储目录

备份完成之后将 docker.tar scp 到 harbor 机器上,然后在 harbor 机器上恢复 registry 存储目录

这样迁移之后可能会遇到无法往 harbor push 镜像的问题。因为 docker registry 容器内 registry 存储目录的所属和所属组为 root,而 harbor registry 容器内 registry 存储目录的所属和所属组为 10000:10000,二者权限并不相同,会导致 harbor 无法 push 镜像。因此在迁移完成之后需要修改一下 harbor registry 目录的所属和所属组。

方案四

对于 harbor 2.x 来讲,由于 harbor 强化了 Artifact 的元数据管理能力,即元数据要在 push 或者 sync 到 harbor 时写入到 harbor 自身的数据库中。在 harbor 看来只要数据库中没有这个 Artifact 的 manifest 信息或者没有这一层 layer 的信息,harbor 都会认为该 Artifact 或者 layer 不存在,返回 404 的错误。按照方案三直接而将 docker registry 存储目录解压到 harbor 的 registry 存储目录的方法行不通的。因为是将镜像解压到 registry 存储中的,虽然在 harbor 的 registry 容器看来是有镜像的,但因为 harbor 的数据库中没有镜像,harbor 就会认为没有镜像。那么现在看来只能通过方案二使用 skopeo 将镜像一个一个地 push 到 harbor 中了。

但对于某些特定的场景下,不能像方案二那样拥有一个 docker registry 的 HTTP 服务,只有一个 docker registry 的压缩包,这如何将 docker registry 的存储目录中的镜像迁移到 harbor 2.0 中呢?

在《镜像搬运工 skopeo 初体验》中提到过 skopeo 支持的镜像格式有如下几种:

需要注意的是,这几种镜像的名字,对应着镜像存在的方式,不同存在的方式对镜像的 layer 处理的方式也不一样,比如 docker:// 这种方式是存在 registry 上的;docker-daemon: 是存在本地 docker pull 下来的;再比如 docker-archive 是通过 docker save 出来的镜像;而 dir: 是镜像以文件夹的形式保存的。同一个镜像有这几种存在的方式就像水有气体、液体、固体一样。可以这样去理解,他们表述的都是同一个镜像,只不过是存在的方式不一样而已。

既然镜像是存放在 registry 存储目录里的,那么使用 dir 的形式直接从文件系统读取镜像,理论上来讲会比方案二要好一些。虽然 skopeo 支持 dir 格式的镜像,但 skopeo 目前并不支持直接使用 registry 的存储目录,所以还是需要想办法将 docker registry 存储目录里的每一个镜像转换成 skopeo dir 的形式。

skopeo dir

那么先来看一下 skopeo dir 是什么样子的?

为了方便测试方案的可行性,先使用 skopeo 命令先从 docker hub 上拉取一个镜像,并保存为 dir,命令如下:

使用 tree 命令查看一下 alpine 文件夹的目录结构,如下:

从文件名和大小以及文件的内省我们可以判断出,manifest 文件对应的就是镜像的 manifests 文件;类型为 ASCII text 的文件正是镜像的 image config 文件,里面包含着镜像的元数据信息。而另一个 gzip compressed data 文件不就是经过 gzip 压缩过的镜像 layer 嘛。看一下 manifest 文件的内容也再次印证了这个结论:

  •  镜像的 config 字段对应的正是 e50c909a8df2,而文件类型正是 image.v1+json 文本文件。
  •  镜像的 layer 字段对应的也正是 4c0d98bf9879 而文件类型正是 .tar.gzip gzip 压缩文件。

从 registry 存储目录中捞镜像出来

接下来到本文的较为精彩的地方了。如何从 registry 存储里“捞”镜像出来,转换成 skopeo 所支持的 dir 格式。

  •  首先要得到镜像的 manifests 文件,从 manifests 文件中可以得到该镜像的所有 blob 文件。例如对于 registry 存储目录中的 library/alpine:latest 镜像来讲,它在 registry 中是这样存放的:

1.通过 repositories/library/alpine/_manifests/tags/latest/current/link 文件得到 alpine 镜像 lasts 这个 tag 的 manifests 文件的 sha256 值,然后根据这个 sha256 值去 blobs 找到镜像的 manifests 文件;

2.根据 current/link 文件中的 sha256 值在 blobs 目录下找到与之对应的文件,blobs 目录下对应的 manifests 文件为 blobs/sha256/39/39eda93d15866957feaee28f8fc5adb545276a64147445c64992ef69804dbf01/data;

3.使用正则匹配,过滤出 manifests 文件中的所有 sha256 值,这些 sha256 值就对应着 blobs 目录下的 image config 文件和 image layer 文件;

4.根据 manifests 文件就可以得到 blobs 目录中镜像的所有 layer 和 image config 文件,然后将这些文件拼成一个 dir 格式的镜像,在这里使用 cp 的方式将镜像从 registry 存储目录里复制出来,过程如下:

最终得到的镜像格式如下:

和上面的 skopeo copy 出来的 dir 文件夹对比一下,除了一个无关紧要的 version 文件,其他的都一摸一样。

5.再优化一下,将步骤 4 中的 cp 操作修改成硬链接操作,能极大减少磁盘的 IO 操作。需要注意:硬链接文件不能跨分区,所以要和 registry 存储目录在同一个分区下才行。

然后使用 skopeo copy 或者 skopeo sync 将捞出来的镜像 push 到 harbor

  •  使用 skopeo copy

  •  使用 skopeo sync 需要注意的是,skopeo sync 的方式是同步 project 级别的,镜像的 name 和 tag 就对应的是目录的名称

实现脚本

其实修改一下 skopeo 的源码应该也是可以无缝支持 registry 存储目录的。

对比

对比总结一下以上几种方案:

  •  方案一:上手成本低,适用于镜像数量比较多少,无需安装 skopeo 的情况,缺点是性能较差;
  •  方案二:适用于两个 registry 之间同步复制镜像,如将 docker hub 中的一些公共镜像复制到公司内网的镜像仓库中。
  •  方案三:适用于镜像仓库之间进行迁移,性能是所有方案里最好的,需要额外注意的是如果目的镜像仓库是 harbor 2.x,是无法使用这种方式的。
  •  方案四:是方案三的妥协版,为了适配 harbor 2.0 ,因为需要重新将镜像 push 到 harbor ,所以性能上要比方案三差一些。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/637730.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在线WebOffce在HTML/VUE/Electron纯前端网页编辑Office之打开Word后自动处于修订模式

在线办公协同办公过程中,对于老板给出的文档修改,如果在错别字方面都要自己一个个字去看的话也太浪费时间了,其实word上就有一个修订模式,可以帮助大家高效完成文档的修改,在线WebOffce在HTML/VUE/Electron纯前端网页编…

Semaphone应用源码分析

Semaphone应用&源码分析 3.1 Semaphore介绍 sync,ReentrantLock是互斥锁,保证一个资源同一时间只允许被一个线程访问 Semaphore(信号量)保证1个或多个资源可以被指定数量的线程同时访问 底层实现是基于AQS去做的。 Semap…

pinia 的使用方法

使用方式(选项式) 1、在 mian.js 导入 pinia 里的 createPinia 函数。 2、app.use 这个 createPinia 函数的返回值。 // main.jsimport { createPinia } from pinia;app.use(createPinia()); 3、创建一个 js 文件(该文件保存着共享的数据&…

Git和SVN

1、Git Git是一个分布式版本控制系统,由Linus Torvalds创建,用于有效、高速地处理从小到大的项目版本管理。Git是开源的,采取了分布式的版本库的方式,不需要服务器端软件就可以运行。 Git的核心概念 以下是Git中的一些核心概念…

《Python数据分析技术栈》第03章 02 数据结构(Structure of data)

02 数据结构(Structure of data) 《Python数据分析技术栈》第03章 02 数据结构(Structure of data) The data that we need to analyze could have any of the following structures, 我们需要分析的数据可能具有以下任何一种结…

RabbitMQ-数据持久化

一、持久化类型 1、交换机持久化(SpringAMQP默认) 2、队列持久化(SpringAMQP默认) 3、消息持久化 二、消息持久化 1、纯内存操作 如果采用纯内存操作,那么消息存储达到队列的上限之后,会有一个page ou…

开源进程/任务管理服务Meproc使用之HTTP API

本文讲述如何使用开源进程/任务管理服务Meproc的HTTP API管理整个服务。 Meproc所提供的全部 API 的 URL 都是相同的。 http://ip:port/proc例如 http://127.0.0.1:8606/proc在下面的小节中,我们使用curl命令向您展示 API 的方法、参数和请求正文。 启动任务 …

git 常规操作及设置

git 常规操作及设置 Git是一个分布式版本控制系统,可以用来跟踪文件的修改历史并与其他人进行协作开发。下面是一些常见的Git操作及设置: 初始化仓库:使用命令git init在当前目录创建一个新的Git仓库。 克隆仓库:使用命令git clo…

TCP/IP协议及配置、IP地址、子网掩码、网关地址、DNS与DHCP介绍

一、什么是服务器 能够为其他计算机提供服务的更高级的电脑 尺寸:Unit 1u1.75英寸44.45mm4.445cm IDC(机房) C/S结构 Client/Server客户端和服务端 二、TCP/IP协议 计算机与计算机之间通信的协议 三要素: IP地址 子网掩码 IP路由 I…

基于一次应用卡死问题所做的前端性能评估与优化尝试

问题背景 在上个月,由于客户反馈客户端卡死现象但我们远程却难以复现此现象,于是我们组织了一次现场上门故障排查,并希望基于此次观察与优化,为客户端开发提供一些整体的优化升级。当然,在尝试过程中,也发…

大模型实战营Day6 作业

基础作业 使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能 环境配置 conda create --name opencompass --clone/root/share/conda_envs/internlm-base source activate opencompass git clone https://github.com/open-compass/opencompass cd openco…

eMMC之分区管理、总线协议和工作模式

一、eMMC 简介 eMMC 是 embedded MultiMediaCard 的简称。MultiMediaCard,即MMC, 是一种闪存卡(Flash Memory Card)标准,它定义了 MMC 的架构以及访问 Flash Memory 的接口和协议。而eMMC 则是对 MMC 的一个拓展&…

android 13.0 Camera2 去掉后置摄像头 仅支持前置摄像头功能

1.概述 在定制化13.0系统rom定制化开发中,当产品只有一个前置摄像头单摄像头,这时调用相机时就需要默认打开前置摄像头就需要来看调用摄像头这块的代码,屏蔽掉后置摄像头的调用api就可以了,接下来就来具体实现相关功能的开发 2.Camera2 去掉后置摄像头 仅支持前置摄像头功…

【Docker】使用Docker安装Nginx及部署前后端分离项目应用

一、Nginx介绍 Nginx是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。它是由伊戈尔赛索耶夫为俄罗斯访问量第二的Rambler.ru站点开发的,公开版本1.19.6发布于2020年12月15日。其将源代码以类BSD许可证的形式发布,因它…

数据结构---栈(Stack)

一、基本概念 栈是一种线性数据结构 二、特点 栈是"后进先出(LIFO---Last In First Out)"的数据结构(盘子的叠放:当服务员将新的盘子放在餐桌上时,他们通常会将盘子放在已有的盘子堆的顶部。当顾客用完盘子后,服务员会从堆顶取走…

PostgreSQL 100条命令

我会为您提供一些 PostgreSQL 中最常用的命令: 1. 创建数据库:CREATE DATABASE database_name; 2. 连接到数据库:\c database_name; 3. 创建表格:CREATE TABLE table_name (column1 datatype, column2 datatype, ...); 4. 插入数…

内网环境横向移动——利用windows服务

利用windows服务进行横向渗透主要是通过sc命令,但是注意这里跟之前windows远程命令相比多了一个条件,即当前主机需要为administrator权限。 sc命令 sc命令是XP系统中功能强大的DOS命令,SC命令能与“服务控制器”和已安装设备进行通讯。SC是用于与服务控…

SDCMS靶场通过

考察核心:MIME类型检测文件内容敏感语句检测 这个挺搞的,一开始一直以为检查文件后缀名的,每次上传都失败,上传的多了才发现某些后缀名改成php也可通过,png图片文件只把后缀名改成php也可以通过,之前不成功…

uniapp组件库Popup 弹出层 的使用方法

目录 #平台差异说明 #基本使用 #设置弹出层的方向 #设置弹出层的圆角 #控制弹窗的宽度 | 高度 #内容局部滚动 #API #Props #Event 弹出层容器,用于展示弹窗、信息提示等内容,支持上、下、左、右和中部弹出。组件只提供容器,内部内容…

CSS:backdrop-filter实现毛玻璃的效果

实现效果 实现代码 /* 关键属性 */ background-color: rgba(255, 255, 255, 0.4); backdrop-filter: blur(10px); -webkit-backdrop-filter: blur(10px);完整代码 <style>/* 遮罩层 */.mo-mask {position: fixed;top: 0;bottom: 0;left: 0;right: 0;width: 100%;height…