jenkins+docker集成harbor实现可持续集成

目录

一、前言

二、Harbor介绍

2.1 什么是Harbor

2.1.1 Harbor架构图

2.2 Harbor 特征

2.3 Harbor 核心组件

2.4 Harbor使用场景

三、Harbor部署

3.1 安装docker compose

3.1.1 安装方式一

3.2 基于python3 pip安装docker compose

3.2.1 安装python3

3.2.2 安装python-pip3并升级

3.2.3 执行命令安装 docker-compose

3.2.4 查看docker-compose版本

3.3 安装horbor

3.3.1 下载安装包

3.3.2 解压安装包

3.3.3 修改配置文件

3.3.4 执行安装

3.3.5 环境检查

3.3.6 浏览器访问

四、Harbor基本使用

4.1 机器准备

4.1.1 配置服务器免登

4.2 推送镜像到Harbor自定义镜像仓库

4.2.1 创建项目

4.2.2 修改docker配置文件

4.2.3 镜像打标

4.2.4 推送镜像

4.3 jenkins任务集成Harbor

4.3.1 修改jenkins的任务配置

4.3.2 重新执行任务

4.4 其他机器获取harbor镜像

4.4.1 A、B机器添加授信

4.4.2 删除并重新推送镜像

4.4.3 其他机器获取镜像

4.4.4 拉取镜像

4.5 使用jenkins任务进行分发镜像

4.5.1 配置全局ssh凭证

4.5.2 配置ssh连接信息

4.5.3 配置测试任务

五、镜像仓库备选方案

5.1 阿里云镜像仓库

5.2 dockerhub

5.3 Nexus Repository Manager

5.4 JFrog Artifactory

六、docker可视化管理工具

七、写在文末


一、前言

在上一篇,我们搭建了jenkins,并通过配置jenkins任务的方式完成了从拉取代码,到打包构建,最后制作docker镜像的完整步骤。但是到这里,我们会发现仍然有两个问题。

问题一:资源占用:

1、构建出来的镜像仍然留在jenkins这台机器上,久而久之,这台机器的空间将不堪重负;

2、如果直接运行镜像,这些镜像将会占用当前jenkins这台机器的资源,如果后续要运行更多的镜像,这台机器肯定吃不消

问题二:缺少镜像的统一分发和管理:

基于问题一,如何管理这些镜像呢?既然镜像不能一直留在这台jenkins机器,就需要引入其他的容器管理平台,该平台能够实现docker镜像的常规管理,比如容器的启停,删除,pull、push等操作。

基于上述这两个最紧迫的问题,该使用什么方法解决呢?这就需要引入docker的镜像管理工具。本文以Harbor为例进行详细的说明。

二、Harbor介绍

官方文档:Harbor docs | Harbor 1.10 Documentation

2.1 什么是Harbor

Harbor 是一个开源的容器镜像仓库,它提供了一个安全、可信赖的方式来存储和管理容器镜像。

  • Harbor 支持用户创建自己的私有镜像仓库,可以在其中存储各种容器镜像,并且可以对这些镜像进行权限管理、漏洞扫描、复制、备份等操作。

  • Harbor 还提供了 Web 界面和 RESTful API,使用户可以方便地进行镜像管理和操作。

  • 通过 Harbor,用户可以更加轻松地构建、部署和运行容器化应用。

2.1.1 Harbor架构图

2.2 Harbor 特征

Harbor 具备如下特征:

  • 基于角色的访问控制

    • 用户与Docker镜像仓库通过“项目”进行组织管理,一个用户可以对多个镜像仓库在同一个命名空间(project)里有不同的权限。

  • 图形化用户界面

    • 用户可以通过浏览器来浏览,检索当前Docker镜像仓库,管理项目和命名空间。

  • 镜像复制

    • 镜像可以在多个Registry实例中复制(同步)。尤其适合于负载均衡、高可用,混合云和多云的场景。

  • 部署简单

    • 提供在线和离线两种安装工具,也可以安装到vSphere平台(OVA方式)虚拟设备。

  • RESTful API

    • RESTful API 提供给管理员对于Harbor更多的操控,使得其它管理软件集成变得更容易。

  • AD/LDAP支持

    • Harbor可以集成企业内部已有的AD/LDAP,用于鉴权认证管理。

  • 国际化

    • 已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。

  • 审计管理

    • 所有针对于镜像仓库的操作都可以被记录追溯,用于审计管理。

2.3 Harbor 核心组件

结合上述Harbor的架构,下面总结一下Harbor中涉及到的组件。

Harbor的Registry,UI,token等服务,通过一个前置的反向代理统一接收浏览器、Dockerfile客户端的请求,并将请求转发给后端不同的服务。

Registry

负责存储Docker镜像,并处理docker push/pull 命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的每次docker pull/push请求都要携带一个合法的token,Registry会通过公钥对token进行解密验证。

Core services

这是Harbor的核心功能,主要提供以下服务

  • UI:提供图形化界面,帮助用户管理Registry上的镜像,并对用户进行授权

  • WebHook:为了及时获取Registry上image状态变化的情况,在Registry上配置webhook,把状态变化传递给UI模块。

  • Token:负责根据用户权限给每个docker push/pull命令签发token,Docker客户端向-Registry服务发起的请求,如果不包含token,会被重定向到这里,获得token后再重新向Registry进行请求

Database

为core services提供数据库服务,负责储存用户权限、审计日志、Docker image分组信息等数据

Job Services

提供镜像远程复制功能,可以把本地镜像同步到其他Harbor实例中。

Log Collector

为了帮助监控Harbor运行,负责收集其组件的log,供日后进行分析。

2.4 Harbor使用场景

Harbor主要有如下使用场景

  • 构建和管理私有镜像仓库:组织可以使用Harbor搭建自己的私有Docker Registry,方便存储和管理内部开发的镜像,保护知识产权和数据隐私。

  • 安全性管理:Harbor支持用户认证、访问控制、镜像签名等安全功能,确保镜像的安全性,防止恶意镜像的注入。

  • 镜像复制和同步:Harbor可以配置多个节点,实现镜像的复制和同步,方便在不同地区或部门之间共享镜像。

  • CI/CD集成:Harbor可以与CI/CD工具集成,如Jenkins、GitLab等,实现自动化构建、测试和部署。

接下来,将演示基于centos7系统演示如何搭建Harbor。

三、Harbor部署

3.1 安装docker compose

由于Harbor在后续对docker镜像管理和操作中,需要进行镜像的编排,需要用到docker compose,因此先安装docker compose。参考下面的步骤进行安装,这里提供了两种方式进行选择。

3.1.1 安装方式一

参照下面的命令执行安装

#获取安装包
sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.29.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose#授权
chmod +x /usr/local/bin/docker-compose#创建软连接
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose#查看docker-compose版本
docker-compose --version

在实际操作时发现,使用这种方式安装在拉取github的包时会非常慢,下面推荐第二种方式安装。

3.2 基于python3 pip安装docker compose

3.2.1 安装python3

sudo yum install python3

3.2.2 安装python-pip3并升级

yum -y install python3-pip
pip3 install --upgrade pip

3.2.3 执行命令安装 docker-compose

pip3 install docker-compose

3.2.4 查看docker-compose版本

docker-compose --version

最后重启docker

3.3 安装horbor

3.3.1 下载安装包

版本可以自行选择,推荐使用2.x版本的

wget --no-check-certificate https://github.com/goharbor/harbor/releases/download/v2.10.0/harbor-offline-installer-v2.10.0.tgz

3.3.2 解压安装包

3.3.3 修改配置文件

进入解压后的harbor目录,修改 harbor.yml.tmpl 配置文件,注意复制一个配置文件

cp harbor.yml.tmpl harbor.yml

修改hostname:

注释https

  • 后续使用https访问的时候可以再配置,这里演示使用http;

需要关注的其他配置

  • 默认监听端口;
  • 初始化密码;

3.3.4 执行安装

配置修改完成,保存退出之后,直接调用目录下的安装脚本,这个过程可能比较漫长

直到看到下面的信息

补充

如何移除harbor已经安装的容器呢,使用命令:docker-compose down

3.3.5 环境检查

使用docker ps 命令检查一下,可以看到harbor启动了很多个容器

3.3.6 浏览器访问

浏览器访问 IP:80,就来到下面的登录页面,登录账户:admin/Harbor12345

登录之后来到如下控制台主页

界面上的各个菜单的功能有兴趣的同学可以继续深入研究,这里不再过多展开了。

四、Harbor基本使用

4.1 机器准备

为了后面的效果演示,需要准备两台服务器

机器作用备注
机器A部署jenkins,Harbor服务内存需要大点,上一篇使用该机器部署jenkins
机器B业务服务器,部署docker镜像使用

 

 

4.1.1 配置服务器免登

为了在jenkins配置任务时能够方便的操作远程机器,建议设置下免登,即配置jenkins机器与目标业务服务器的免登授信操作,参考下面的操作步骤

机器A执行下面的命令

ssh-keygen -t rsa

将上一步生成的文件远程拷贝到机器B的相应目录下

cd .ssh
scp ./id_rsa.pub root@B机器公网IP:/root/.ssh/authorized_keys

拷贝完成后,使用ssh命令登录下B机器

4.2 推送镜像到Harbor自定义镜像仓库

4.2.1 创建项目

即创建一个新的仓库,用于管理镜像

创建完成后,列表中多了一条数据

4.2.2 修改docker配置文件

将下面的这行配置添加到docker的daemon.json文件中,找到insecure-registries标签追加即可

cd /etc/docker
vi daemon.json
Harbor部署的服务机器IP:80

加载配置文件并重启docker

systemctl daemon-reload
systemctl restart docker

4.2.3 镜像打标

在上一篇中,我们通过jenkins构建出来了一个springboot工程的镜像

但是如果要将这个镜像直接推送到Harbor仓库还不行,必须要按照Harbor的要求进行命名并重新打标,参考下面的命令执行;

docker tag 996ae7100be7 Harbor服务器地址:80/public/boot-docker:1.0

打完标签之后再次查看镜像,可以发现新的镜像已经显示出来了,细心的同学会发现,它们的镜像名是一样的

4.2.4 推送镜像

登录Harbor

docker login -u admin -p Harbor12345 Harbor机器IP:8085

使用下面的命令,推送镜像到Harbor,这个过程根据网络情况可能有点漫长

docker push 打完tag的镜像名

push完成之后,可以在Harbor的控制台界面,在public项目中就能看到刚刚推上来的镜像了

4.3 jenkins任务集成Harbor

基于上一篇中我们在jenkins中创建的测试任务,我们做一下修改,将构建完成的镜像推送至Harbor的仓库中。

4.3.1 修改jenkins的任务配置

在post steps里面,添加如下的脚本(仅供参考,实际操作时还需要结合自身的机器情况),该脚本主要做了下面几件事:

  • 基于Dockerfile将maven构建出来的jar包制作成docker镜像;

  • 删除之前通过构建的带标签版本号的镜像;

  • 镜像打标签;

  • 登录Harbor;

  • 将打标签的镜像推送到Harbor的仓库(上面创建的public项目仓库);

#!/usr/bin/env bash
echo '打包完成,开始构建镜像'
#dockerfile:build
docker build -t boot-docker:1.0 .sleep 10
docker rmi -f 打完tag的镜像sleep 10
docker tag 原镜像sleep 10
echo '登录harbor'
docker login -u admin -p Harbor12345 Harbor机器IP:8085sleep 10
docker push 本次被打完tag的镜像echo '完成docker镜像推送'

4.3.2 重新执行任务

保存上述配置,重新点击执行任务,等待构建完成即可

构建完成后,检查镜像,可以看到带有2.0标签的镜像就创建出来了

同时在Harbor控制台的public项目下,也能看到上面推送过来的docker镜像

4.4 其他机器获取harbor镜像

另有一台新机器,即上述的B机器,需要从harbor镜像仓库中拉取镜像到自己机器上面部署,该如何实现呢?

4.4.1 A、B机器添加授信

在harbor机器上面的docker配置文件中添加如下配置

保存后重新加载配置,并重启docker

systemctl daemon-reload 
systemctl restart docker

建议在A,B两台机器上均做此配置,避免后面出现其他的错误(后文会提到),简单来说,就是将各自的机器IP配置到 insecure-registries中即可。

4.4.2 删除并重新推送镜像

删除原有的镜像

docker rmi -f c9bc81de8fb3

最后通过jenkins任务或命令重新推送镜像

4.4.3 其他机器获取镜像

现在假设我们登录到了另一台机器,假设为B机器,即上述授信配置中的这台机器,使用docker命令登录harbor

docker login -u admin -p Harbor12345 Harbor部署机器:8085

如果出现下面的错误,表面在B机器的docker配置中,认为从上述的Harbor机器登录是不可信的

遇到这个问题时,需要将Harbor机器的docker配置,拷贝到B机器上来,按照上面同样的方式,修改一下这里的daemon.json配置文件,将Harbor机器的IP信息配置进去

最后加载B机器的docker配置,然后重启docker,再次使用Docker命令登录Harbor仓库,此时就登录进来了

4.4.4 拉取镜像

上一步登录成功后,就可以远程拉取Harbor镜像仓库中的镜像了

docker pull 前面最新打完tag的标签

拉取完成后,使用 docker images命令就能看到上面的那个镜像了,后续就可以使用docker命令直接启动镜像即可。

4.5 使用jenkins任务进行分发镜像

上面使用jenkins任务将构建完的镜像通过打标签,然后push到了Harbor仓库中,接下来需要将这些镜像分发到具体的业务服务器上,该怎么操作呢?参考下面的流程。

4.5.1 配置全局ssh凭证

找到ssh并安装

设置凭证,系统管理 —> 添加凭证—>添加域,自定义一个名称,这里意思是将使用当前的jenkins管理你的B机器

配置凭证

4.5.2 配置ssh连接信息

通过系统管理 -> 全局配置找到 SSH sites 配置的地方,填写下面的信息

 

配置之后是否可以连接呢?点击右边的 Check connection按钮,如果连接成功,说明配置没问题了,然后保存配置

4.5.3 配置测试任务

创建一个新的任务

进入任务的配置页面,在构建环境中,在Build Steps里,选择下面执行脚本的一项

选择之后,编写测试脚本

保存配置并执行任务,测试成功

编写脚本,将上述最新打标的镜像推送至B机器

echo '在B机器上面执行命令'
echo '准备登录Harbor机器的仓库'docker login -u admin -p Harbor12345 Harbor机器IP:8085echo '登录成功,开始拉取镜像'docker pull 最新tag的镜像echo '拉取镜像成功'

然后执行,等待镜像的拉取完成即可,如果后续还有其他命令要执行,可以继续再在上述的执行脚本中添加即可。

任务完成之后,登录B机器,检查镜像是否拉取成功,然后就可以基于当前的镜像进行后续的操作了。

五、镜像仓库备选方案

5.1 阿里云镜像仓库

上述关于镜像仓库的选择,我们使用的是Harbor作为解决方案进行说明,事实上,关于企业应用的镜像仓库,很多云厂商也提供了解决方案,像阿里云,如果你购买了阿里云的云服务器,可以直接免费使用阿里云提供的镜像仓库作为你的镜像托管中心,这个在另一篇文章中有详细的说明,可以参考:k8s部署springboot项目,网上的资料也比较多,这也是一种比较成熟的解决方案。

5.2 dockerhub

dockerhub是docker原生的镜像仓库,比如大家平时拉取某个技术组件镜像时,如果没有配置镜像源,将直接从dockerhub上拉取,如果想节省成本,也可以考虑直接将镜像推送至dockerhub仓库。

5.3 Nexus Repository Manager

Sonatype Nexus Repository Manager也是一个流行的仓库管理工具,支持Docker以及其他包管理器。它提供了企业级的安全性、可靠性和性能优化。

5.4 JFrog Artifactory

JFrog Artifactory是一款企业级的仓库管理工具,支持多种软件包格式,包括Docker镜像。它提供了高级的存储管理、权限控制和审计功能。

六、docker可视化管理工具

除了Harbor,你也可以选择其他的工具,这里列举下面几种常见的Docker镜像可视化管理工具:

Rancher

Rancher是一个开源的容器管理平台,提供了图形化界面来管理Docker容器和集群。它支持多云环境下的容器部署和管理。可以参考之前的一篇关于rancher的介绍:rancher使用详解

Shipyard

Shipyard是一个开源的Docker管理工具,提供了Web界面来管理Docker容器、镜像、网络等,还支持集群管理功能。

Portainer

Portainer是一款开源的轻量级Docker管理界面,提供直观的用户界面,可以方便地管理Docker容器、镜像、网络等。

Cockpit

Cockpit是一个基于Web的服务器管理工具,可以用于监控和管理Linux系统上的Docker容器和服务。

七、写在文末

本文通过较大的篇幅详细介绍了Harbor这款企业级docker管理工具的使用,并通过案例演示了如何在jenkins中配置任务集成Harbor,从而实现镜像的构建推送与分发,希望对看到的同学有用哦,本篇到此结束,感谢观看。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/815593.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

互联网轻量级框架整合之设计模式

反射技术 Java的反射技术能够通过配置类的全限定名、方法和参数完成对象的初始化,甚至反射某些方法,大大的增强了Java的可配置型,这也是Spring IoC的底层原理,Java的反射技术覆盖面很广,包括对象构建、反射方法、注解、…

JavaScript 中什么应用场景下必须用 map 而不是对象来实现功能

前言 很多情况下,能用 map 实现的功能用对象也可以实现,都是基于键值对,但是在一些情况下,必须要使用 map 才可以。 必须用 map 而不是 object 的情况 键的类型不限:普通对象的键总是被转换为字符串或者 Symbols&a…

C#简单工厂模式的实现

using System.Diagnostics.Metrics; using System.Runtime.InteropServices; using static 手写工厂模式.Program;namespace 手写工厂模式 {internal class Program{public interface eats {void eat();}//定义了一个接口public class rice : eats{public void eat() {Console.…

Qt快速入门(Opencv小案例之人脸识别)

Qt快速入门(Opencv小案例之人脸识别) 编译出错记录 背景 因为主要使用qt,并且官网下载的win版本的编译好的opencv默认是vc的,所以我们需要自己下载opencv的源码使用mingw自行编译,我直接使用的vscode。 报错 报错…

【JavaWeb】Day43.MySQL概述——索引

介绍 索引(index):是帮助数据库高效获取数据的数据结构 。简单来讲,就是使用索引可以提高查询的效率。 优点: 1. 提高数据查询的效率,降低数据库的IO成本。 2. 通过索引列对数据进行排序,降低数据排序的成本&#…

C++系列-C++前言

什么是C C语言是结构化和模块化的语言,适合处理较小规模的程序,对于复杂的问题,规模较大的程序,需要高度的抽象和建模时,C语言则不合适,为了解决软件危机,20世纪80年代,计算机界提出…

Python 编程 深入了解内存管理机制、深拷贝与浅拷贝

🍉 CSDN 叶庭云:https://yetingyun.blog.csdn.net/ 一、对象和引用、内存管理机制 Python 中的一切都是对象,包括数字、字符串、列表和函数等。为了简化内存管理并提高效率,Python 采用了统一的对象模型。在这个模型中&#xff0c…

【考研数学】看张宇的书,高效自学攻略

张宇老师的课程,我建议还是认真听一下 因为张宇老师视频课并不是照本宣科的读讲义,他是真的有自己的教学方法 讲义上的概念,老师自己会在A4纸上带大家过一遍,并且遇到关键的知识点,老师会强调 张宇老师还会帮我们记…

[C语言][数据结构][链表] 双链表的从零实现!

目录 零.必备知识 0.1 一级指针 && 二级指针 0.2 双链表节点的成员列表 a. 数据 b. 后驱指针 c. 前驱指针 0.3 动态内存空间的开辟 一. 双链表的实现与销毁 1.1 节点的定义 1.2 双向链表的初始化 && 创建新节点 1.3 尾插 1.4 头插 1.5 尾删 1.6 头删 1…

MySQL8.0.36-社区版:错误日志(2)

mysql有个错误日志,是专门记录错误信息的,这个功能默认是开启的 一般都是在/var/log/mysqld.log 日志中存放 1.错误日志的位置 首先我们使用命令去查看一下,这个错误日志文件究竟在哪 进入到mysql中,使用命令 show variables…

二叉树遍历(前序创建|中序遍历)

牛客题目链接 目录 1.解题思路 1.1中序遍历打印 ​1.2前序创建二叉树 1.3注意点 博主这里用的是java实现 随手记一个知识: hasNext读取到空格或者换行符会结束 hasNextLine读取到换行符才会结束(空格不会退出) 为什么要强调这个呢? …

Vivado Design Suite中的增量实现和增量模式

Vivado Incremental(增量)是Xilinx FPGA设计工具中的一种功能,它允许对设计的一部分进行修改和重新编译,而不需要对整个设计进行重新编译。这种增量式的方法可以显著减少编译时间,特别是在进行小的修改或迭代开发时。 …

std::stringstream

std::stringstream 是 C 标准库中的一个类,用于对字符串进行输入输出操作,类似于文件流(std::ifstream 和 std::ofstream)。它允许你像使用 std::cin 和 std::cout 一样使用字符串。 std::stringstream 可以将字符串作为输入源&am…

ThreadPoolExecutor线程池解析

ThreadPoolExecutor线程池解析 一、ThreadPoolExecutor常见参数 jdk中Executors提供了几种常用的线程池,底层都是ThreadPoolExecutor。 public ThreadPoolExecutor(int corePoolSize,//核心线程数int maximumPoolSize,// 最大线程数long keepAliveTime,//非核心线程…

大数据产品有哪些分类?各类里知名大数据产品都有哪些?

随着互联网技术的持续进步和全球数字化转型的推进,我们正处于一个数据爆炸的时代。在这样的大背景下,大数据已经逐渐崭露头角,成为了推动各行各业发展的关键因素和核心资源。大数据不仅仅是指数据的规模巨大,更重要的是它蕴含的价…

量子信息产业生态研究(一):关于《量子技术公司营销指南(2023)》的讨论

写在前面。量子行业媒体量子内参(Quantum Insider)编制的《量子技术公司营销指南》是一本实用的英文手册,它旨在帮助量子科技公司建立有效的营销策略,同时了解如何将自己定位成各自的行业专家。本文对这篇指南的主要内容进行了翻译…

ubuntu上安装截图工具-Flameshot及其使用步骤说明

Flameshot 火焰截图-推荐 安装命令: sudo apt install flameshot 操作方式: 1)打开 2)右上角弹窗 3)点击后弹出 选择进行截图 4)截图后再选择分享 5)再重新选择区域,出现编辑…

【蓝桥杯】2024年第15届真题题目

试题 A: 握手问题 本题总分: 5 分 【问题描述】 小蓝组织了一场算法交流会议,总共有 50 人参加了本次会议。在会议上, 大家进行了握手交流。按照惯例他们每个人都要与除自己以外的其他所有人进 行一次握手(且仅有一次&a…

CMD 汉字乱码处理

windows 11 cmd汉字乱码问题处理 一 查看CMD编码 win R 输入 cmd 输入 chcp 查看回显信息 “936”代表的意思就是 GBK (汉字内码扩展规范),通常情况下GBK也是cmd的默认编码。 解决乱码需要把编码改为 utf-8 二 临时修改 在 终端中输入 chcp 65001 三 永久修改…

蓝桥杯嵌入式第十五届省赛真题题目

蓝桥杯昨天也考完了,大家可以看看题目 客观题题目 程序题题目