创建k8s operator

目录

1.前提条件

2.进一步准备

2.1.安装golang

2.2.安装code(vscode的linux版本)

2.3.安装kubebuilder

3.开始创建Operator

3.1.什么是operator?

3.2.GV & GVK & GVR

3.3.创建operator

3.3.1. 生成工程框架

3.3.2.生成api(GVK)        

 3.3.3.实现代码逻辑,更新yaml定义

3.3.3.1.实现CR

 3.3.3.2.(依据代码定义)更新yaml

3.3.3.3.实现controller的Reconcile的方法

3.3.4.安装CRD

3.3.5.本地运行

3.3.5.1.运行项目

3.3.5.2.测试

3.3.5.1.1.准备测试CRD的yaml配置

 3.3.5.1.2.使用kubectl apply将CRD 实例部署到集群中

  3.3.5.3.停止运行

3.3.5.3.1.删除自定义的CRD实例

 3.3.5.3.1.停止工程运行

3.3.6.集群运行测试

3.3.6.1.修改Makefile

 3.3.6.2.将应用部署到k8s集群上

 3.3.6.3.测试

3.3.6.4.停止运行

参考文章


1.前提条件

使用kind搭建本地k8s集群之后,会准备好以下内容:

  • 本地多节点集群
  • kubectl 客户端命令工具
  • Lens k8s dashboard 可视化客户端工具
图1 查看本地集群信息

图2 本地集群workload信息

2.进一步准备

2.1.安装golang

按教程安装

图3 golang安装后查看go版本

        当前安装版本是:1.17.2 

2.2.安装code(vscode的linux版本)

这里有两种方式,一种是已经在windows上安装了vscode的情况下,希望在子系统的Ubuntu中也能使用vscode,一种是直接在Ubuntu安装Vscode。

我这里使用的第一种,按官方教程安装。如果是第二种,请按此方法安装。

# 使用命令打开vscode
code .
图4 在WSL2中使用命令打开Vscode

         WSL2和Win10的文件夹是互通的,当然可以直接在Win10中双击打开VScode,然后打开对应的项目路径,但是这样就有个缺点,无法在Terminal中使用一些Unbuntu的命令,有时候问题不大,但我们操作k8s的客户端是基于kubectl的,这个是使用这种方式的最重要原因,后续调试需要的必须条件。

2.3.安装kubebuilder

按官方文档安装

os=$(go env GOOS)
arch=$(go env GOARCH)# download kubebuilder and extract it to tmp
curl -L https://go.kubebuilder.io/dl/2.2.0/${os}/${arch} | tar -xz -C /tmp/# move to a long-term location and put it on your path
# (you'll need to set the KUBEBUILDER_ASSETS env var if you put it somewhere else)
sudo mv /tmp/kubebuilder_2.2.0_${os}_${arch} /usr/local/kubebuilder
export PATH=$PATH:/usr/local/kubebuilder/bin

校验kubebuilder安装后的情况 

图5 检查kubebuilder

3.开始创建Operator

3.1.什么是operator?

        我理解就是K8s的核心组件无法满足一些特定需求,而提供给开发者一个自定义资源的机会。当然,在我参考的文章中,也有比较系统的描述。但是从我的角度,确实比较易懂的解释就是这样的。既然是自定义资源,那我们需要知道一个资源需要有那些要素,这样才能定义

3.2.GV & GVK & GVR

  • GV: Api Group & Version

    • API Group 是相关 API 功能的集合
    • 每个 Group 拥有一或多个 Versions
  • GVK: Group Version Kind

    • 每个 GV 都包含 N 个 api 类型,称之为 Kinds,不同 Version 同一个 Kinds 可能不同
  • GVR: Group Version Resource

    • Resource 是 Kind 的对象标识,一般来 Kind 和 Resource 是 1:1 的,但是有时候存在 1:n 的关系,不过对于 Operator 来说都是 1:1 的关系

我们看个例子

apiVersion: apps/v1                 # 这个是 GV,G 是 apps,V 是 v1
kind: Deployment                    # 这个就是 Kind
metadata:                           # 这个是当前这种资源的媒体信息,你可以理解为detail infoname: local-path-provisionernamespace: local-path-storage...
spec:                               # spec就是Resource了,GVR中的R...

3.3.创建operator

3.3.1. 生成工程框架

# 创建工程文件夹
mkdir create-crd-demo
# 使用kubebuilder初始化一个项目框架
# --domain: 资源域名,结合后续步骤进一步理解一下
# --repo: project是一个golang工程,go工程使用package管理,这个是go.mod的module信息,如果该工程要作为其他工程的导入包,那这个就要填可访问的repo路径才可以,此处只要不是没意义的就可以了。
kubebuilder init --domain geoff.crd.demo --repo k8s-operator/kubebuilder-crd-demo
图6 使用kubebuilder创建工程框架

具体的工程目录如下:

.
├── Dockerfile    # 工程Dockerfile,构建镜像的时候使用
├── Makefile    # 定义make命令集合,将一些命令定义成一个function XXX, 然后make XXX执行命令。
├── PROJECT    # 项目信息
├── README.md    # 工程说明
├── config    # 这个是生成CRD所需要的yaml定义,使用Kustomize管理
│   ├── default    # 一些默认配置
│   │   ├── kustomization.yaml
│   │   ├── manager_auth_proxy_patch.yaml
│   │   └── manager_config_patch.yaml
│   ├── manager    # 部署CRD所需的 yaml
│   │   ├── controller_manager_config.yaml
│   │   ├── kustomization.yaml
│   │   └── manager.yaml
│   ├── prometheus    # Prometheus监控相关配置,demo应该用不到
│   │   ├── kustomization.yaml
│   │   └── monitor.yaml 
│   └── rbac    # 部署所需的 rbac 授权 yaml
│       ├── auth_proxy_client_clusterrole.yaml
│       ├── auth_proxy_role.yaml
│       ├── auth_proxy_role_binding.yaml
│       ├── auth_proxy_service.yaml
│       ├── kustomization.yaml
│       ├── leader_election_role.yaml
│       ├── leader_election_role_binding.yaml
│       ├── role_binding.yaml
│       └── service_account.yaml
├── go.mod    # 项目直接依赖(直接)
├── go.sum    # 项目全部依赖(直接+间接)
├── hack
│   └── boilerplate.go.txt
└── main.go    # 项目程序启动入口

3.3.2.生成api(GVK)        

刚才只是创建一个工程框架,一个壳子,接下来,我们创建一个api

# 创建k8s的api (GVK)
kubebuilder create api --group apps --version v1 --kind CustomeCrdDemo
图7 使用kubebuilder在生成的工程下继续生成api(GVK)相关定义

 我们注意到,工程目录多出了一些文件夹

.
├── Dockerfile
├── Makefile
├── PROJECT
├── README.md
├── api    # 新生成的和api(GVK)相关的定义
│   └── v1
│       ├── customecrddemo_types.go    # 这里是定义 spec 的地方
│       ├── groupversion_info.go    # GV 的定义,一般无需修改
│       └── zz_generated.deepcopy.go    # 和deepcopy相关的方法
├── bin
│   └── controller-gen    # 和go generater tool
├── config
│   ├── crd    # 自动生成的CRD文件,不用修改这里,只需要修改了v1中的go文件,之后执行make generate会更新当前目录的yaml定义文件
│   │   ├── kustomization.yaml
│   │   ├── kustomizeconfig.yaml
│   │   └── patches
│   │       ├── cainjection_in_customecrddemoes.yaml
│   │       └── webhook_in_customecrddemoes.yaml
│   ├── default
│   │   ├── kustomization.yaml
│   │   ├── manager_auth_proxy_patch.yaml
│   │   └── manager_config_patch.yaml
│   ├── manager
│   │   ├── controller_manager_config.yaml
│   │   ├── kustomization.yaml
│   │   └── manager.yaml
│   ├── prometheus
│   │   ├── kustomization.yaml
│   │   └── monitor.yaml
│   ├── rbac
│   │   ├── auth_proxy_client_clusterrole.yaml
│   │   ├── auth_proxy_role.yaml
│   │   ├── auth_proxy_role_binding.yaml
│   │   ├── auth_proxy_service.yaml
│   │   ├── customecrddemo_editor_role.yaml
│   │   ├── customecrddemo_viewer_role.yaml
│   │   ├── kustomization.yaml
│   │   ├── leader_election_role.yaml
│   │   ├── leader_election_role_binding.yaml
│   │   ├── role_binding.yaml
│   │   └── service_account.yaml
│   └── samples    # 这里是CRD示例文件,可以使用`kubectl apply -f`用来部署到集群当中
│       └── apps_v1_customecrddemo.yaml
├── controllers
│   ├── customecrddemo_controller.go    # 在这里实现 CRD controller的逻辑
│   └── suite_test.go   # 这里写测试 
├── go.mod
├── go.sum
├── hack
│   └── boilerplate.go.txt
└── main.go

 3.3.3.实现代码逻辑,更新yaml定义

3.3.3.1.实现CR

        到上面部分为止,我们已经通过kubebuilder生成了CRD所需的项目框架,接下来我们进行自定义开发,此时我们使用VScode来开发吧

# 在当前目录下打开VScode
code .

        我们随便增加CRD的spec字段,增加ResourceName、AdditionalInfo。这字段会在之后生成的yaml文件中的spec字段体现。

//……
// CustomeCrdDemoSpec defines the desired state of CustomeCrdDemo
type CustomeCrdDemoSpec struct {// INSERT ADDITIONAL SPEC FIELDS - desired state of cluster// Important: Run "make" to regenerate code after modifying this file// Foo is an example field of CustomeCrdDemo. Edit customecrddemo_types.go to remove/update// Foo string `json:"foo,omitempty"`// 资源名称ResouresName string `json:"resourceName,omitempty"`// 附加信息AdditionalInfo string `json:"additionalInfo,omitempty"`
}
//……
图8 修改xxx_type.go中关于CRD spec字段的定义

 3.3.3.2.(依据代码定义)更新yaml

        执行命令更新yaml,这里我们直接在VScode的Terminal中执行就可以了,不需要在WSL2上执行命令,方便开发。

# 重新生成yaml文件
make manifests generate

        更新yaml,struct上字段备注成为了description,是有意义的

# 新生成的yaml文件:config/crd/bases/apps.geoff.crd.demo_customecrddemoes.yaml
……
spec:description: CustomeCrdDemoSpec defines the desired state of CustomeCrdDemoproperties:additionalInfo:description: 附加信息type: stringresourceName:description: 资源名称type: string
……

 其中,yaml的路径和生成项目时设置的--domain是有关系的。

3.3.3.3.实现controller的Reconcile的方法

        不做复杂的实现,只增加日志打印。 

// For more details, check Reconcile and its Result here:
// - https://pkg.go.dev/sigs.k8s.io/controller-runtime@v0.11.2/pkg/reconcile
func (r *CustomeCrdDemoReconciler) Reconcile(ctx context.Context, req ctrl.Request) (ctrl.Result, error) {log := log.FromContext(ctx)// TODO(user): your logic herelog.Info("=========================== Create a new CRD instance ===========================")return ctrl.Result{}, nil
}
图9 实现controller的Reconcile的方法

3.3.4.安装CRD

# 往k8s安装CRD的定义
make install
图11 直接在Vscode的Terminal执行make install
图12 在集群中能看到install后已经存在了CRD的定义

3.3.5.本地运行

3.3.5.1.运行项目

# 运行工程应用
make run
图12 运行工程项目(在install之后)

         运行之后,项目成功跑起来了,没有报错就算是成功了。

3.3.5.2.测试

3.3.5.1.1.准备测试CRD的yaml配置

        我们自己定义的struct有两个字段,一个是resourceName、AdditionalInfo,我们要实现一个CRD的实例dem哦,目前项目工程路径:config/samples/xxx.yaml下有个自动生成的CRD模板,我们按照定义需要给这两个字段配置信息。

apiVersion: apps.geoff.crd.demo/v1
kind: CustomeCrdDemo
metadata:name: customecrddemo-sample
spec:# TODO(user): Add fields hereresourceName: "my-crd-instance-1"AdditionalInfo: "这是我测试的第一个CRD资源实例"
图13 准备CRD测试实例的yaml,需要实现spec的字段
 3.3.5.1.2.使用kubectl apply将CRD 实例部署到集群中
# 使用kubectl apply一个CRD实例
# 其中项目目录下config/samples/xxx.yaml是make generate mainfests生成的
kubectl apply -f ./config/samples/apps_v1_customecrddemo.yaml
图14 部署CRD实例demo
图15 集群上已经能看到刚刚部署的CRD实例demo
图16 项目工程(CRD operator)日志打印了,operator实现成功

  3.3.5.3.停止运行

3.3.5.3.1.删除自定义的CRD实例
# 删除了刚刚的CRD demo实例
kubectl delete -f config/samples/
图17 删除自定义的CRD实例demo
 3.3.5.3.1.停止工程运行

        直接在Vscode的Terminal中执行:Ctrl+C即可停止项目运行

图18 将本地运行的项目停止

3.3.6.集群运行测试

        上一章节,我们看到可以在本地run了project,直接看到当CRD被部署后,直接触发了我们controller中实现的日志。实际上,我们开发好了之后,这个operator application是要部署到k8s集群上的,主要controller的实现逻辑,这样CRD才能起作用。如何操作其实工程的README.md也有说明的,可以先看看。

3.3.6.1.修改Makefile

# 本地集群的名称
KUBE_CLUSTER = k8s-local-dev ……# 增加一个function,将本地的image上传到Kind的容器中
.PHONY: kind-load
kind-load: ## load the local image to the kind clusterkind load docker-image ${IMG} --name ${KUBE_CLUSTER}……
图17 增加kind-load,可以将image上传到kind创建的集群容器中

 3.3.6.2.将应用部署到k8s集群上

以下是部署到集群的步骤:构建镜像、上传到集群容器中、部署

其中IMG是一个可以自行设置镜像名的变量,此处为:k8s-crd-demo:1.0。

按如下命令执行后,即可在k8s集群中看到部署的CRD controller应用。

# 构建镜像(有时候会失败,可能是网络问题,多试几遍),IMG需要指定,不然后面部署还是有问题
make docker-build IMG=k8s-crd-demo:1.0
# local镜像上传到Kind创建的k8s集群所在的所有node中(如果本地是)
make kind-load IMG=k8s-crd-demo:1.0
# 部署controller
make deploy IMG=k8s-crd-demo:1.0

        在这个过程中,bin/目录存在一些二进制的工具包,可以先删除,是之前make run时下载的,有可能会报错。

图18 bin目录应该要提前删除kustomize工具
图19 make deploy IMG=xxx将controller部署到k8s上
图20 将operator这个应用application部署到k8s集群

 3.3.6.3.测试

 同上面3.3.5.2,直接测试即可

3.3.6.4.停止运行

# undeploy controller
make undeploy
# 卸载CRD
make uninstall

参考文章

如何在 Ubuntu 20.04 上安装 Go-腾讯云开发者社区-腾讯云

开始通过 WSL 使用 VS Code | Microsoft Learn

快速入门 - Kubebuilder 中文文档

3. KubeBuilder 简明教程 - Mohuishou

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/51299.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

0101prox-shardingsphere-中间件

1 启动ShardingSphere-Proxy 1.1 获取 目前 ShardingSphere-Proxy 提供了 3 种获取方式: 二进制发布包DockerHelm 这里我们使用Docker安装。 1.2 使用Docker安装 step1:启动Docker容器 docker run -d \ -v /Users/gaogzhen/data/docker/shardings…

windows安装新openssl后依然显示旧版本

1、Windows环境下升级openssl后,通过指令openssl version -a查看版本号: 这个版本号是以前的老版本,不知道在哪里 2、网上找了老半天也没找到答案,最后通过指令 where openssl 才找到原来的openssl在哪里,把老的卸载掉…

【C# Programming】编程入门:数组、操作符、控制流

目录 一、数组 1、数组的声明 1.1 一维数组声明: 1.2 多维数组声明: 2、数组的实例化和赋值 2.1 数组在声明时通过在花括号中使用以逗号分隔的数据项对数组赋值, 例如: 2.2 如果在声明后赋值,则需…

数据采集:selenium 获取 CDN 厂家各省市节点 IP

写在前面 工作需要遇到,简单整理理解不足小伙伴帮忙指正 对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。所有其它的路都是不完整的,是人的逃避方式,是对…

如何使用CSS实现一个无限循环滚动的图片轮播效果?

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐HTML 结构⭐ CSS 样式⭐ JavaScript 控制⭐ 注意事项:⭐ 写在最后 ⭐ 专栏简介 前端入门之旅:探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅&#xff0…

数据集收集列表(opencv,机器学习,深度学习)持续更新

opencv 车牌识别数据集 opencv 手写数字识别数据集 机器学习 Pima Indians数据集,下载地址

Kyligence Copilot 登陆海外,斩获 Product Hunt 日榜 TOP 2

8月14日,AI 数智助理 Kyligence Copilot 在全球知名科技产品平台 Product Hunt 上线,其以出色的产品创新实力,在激烈的竞争中脱颖而出,仅仅在 24 小时内收获了超过 400 个投票和近 200 条支持评论,荣登当日产品榜排名第…

C++动态规划经典案例解析之合并石子

1. 前言 区间类型问题,指求一个数列中某一段区间的值,包括求和、最值等简单或复杂问题。此类问题也适用于动态规划思想。 如前缀和就是极简单的区间问题。如有如下数组: int nums[]{3,1,7,9,12,78,32,5,10,11,21,32,45,22}现给定区间信息[…

【Java 高阶】一文精通 Spring MVC - 标签库 (八)

👉博主介绍: 博主从事应用安全和大数据领域,有8年研发经验,5年面试官经验,Java技术专家,WEB架构师,阿里云专家博主,华为云云享专家,51CTO 专家博主 ⛪️ 个人社区&#x…

提高nodejs中promise的性能

提高nodejs中promise的性能 我们先来看一个常见问题,假设我们有 N 条记录需要处理,或者例如,为每条记录发出 API 请求以获取数据。 通常情况下我们都是使用promise.all方法来实现这一需求: // 记录 const data [{}, {}, {}];/…

枚举和反射

枚举 枚举 枚举是一种特殊的类,它可以有自己的属性、方法和构造方法。 两种枚举的方法 自定义枚举 a.将构造器私有化,防止外部直接new b.去掉set方法,防止属性被修改 c.在内部直接创建固定的对象 通过类名直接去访问 关键字枚举 用…

2023.8各大浏览器11家对比:Edge/Chrome/Opera/Firefox/Tor/Vivaldi/Brave,安全性,速度,体积,内存占用

测试环境:全默认设置的情况下,均在全新的系统上进行测试,系统并未进行任何改动,没有杀毒软件,浏览器进程全部在后台,且为小窗模式,小窗分辨率均为浏览器厂商默认缩放大小(变量不唯一)&#xff0…

DevExpress WinForms数据编辑器组件,提供丰富的数据输入样式!(二)

DevExpress WinForms超过80个高影响力的WinForms编辑器和多用途控件,从屏蔽数据输入和内置数据验证到HTML格式化,DevExpress数据编辑库提供了无与伦比的数据编辑选项,包括用于独立数据编辑或用于容器控件(如Grid, TreeList和Ribbon)的单元格。…

nginx会话保持

ip_hash:通过IP保持会话 作用: nginx通过后端服务器地址将请求定向的转发到服务器上。 将客户端的IP地址通过哈希算法加密成一个数值 如果后端有多个服务器,第一次请求到服务器A, 并在务器登录成功,那么再登录B服务器就要重新…

AIGC ChatGPT 制作地图可视化分析

地图可视化分析是一种将数据通过地图的形式进行展示的方法,可以让人们更加直观、快速、准确的理解和分析数据。以下是地图可视化分析的一些主要好处: 加强数据理解:地图可视化可以将抽象的数字转化为直观的图形,帮助我们更好地理解…

科技赋能,教育革新——大步迈向体育强国梦

在 "全民健身"、"体育强国建设"战略的推进下,体育考试成绩被纳入重要升学考试且分值不断提高,体育科目的地位逐步上升到前所未有的高度,在此趋势下,体育教学正演变出更多元化、个性化的需求。然而现实中却面临…

Python标准库概览

Python标准库概览 知识点 标准库: turtle库(必选)标准库: random库(必选)、time库(可选) 知识导图 1、turtle库概述 turtle(海龟)是Python重要的标准库之一,它能够进行基本的图形绘制。turtle库绘制图形有一个基本框架&#x…

RabbitMQ特性介绍和使用案例

❤ 作者主页:李奕赫揍小邰的博客 ❀ 个人介绍:大家好,我是李奕赫!( ̄▽ ̄)~* 🍊 记得点赞、收藏、评论⭐️⭐️⭐️ 📣 认真学习!!!🎉🎉 文章目录 RabbitMQ特性…

Web 开发 Django 管理工具

上次为大家介绍了 Django 的模型,通过模型就可以操作数据库,从而就可以改变页面的展示内容,那问题来了,我们只能通过手动编辑模型文件来配置模型吗?当然不是,Django 为我们提供了强大的工具,可以…

【JavaEE】Spring全家桶实现AOP-统一处理

【JavaEE】AOP(2) 文章目录 【JavaEE】AOP(2)1. 统一登录校验处理1.1 自定义拦截器1.2 将自定义拦截器加入到系统配置1.3 测试1.4 对于静态资源的处理1.5 小练习:统一登录拦截处理1.6 拦截器原理1.6.1 执行流程1.6.2 源…