k8s-项目测试环境部署

部署规划

概述

项目开发好后，我们需要部署，我们接下来就基于 阿里云云效 + 阿里云容器镜像服务 + k8s 搭建部署环境

阿里云云效 : 放代码，可以做cicd（https://www.aliyun.com/product/yunxiao）

阿里云容器镜像服务 : 镜像仓库（https://cr.console.aliyun.com/cn-guangzhou/instances）

k8s : 运行服务

我们只在k8s内部运行服务，至于中间件(mysql、redis、es等)就会部署在k8s之外，如果你是线上使用云服务可以直接使用云服务，如果自建也最好运行在k8s之外。这里主要演示如何部署go-zero服务到k8s中

k8s部署，参考上一篇【centos7.9 搭建k8s】，再不行就去买个按时付费的云服务k8s

所以我们需要配置如下：

服务器名称作用Ip
k8s集群k8s集群，运行服务服务器A
中间件部署nginx、mysql、redis、es等等,k8s内部连接到此服务器服务器B

项目

项目参考go-zero-looklookhttps://github.com/Mikaelemmmm/go-zero-looklook，或者自己参考go-zero-looklook自己写个简单的版项目。

云效使用

查看官网文档，快速入门https://help.aliyun.com/document_detail/153762.html?

  • 创建项目
  • 配置ssh公钥
  • 上传项目
  • 配置流水线

阿里云容器镜像服务

查看官网文档使用https://help.aliyun.com/zh/acr/user-guide/container-registry-personal-instance-edition-documentations/?spm=a2c4g.11186623.0.0.5ac1285d1C30XT

使用个人版

  • 创建命名空间
  • 创建镜像仓库
  • 仓库里面有操作指南，登录、拉取镜像、推送镜像等

k8s部署

参考上一篇【centos7.9 搭建k8s】

发布服务到k8s

以上把我们需要用到云效、容器镜像服务、k8s准备好了，现在来编写云效流水线将我们的服务通过云效完整的发布到k8s中。

部署中间件

将nginx、mysql、redis、es等部署到k8s之外，用作线上独立环境（至于你想把某些中间件部署到k8s内部这个自行处理，本次重点是如何将go-zero开发的微服务部署到k8s集群内部），这里我就直接使用项目下的docker-compose-env.yaml了，把所有依赖的第三方中间件环境直接安装在服务器B这台服务器，前提是这台服务器已经安装好docker、docker-compose。

登陆到 服务器B

cd /usr/local/src/
mkdir data && cd data && vim docker-compose.yml
docker-compose up -d
docker-compose ps #查看确认

es占用资源比较大，一开始不需要可以先停了。filebeat日志收集也一样，这个比较占用磁盘空间。

独立配置

将每个服务的配置都独立出来，统一放在一个仓库，这样只给一个人线上仓库的权限，如果线上配置有变直接修改这个仓库的文件，在云效做cd的时候，会先拉取代码在拉取对应服务的配置自动构建，具体可以看后面的pipline。

【问】为什么不用配置中心？

1）修改db、redis等需要重启服务，但是有一些配置又不需要重启服务，运维有要去记，记混了比较容易造成线上事故

2）方便回滚。我们发新版本到线上，并且又改了新版本配置。这时候线上用户反馈有问题，线上需要快速回滚的话，如果我们使用将文件构建到镜像中，直接使用k8s一行命令就可以将上一个版本代码加配置直接回滚回来。如果使用了配置中心，回滚了代码，还要将上个版本的配置去配置中心改回来很麻烦，

独立线上仓库目录结构如下（这个结构是跟pipline中写法相关的）

仓库地址 ： https://github.com/Mikaelemmmm/go-zero-looklook-pro-conf , 直接下载就好

【注】1、修改配置中的中间件，数据库、redis等都要改成服务器B这台机器的IP，我们这台机器是线上环境的中间件。
2、另外一个就是我们的服务发现，线上我们部署在k8s中，go-zero直接支持k8s服务发现，所以不需要etcd等，我们在配置zrpc client的时候，要改成target，k8s的配置方式。

3）因为在云效流水线上面我们需要使用到goctl，所以需要把goctl一起上传到配置仓库里面
官网下载地址：https://go-zero.dev/docs/tasks/installation/goctl

下载解压，只需要上传goctl文件

4)因为在云效流水线上我们需要知道对应服务的端口号，所以需要把port.sh一起上传到配置仓库里面
port.sh内容如下

#!/bin/shcase $1 in
"identity-api") echo 1001
;;
"identity-rpc") echo 1101
;;
"usercenter-api") echo 1002
;;
"usercenter-rpc") echo 1102
;;
"message-mq") echo 1207
;;
"mqueue-rpc") echo 1106
;;
"order-api") echo 1004
;;
"order-mq") echo 1204
;;
"order-rpc") echo 1104
;;
"payment-api") echo 1005
;;
"payment-rpc") echo 1105
;;
"travel-api") echo 1003
;;
"travel-rpc") echo 1103
esac

最终独立线上仓库目录结构如下

1、goctl版本需要>=1.3.3。
2、在Windows下上传需要注意goctl和port.sh文件权限问题。

编写云效的pipline

k8s配置

配置服务发现

创建looklook项目的命名空间

kubectl create namespace go-zero-looklook

【注】：！！！非常重要！！！

1、构建优化：pipline中使用"goctl kube xxx"生k8s yaml的时候，我们是使用k8s方式部署不需要etcd，但是这种方式部署需要为生成的k8s yaml中指定serviceAccount。 原理可以看这篇文章下方go-zero的k8s服务发现讲解 ：https://mp.weixin.qq.com/s/-WaWJaM_ePEQOf7ExNJe7w

我这边已经指定好了serviceAccount ： find-endpoints

所以你需要在你的k8s创建find-endpoints这个serviceAccount并绑定相应权限，yaml文件我已经准备好了，你只需要执行

kubectl apply -f auth.yaml 即可 ，auth.yaml文件如下：

#创建账号
apiVersion: v1
kind: ServiceAccount
metadata:namespace: go-zero-looklookname: find-endpoints---
#创建角色对应操作
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:name: discov-endpoints
rules:
- apiGroups: [""]resources: ["endpoints"]verbs: ["get","list","watch"]---
#给账号绑定角色
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:name: find-endpoints-discov-endpoints
roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: discov-endpoints
subjects:
- kind: ServiceAccountname: find-endpointsnamespace: go-zero-looklook

配置好后，pipline生成k8s yaml的文件可以在生成时候指定serviceAccount，也就是说pipline中可以直接指定-serviceAcount 直接就在生成k8s的yaml中添加serviceAccount : find-endpoints，如下命令

./goctl kube deploy -secret docker-login -replicas 2 -nodePort 3${port} -requestCpu 200 -requestMem 50 -limitCpu 300 -limitMem 100 -name ${JOB_NAME}-${type} -namespace go-zero-looklook -image ${docker_repo}/${image} -o ${deployYaml} -port ${port} --serviceAccount find-endpoints
配置k8s拉取私有仓库镜像

k8s在默认情况下，不能拉取我们镜像服务的私有仓库镜像，如果拉取私有仓库镜像，则是会报 ErrImagePull 和 ImagePullBackOff 的错误

1、先在服务器A(k8s部署机)登陆阿里云镜像

$ docker login --username=*** registry.cn-guangzhou.aliyuncs.com
$ Username: admin
$ Password:
Login Succeeded

2、在k8s中生成登陆harbor配置文件

#查看上一步登陆harbor生成的凭证
$ cat /root/.docker/config.json
{"auths": {"registry.cn-guangzhou.aliyuncs.com": {"auth": "6KaD5pe25qOuOnFp123zMTIzLg=="}}
}

3、对秘钥文件进行base64加密

$ cat /root/.docker/config.json  | base64 -w 0ewoJImF1dGhzIjogewoJCSIxOTIuMTY4LjEuMTgwOjgwNzciOiB7CgkJCSJhdXRoIjogIllXUnRhVzQ2U0dGeVltOXlNVEl6TkRVPSIKCQl9Cgl9Cn0=

4、创建docker-secret.yaml

apiVersion: v1
kind: Secret
metadata:name: docker-login
type: kubernetes.io/dockerconfigjson
data:.dockerconfigjson: xxxxxxxxxxxxxxxx

$ kubectl create -f docker-secret.yaml -n go-zero-looklooksecret "docker-login" created

云效k8s连接

参考文档https://help.aliyun.com/document_detail/202419.html

登录到云效，进入项目里面，进入云效Kubernetes 集群管理页面(https://flow.aliyun.com/setting/kubernetes-manage)，新建Kubernetes 集群

连接服务器A，获取k8s配置信息，并复制到阿里云中导入K8S集群

$ cat /etc/rancher/k3s/k3s.yaml
----------------
apiVersion: v1
clusters:
- cluster:certificate-authority-data: xxxxxxxxxserver: https://127.0.0.1:6443name: default
contexts:
- context:cluster: defaultuser: defaultname: default
current-context: default
kind: Config
preferences: {}
users:
- name: defaultuser:client-certificate-data: xxxxxclient-key-data: xxxxxxx

注意在阿里云上把其中的IP改成公网IP:server: https://127.0.0.1:6443 -> server: https://公网IP:6443

云效添加服务连接

登录到云效，进入项目里面，进入云效服务连接管理页面(https://flow.aliyun.com/setting/service-connection)，新建服务连接

容器镜像服务连接

按照下图操作，阿里云容器镜像服务授权即可

云效代码服务连接

按照下图操作，云效服务授权即可

创建流水线

登录到云效，进入项目里面

我们先创建usercenter用户服务的流水线，如下图

1、修改流水线名称

配置变量和缓存

  • SERVICE_NAME: 发布的服务名称
  • DOCKER_REGISTRY：容器服务注册地址+命名空间
  • type: 运行时，选择发布服务的类型：rpc、api、mq

2、添加流水线源
添加流水线源->代码源选择云效->添加云效服务连接->选择代码仓库和分支
项目仓库和配置仓库都添加进来


工作目录和仓库名保持一致。上面截图错误了，请注意。或者自行修改命令行涉及到的工作目录

3、编辑单元测试
编辑单元测试->流水线源选择配置仓库

删除原来的步骤->添加新步骤

添加执行命令

chmod +x goctl
./goctl -v

4、编辑镜像构建
删除原来的步骤->添加新步骤->构建->执行命令类型
4.1 拷贝服务配置文件

yes | cp -rf /root/workspace/looklook-pro-conf/${SERVICE_NAME}/${type}/${SERVICE_NAME}.yaml app/${SERVICE_NAME}/cmd/${type}/etc

4.2 goctl创建Dockerfile

chmod +x /root/workspace/looklook-pro-conf/goctl
cd app/${SERVICE_NAME}/cmd/${type} && /root/workspace/looklook-pro-conf/goctl docker -go ${SERVICE_NAME}.go && ls -l
cat Dockerfile

4.3 复制Dockerfile到项目根目录

cp app/${SERVICE_NAME}/cmd/${type}/Dockerfile ./  && ls -l

4.4 镜像构建并推送至阿里云镜像仓库个人版
添加步骤->构建->镜像构建并推送至阿里云镜像仓库个人版类型

  • 连接服务：容器镜像服务连接
  • 地域：看自己地方选
  • 仓库：现在直接输入，因为涉及到变量
registry.cn-guangzhou.aliyuncs.com/镜像命名空间/${SERVICE_NAME}-${type}
  • 标签： 镜像的标签
${CI_COMMIT_ID_1}-${CI_COMMIT_ID_2}


5、添加新任务，k8s发布

5.1 删除原有yaml文件
添加新步骤->构建->执行命令类型

rm -f ${DEPLOY_YAML}
# 变量 DEPLOY_YAML = ${SERVICE_NAME}-${type}-deploy.yaml

5.2 创建K8S YAML

chmod +x ./goctl
chmod +x ./ports.sh
export port=$(./ports.sh ${SERVICE_NAME}-${type})
./goctl kube deploy -secret docker-login -replicas 2 -minReplicas 1 -maxReplicas 3 -nodePort 3${port} -requestCpu 200 -requestMem 50 -limitCpu 300 -limitMem 100 -name ${SERVICE_NAME}-${type} -namespace go-zero-looklook -image ${IMAGE_NAME} -o ${DEPLOY_YAML} -port ${port} -serviceAccount find-endpoints
cat ${DEPLOY_YAML}# 变量 IMAGE_NAME = ${DOCKER_REGISTRY}/${SERVICE_NAME}-${type}:${CI_COMMIT_ID_1}-${CI_COMMIT_ID_2}
# 变量 DEPLOY_YAML = ${SERVICE_NAME}-${type}-deploy.yaml

5.3、发布k8s
把默认的步骤拉到最后面

  • 集群连接：选择我添加的k8s连接
  • Kubectl版本：选择和部署一直或者相近的版本（不同可能有兼容问题）
  • 命名空间：上面k8s配置的时候我们有为项目创建命名空间
  • YAML路径：

6、配置完成

运行测试

1、先运行RPC，再运行API

2、构建完成

3、查看构建推送到容器服务的镜像

4、查看服务器Ak8s部署的节点

kubectl get pods -n go-zero-looklook //查看节点kubectl describe pod usercenter-api-cc7959b84-fk4p6  -n go-zero-looklook //查看节点详细信息kubectl logs usercenter-api-cc7959b84-fk4p6 -n go-zero-looklook//查看节点日志

问题

1、Pod状态一直 ErrImagePull / ImagePullBackOff
排查：kubectl describe、kubectl log查看日志，排查到原因是无法下载镜像
解决：阿里云镜像仓库提供公网、私网的地址，yaml文件中填写私网仓库地址无法拉取到镜像，需要改为公网

2、pod一直重启(RESTARTS一直往上增加)
排查：

  • kubectl describe、kubectl log查看日志。
  • 直接在服务器运行镜像，访问接口查看报错信息(需要把链接RPC模式改成直连)

docker images
docker run -p 1004:1004 5cb981c83a2b
  • 排查到的原因，代码错误

解决：修正代码

3、端口访问错误
./goctl kube deploy -secret docker-login -… 3 -nodePort 32004 … -port 2004 -serviceAccount find-endpoints

在pod里面监听的是2004端口(-port 2004),对外暴露是32004端口(-nodePort 32004)

4、目前Prometheus是监控不到的，真正线上环境自行研究，或者直接买个按时付费的云服务k8s

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/708435.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Unity（第十六部）声音和视频

Unity（第十六部）声音和视频

声音 1、听声音 创建相机的时候，相机自带Audio Listener 多个相机的时候，我们只保留一个Audio Listener就可以 2、声音源，环境音 添加Audio Source就行中文叫声音源 3、脚本执行的声音 using System.Collections; using System.Collection…
阅读更多...
Servlet（1）Request 请求对象

Servlet（1）Request 请求对象

1、接收请求数据的流程 浏览器发送HTTP请求到Tomcat服务器HTTP的请求中会包含很多请求数据（请求行请求头请求体）Tomcat服务器会对HTTP请求中的数据进行解析并把解析结果存入到一个对象中所封装的对象即为Request对象，所以可以从Request对象中…
阅读更多...
ubuntu安装新版本的CMake

ubuntu安装新版本的CMake

来到cmake官网选择版本 我需要在嵌入式板子上的Ubuntu18安装使用 故我选择aarch64版本。 按F12进入检查模式得到下载链接。 在板子上运行以下命令，获取安装脚本 wget https://github.com/Kitware/CMake/releases/download/v3.28.3/cmake-3.28.3-linux-aarch64.s…
阅读更多...
OpenCV实现目标追踪

OpenCV实现目标追踪

目录 准备工作 语言： 软件包： 效果演示 代码解读 （1）导入OpenCV库 （2）使用 cv2.VideoCapture 打开指定路径的视频文件 （3）使用 vid.read() 读取视频的第一帧，ret…
阅读更多...
前端视角对Rust的浅析

前端视角对Rust的浅析

概述 本文将从 Rust 的历史，前端的使用场景和业界使用案例一步步带你走进 Rust的世界。并且通过一些简单的例子，了解 Rust 如何应用到前端，提高前端的生产效率。 Rust简史 2006年，软件开发者Graydon Hoare在Mozilla工作期间&#…
阅读更多...
队列的概念及使用

队列的概念及使用

目录 一. 概念 二. 队列的使用 三. 队列模拟实现 四. 循环队列 五. 面试题 一. 概念 队列 ：只允许在一端进行插入数据操作，在另一端进行删除数据操作的特殊线性表，队列具有先进先出 FIFO(First In First Out) 入队列：进行插入操…
阅读更多...
IDEA基础——Maven配置tomcat

IDEA基础——Maven配置tomcat

配置方案 一、配置maven-tomcat plugin插件（只最高支持到tomcat 8）~~1.添加镜像源，获取tomcat 8插件配置~~~~1.1 在pom.xml里先添加镜像源~~~~1.2 添加tomcat插件配置~~ 2. 添加tomact官方发布的插件配置（无需添加镜像源&#xff…
阅读更多...
本届挑战赛季军方案：基于图网络及LLM AGENT的微服务系统异常检测和根因定位方法

本届挑战赛季军方案：基于图网络及LLM AGENT的微服务系统异常检测和根因定位方法

aiboco团队荣获本届挑战赛季军。该团队来自亿阳信通。 方案介绍 本届挑战赛采用开放式赛题，基于建行云龙舟运维平台的稳定性工具和多维监控系统，模拟大型的生活服务APP的生产环境，提供端到端的全链路的日志、指标和调用链数据。参赛队伍在组…
阅读更多...
vue中将某个不太规则的json转成对象，或者将对象转成json字符串

vue中将某个不太规则的json转成对象，或者将对象转成json字符串

vue中将某个不太规则的json转成对象，或者将对象转成json字符串 以我自己做的项目某个不规则的json为例 将json对象转成json字符串： JSON.stringify(jsonData); 将不规则json字符串转成对象并获取对应的属性的值： JSON.parse(jsonData).Name…
阅读更多...
云原生精品资料合集（附下载）

云原生精品资料合集（附下载）

云计算是产业数字化转型的关键基础设施,以基础设施资源为中心的云搬迁时代接近尾声，以应用价值为中心的云原生时代已经到，所以IT人员学习云原生正当时！最近跟各位大神征集了云原生的教程，行业报告和最佳实践，总有一款适…
阅读更多...
蓝桥杯_中断系统

蓝桥杯_中断系统

一 中断 中断，即cpu暂停执行当前程序，转而执行另外一段特殊程序，处理结束后。返回之前暂停程序继续执行。 中断向量，中断服务程序的入口地址，每个中断源都对应一个固定的入口地址。 中断服务函数，内核响应中…
阅读更多...
【亚马逊云科技】通过Amazon CloudFront（CDN）快速访问资源

【亚马逊云科技】通过Amazon CloudFront（CDN）快速访问资源

文章目录 前言一、应用场景二、【亚马逊云科技】CloudFront（CDN）的优势三、入门使用总结 前言 前面有篇文章我们介绍了亚马逊云科技的云存储服务。云存储服务主要用于托管资源，而本篇文章要介绍的CDN则是一种对托管资源的快速访问服务&#…
阅读更多...
Socket网络编程(二)——UDP快速入门

Socket网络编程(二)——UDP快速入门

目录 UDP相关概念UDP是什么为什么不可靠UDP能做什么UDP包最大长度 UDP单播、广播、多播概念1. 单播、广播、多播模型图2. ip地址分类3. 子网掩码的作用：4. 广播地址5. 网段划分6. 变长子网掩码 UDP核心APIAPI-DatagramSocketDatagramSocket构造方法DatagramSocket常…
阅读更多...
6.5 共享数据

6.5 共享数据

本节介绍Android的四大组件之一ContentProvider的基本概念和常见用法：首先说明如何使用内容提供器封装内部数据的外部访问接口，然后阐述如何使用内容解析器通过外部接口操作内部数据，最后叙述如何利用内容解析器读写联系人信息，以…
阅读更多...
10_Vue

10_Vue

文章目录 Vue快速入门Vue的指令Vue的插值表达式V指令v-bind（单向绑定）v-model（双向绑定）v-on（事件监听）v-for（循环）v-text、v-htmlv-show（显示/隐藏）v-if&…
阅读更多...
了解GPT：ChatGPT的终极指南

了解GPT：ChatGPT的终极指南

在人工智能（AI）的世界里，有一颗冉冉升起的新星正在革命性地改变我们与机器的交互方式：ChatGPT。在本文中，我们将深入研究什么是ChatGPT，为什么底层技术GPT如此强大，以及它是如何实现其卓越功能的…
阅读更多...
excel导出标准化

excel导出标准化

虽然标题叫标准化，只不过是我自己的习惯，当一件事情变得流程标准化之后，开发程序就会飞快，开发评估工作总是 搞个1~2天，实则前端后端一起开发，1个小时就可以搞定。 1 前端 const exportXls async () >…
阅读更多...
C++重点---STL简介

C++重点---STL简介

顾得泉：个人主页 个人专栏：《Linux操作系统》 《C从入门到精通》 《LeedCode刷题》 键盘敲烂，年薪百万！ 一、STL简介 STL（Standard Template Library）是C标准库中的一个重要组成部分，它提供了…
阅读更多...
iOS中卡顿产生的主要原因及优化思路

iOS中卡顿产生的主要原因及优化思路

卡顿本质上是一个UI体验上的问题，而UI的渲染及显示，主要涉及CPU和GPU两个层面。若 CPUGPU渲染耗时超过16.7ms，就会在屏幕vsync信号到来时无法更新屏幕内容，进而导致卡顿。 iOS中UI渲染主要包含Layout->Draw->Prepare->Co…
阅读更多...
MySQL5.7.44版本压缩包在Win11系统快速安装

MySQL5.7.44版本压缩包在Win11系统快速安装

一.背景 主要还是为了公司的带徒弟任务。我自己也喜欢MySQL的绿色版本。 1.软件版本说明 MySQL版本：5.7.44 压缩包版本，相当于绿色版。当然，你也可以使用window系统的Installer版本去安装。 操作系统：Win11家庭版 二.MySQL软…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023