环境

一台ECS gitlab 16.10

一台ECS gitlab-runner docker方式

一台腾讯云服务器 k3s k3s version v1.30.5+k3s1 (9b586704)
go version go1.22.6
本地: idea 2024

准备开始

1. gitlab上创建"api"仓库,本地IDEA 创建spring boot web demo项目k8s-gitlab-demo. 确保能正常打包，并本地可以通过java -jar xxx.jar 正常运行。 然后推送到gitlab的"api"仓库，后面当代码更改后可以触发流水线
2. 代码中根目录下增 加Dockerfile，内容如下：

FROM openjdk:8-jdk
COPY ./*.jar app.jar
EXPOSE 8080
ENTRYPOINT ["java","-jar","app.jar"]

根目录下增加gitlab-ci.yml 注意名字是固定的不然流水线也不会触发。内容:

# 因为我们Runner执行器设置为docker, 所以这里需要指定docker的版本
image: docker:stablevariables:MAVEN_IMAGE: maven:3.5-jdk-8-alpine  # maven 打包使用的镜像K8S_IMAGE: registry.cn-hangzhou.aliyuncs.com/sanchar/kubectl:v1.20.1  # k8s 部署使用的镜像PROJECT_IMAGE_SERVER: registry.cn-hangzhou.aliyuncs.com  # 阿里云镜像地址PROJECT_IMAGE: registry.cn-hangzhou.aliyuncs.com/favision_anban/mes-web:1.0  # 项目镜像链接MAVEN_OPTS: -Dmaven.repo.local=/root/.m2/repository  # 指定 maven 本地仓库路径，以便做缓存PACKAGE_CACHE_REF_NAME: k8s-gitlab-demo-cacheDEPLOYMENT_NAME: k8s-gitlab-demo  # 项目在 k8s 中部署的名称K8S_NS: demo  # k8s 命名空间stages:- package- build- deploypackage:stage: packagescript:- echo "=============== 开始编译打包任务 ==============="- rm -fr /data/gitlab-runner/tmp/intelligent- mkdir -p /data/gitlab-runner/tmp/intelligent- mvn clean package -P test -Dmaven.test.skip=true $MAVEN_OPTS --settings=/root/.m2/settings.xml- cp -r target/*.jar Dockerfile /data/gitlab-runner/tmp/intelligentonly:- masterimage:  $MAVEN_IMAGEbuild:stage: buildscript:- echo "=============== docker build image  ==============="- cd /data/gitlab-runner/tmp/intelligent- docker build -t $PROJECT_IMAGE .- docker login --username $REG_USERNAME --password $REG_PASSWORD $PROJECT_IMAGE_SERVER- docker push $PROJECT_IMAGEonly:- master# 使用 k8s 部署
deploy:stage: deployimage: $K8S_IMAGEenvironment: k3s-gitlab# 构建 k8s 可执行环境before_script:- mkdir -p /etc/kubernetes- mv $K8S_ADMIN_CONF /etc/kubernetes/admin.conf- echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile- source ~/.bash_profilescript:- echo "=============== deploy  ==============="- if [ "$(kubectl get deployment -n $K8S_NS | grep $DEPLOYMENT_NAME | awk '{print $1}')" ]; then- kubectl set image deploy $DEPLOYMENT_NAME $DEPLOYMENT_NAME=$PROJECT_IMAGE -n $K8S_NS- kubectl scale deployment $DEPLOYMENT_NAME --replicas=0 -n $K8S_NS- kubectl scale deployment $DEPLOYMENT_NAME --replicas=1 -n $K8S_NS- else- mv $K8S_DEMO_YAML $DEPLOYMENT_NAME.yaml- kubectl apply -f $DEPLOYMENT_NAME.yaml -n $K8S_NS- fionly:- masterenvironment: k3s-gitlab

gilab-ci.yml 涉及的内容比较多，如maven拉取镜像如何加速、阿里云镜像库如何登录、k3s客户端kubectl如何访问k3s集群。后面再展开。
根目录下增加k8s-demo.yaml,用来自动部署spring boot应用，内容如下:

---
apiVersion: v1
kind: Service
metadata:name: $DEPLOYMENT_NAMEnamespace: demolabels:app: ci-cd-demo
spec:type: NodePortports:- name: ci-cd-demoport: 8080protocol: TCPnodePort: 30080selector:app: ci-cd-demo---
apiVersion: apps/v1
kind: Deployment #对象类型
metadata:name: $DEPLOYMENT_NAME #名称labels:app: ci-cd-demo #标注
spec:replicas: 1 #运行容器的副本数，修改这里可以快速修改分布式节点数量selector:matchLabels:app: ci-cd-demotemplate:metadata:labels:app: ci-cd-demospec:containers: #docker容器的配置- name: $DEPLOYMENT_NAMEimage: $PROJECT_IMAGEimagePullPolicy: Alwaysports:- containerPort: 8080protocol: TCPenv:- name: JAVA_OPTSvalue: -Xms256m -Xmx256mimagePullSecrets:- name: aliyun-respository-secret

可以看到在gitlab.yml的流水线及k8s-demo.yaml中用到了很多的变量，如REG_USERNAME、 K8S_IMAGE、 K8S_ADMIN_CONF等有的变量文件中没有需要在gitlab->api仓库、设置->ci/cd->变量中增加。如图:

详细说明如下：

K8S_ADMIN_CONF: 为文件类型变量，内容是k3s的配置文件内容
具体位置在腾讯云服务器的/etc/rancher/k3s/k3s.yml
注意copy值之前要把里面的server地址改成服务器的外网地址,不能是127.0.0.1:6443.原始值如图：

改掉以后才能被阿里云ECS上的kubectl访问。

K8S-DEMO_YAML: 文件型变量,值为k8s-demo.yaml的内容，直接拷贝无需更改。

REG_USERNAME: 数值类型变量，为自己的阿里云私有仓库登录用户名

REG_PASSWORD: 数值类型变量，为自己的阿里云私有仓库登录密码

3. docker方式安装gitlab runner(和gitlab不是统一台ECS),然后后在api仓库中注册runner

不然流水线会一直阻塞，不会运行。

4. 腾讯云服务器上安装k3s,为了使外网能访问需要使用–tls-san 选项，安装命令如下：

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC="--tls-san 你的服务器地址" sh -s -

具体原因参考：https://github.com/k3s-io/k3s/issues/1381
我使用的重装的方式，因为机器上已经安装好了k3s.其他方式还待研究，大神有好方式的请不吝留言赐教。
为了是containerd拉取镜像速度更快，需要在配置加速。
在腾讯云的shell下目录线执行：

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:"docker.io":endpoint:- "https://po13h3y1.mirror.aliyuncs.com"- "http://hub-mirror.c.163.com"- "https://mirror.ccs.tencentyun.com"- "https://registry-1.docker.io"- "http://f1361db2.m.daocloud.io"
EOF
systemctl restart k3s

k3s安装成功后，由于后面要从阿里云拉取镜像部署spring boot,
所以要事前创建好阿里云的secret，名字要和k8s-demo.yaml中
的名字一致

执行命令：

  kubectl create namespace demokubectl create secret docker-registry aliyun-  respository-secret \--docker-server=registry.cn-hangzhou.aliyuncs.com \--docker-username=你的阿里云用户名 \--docker-password=你的阿里云密码 \--docker-email=你的阿里云邮箱

注意要在腾讯云的防火墙开放k3s的6443端口，NodePort 30080端口

执行流水线

本地更改controller的任意代码，提交并推送到gitlab。可以看到流水线执行成功

然后登录到k3s服务器，输入可以看到有pod的一个副本在运行中！

kubectl get pod --namespace demo

可以执行如下命令，查看pod的信息

kubectl describe pod k8s-gitlab-demo-6994fcbbc7-5p5r4 --namespace demo

可以看到pod使用的镜像就是CI中推送到阿里云上的镜像,说明可以正常拉取，如果不正常，这个命令可以看到错误信息。

最后可以打开浏览器访问：
http://你的ip地址:30080/user
可以看到正常返回信息，

说明CI/CD部署成功！

注意和优化的地方

阿里云登录和外部访问k3s集群的地方上面已经讲过。这里主要说下maven加速。
在gitlab-ci.yml中可以看到mvn命令是runner拉取镜像并创建容器后才会有，在两台ECS和腾讯服务器的宿主机上均不会安装maven。如果你的流水线，在package阶段执行比较慢，在gitlab-runner服务器上通过docker ps命令可以看到有一个动态容器产生了，通过docker exec -it 容器id /bin/bash 进入容器，shell下执行 mvn
可以看到mvn是有效的，但是找到对应的settings.xml，里面基本上没有什么配置，更不能加速.但是因为这个容器是gitlab-runner创建的所以就要通过这个桥梁了。查看它的容器信息

docker inspect gitlab-runner

可以看到它挂载了host上的config文件和docker客户端，

  vim config.toml

在每个runner的docker部分都设置了挂载卷，其中就有.m2，host上目录就是 /data/.m2

ok，现在我们把自己配置了阿里云仓库的镜像的settings.xml上传到这个目录下，如图：

然后更改 gitlab-ci.yml中的mvn命令行(我已更改)，

- mvn clean package -P test -Dmaven.test.skip=true $MAVEN_OPTS --settings=/root/.m2/settings.xml

然后重新执行流水线。发现他会从aliyun上下载依赖，而不是超慢的maven2.

.这里还有个缓存的问题，以后在研究，如有大神知晓，请不吝留言赐教，谢谢！到此，就告一段落了，

enjoy！