CICD联动阿里云容器服务Kubernetes实践之Bamboo篇

本文档以构建一个 Java 软件项目并部署到阿里云容器服务的Kubernetes集群为例说明如何使用 Bamboo在阿里云Kubernetes服务上运行Remote Agents并在agents上运行Build Plans。

1. 源码项目

本示例中创建的GitHub源码项目地址为：

https://github.com/AliyunContainerService/jenkins-demo.git

分支为:

bamboo

2. 在Kubernetes中部署Remote Agent

2.1 创建kaniko-docker-cfg secret

kaniko-docker-cfg secret用于Remote Agent上构建任务使用kaniko推送容器镜像时的权限配置

kubectl -n bamboo create secret generic kaniko-docker-cfg  --from-file=/root/.docker/config.json

上面命令中的/root/.docker/config.json，是在linux服务器上使用root用户通过以下命令生成的：

docker login registry.cn-hangzhou.aliyuncs.com

2.2 创建serviceaccount bamboo以及clusterrolebinding用于kubectl部署应用到kubernetes集群的权限设置，创建bamboo-agent deployment

注意：本示例中的clusterrolebinding为admin权限，具体使用中可以根据自己的需要创建最小权限的serviceaccount

bamboo-agent.yaml:

---
apiVersion: v1
kind: ServiceAccount
metadata:namespace: bambooname: bamboo---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:name: bamboo-cluster-admin
subjects:- kind: ServiceAccountname: bamboonamespace: bamboo
roleRef:kind: ClusterRolename: cluster-adminapiGroup: rbac.authorization.k8s.io---
apiVersion: apps/v1beta2
kind: Deployment
metadata:name: bamboo-agent
spec:replicas: 1selector:matchLabels:app: bamboo-agenttemplate:metadata:labels:app: bamboo-agentspec:serviceAccountName: bamboocontainers:- name: bamboo-agentenv:- name: BAMBOO_SERVER_URLvalue: http://xx.xx.xx.xx:8085image: registry.cn-hangzhou.aliyuncs.com/haoshuwei/docker-bamboo-agent:v1imagePullPolicy: AlwaysvolumeMounts:- mountPath: /root/.docker/name: kaniko-docker-cfgvolumes:- name: kaniko-docker-cfgsecret:secretName: kaniko-docker-cfg

kubectl -n bamboo apply -f bamboo-agent.yaml

上述kubernetes资源创建完毕后等待remote agent完成初始化配置，可以使用如下命令查看日志：

kubectl -n bamboo logs -f <bamboo agent pod name>

Remote Agent注册成功后可以在 Bamboo administration -> Agents -> Remote agents 下查看：

3. 配置一个build plan完成应用源码拉取、编译打包、容器镜像打包和推送、应用部署的过程

3.1 创建一个build plan bamboo-ack-demo

3.2 配置Stages并添加Job

Job配置：

3.2.1 源码拉取

3.2.2 mvn打包

3.2.3 kaniko打包和推送容器镜像

本示例中script body为：

kaniko -f `pwd`/Dockerfile -c `pwd` --destination=registry.cn-hangzhou.aliyuncs.com/haoshuwei/bamboo-java-demo:latest

3.2.4 kubectl部署应用到kubernetes

本示例中script body为：

sed -i 's#IMAGE_URL#registry.cn-hangzhou.aliyuncs.com/haoshuwei/bamboo-java-demo:latest#' ./*.yaml
kubectl apply -f ./

3.3 运行build

3.4 访问应用服务

[root@iZbp12i73koztp1cz75skaZ bamboo]# kubectl -n bamboo get svc
NAME                TYPE           CLUSTER-IP      EXTERNAL-IP       PORT(S)        AGE
jenkins-java-demo   LoadBalancer   xx.xx.xx.xx   xx.xx.xx.xx   80:32668/TCP   39m