Kubernetes控制器（四）_____

控制器介绍

StatefulSet：是Kubernetes中用于管理有状态应用的控制器。与Deployment不同，StatefulSet用于部署和管理需要持久标识、有序部署和唯一网络标识的 Pod。典型的用例包括数据库、缓存和队列等有状态应用。（有状态服务：单点故障整体崩溃。无状态服务：单点故障不影响整体）

稳定的网络标识符： StatefulSet中的每个Pod都具有稳定的网络标识符，其名称遵循固定的命名模式。即Pod重新调度后其PodName和HostName不变，基于Headless Service（无头服务）来实现。（无头服务：就是跳过这个4层或者7层代理，直接与pod的真实Ip进行访问。正常我们通过nslookup解析到service的ip，而无头服务，通过解析后得到的是后端pod的ip地址）
有序部署： StatefulSet确保Pod按照固定顺序部署和更新。在Pod启动和停止时，StatefulSet会按照定义的顺序逐个进行，从而确保有序的启动和停止。即Pod是有顺序的，在部署或者扩展的时候要依据定义的顺序依次进行（即从0到N-1，在下一个Pod运行之前的所有Pod必须都是Running和Ready状态），基于init containers来实现。
持久标识： StatefulSet中的每个Pod都具有持久标识符，通常用于持久化存储（例如持久卷）。即Pod重新调度后还是能访问到相同的持久化数据，基于PVC来实现。
有状态服务： StatefulSet管理的Pod可以用作有状态服务。与Deployment不同，StatefulSet管理的Pod具有固定的网络标识符和持久标识符，因此更适合于有状态应用的需求。
有序收缩，有序删除（即从N-1到0）

从StatefulSet的特点和应用场景发现，StatefulSet通过Headless Service生成可解析的DNS记录；通过volumeClaimTemplates创建pvc和对应的pv绑定；后定义StatefulSet来创建pod。

和Deployment相比：相同的是StatefulSet和Deployment管理了基于相同容器定义的一组Pod。但和Deployment不同的是，StatefulSet为它们的每个Pod维护了一个固定的ID。这些Pod是基于相同的声明来创建的，但是不能相互替换，无论怎么调度，每个Pod都有一个永久不变的ID。你在StatefulSet对象中定义你期望的状态，然后StatefulSet的控制器就会通过各种更新来达到那种你想要的状态。

基于StatefulSet的Mysql部署

在生产环境中数据的存储尤为重要，不管什么哪一类的Mysql高可用（keepalived+双主，MHA，MMM，Heartbeat+DRBD）基础都是Msql的主从复制。Mysql主从同步的过程第一部分就是master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务写入二进制日志。在事件写入二进制日志完成后，master通知存储引擎提交事务。下一步就是slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件，如果已经同步了master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。 SQL slave thread（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数据一致。只要该线程与I/O线程保持一致，中继日志通常会位于OS的缓存中，所以中继日志的开销很小。

k8s部署mysql集群（一主两从）在K8s官网有示例：https://kubernetes.io/zh-cn/docs/tasks/run-application/run-replicated-stateful-application/可供参考。集群读写分离，读数据库通过Service服务访问。通过headless服务对数据库实现写操作同时使Slave数据库与Master数据库实现同步。

部署持久化存储

可参考：https://blog.csdn.net/qq42004/article/details/137113713?spm=1001.2014.3001.5502

修改StorgaeClass对象中的parameters.pathPattern: “ ${.PVC.namespace}/$ {.PVC.annotations.nfs.io/storage-path}”
为：parameters.pathPattern: " ${.PVC.namespace}/$ {. $KaTeX parse error: Expected 'EOF', got '}' at position 9: PVC.name}̲$ {.PVC.annotations.nfs.io/storage-path}"在mysql的Pod获取PVC后在存储后端创建的目录增加一层。否则容器创建的持久化目录都在一个目录内。

[root@localhost k8s]# tree -d /mnt/k8s/my
/mnt/k8s/my #命名空间名称：PVC.namespace
├── data-mysql-pass-0 #Pvc名称：$PVC.name
│   └── mysql #StatufulSet中Mountvolume中的subPaht
│       ├── mysql
│       ├── performance_schema
│       ├── sys
│       ├── test
│       └── xtrabackup_backupfiles

部署Service

apiVersion: v1
kind: Service
metadata:name: mysql-pass-svclabels: ser: mysql-ser namespace: my
spec:ports:- name: mysql port: 3306clusterIP: Noneselector:tai: mysql---apiVersion: v1
kind: Service
metadata:name: mysql-read-passlabels:app: mysql-ser-nodenamespace: my
spec:ports:- name: mysqlport: 3306protocol: TCPnodePort: 32302targetPort: 3306selector:tai: mysql type: NodePort

部署Secret、ConfigMap

apiVersion: v1
kind: Secret
metadata:name: mysql-secret
type: Opaque
data:bwk: cGFzc3dvcmQxMjM0NTY=  # 这里的值是密码的base64编码表示,echo -n '12345678' | base64
---
apiVersion: v1
kind: ConfigMap
metadata:name: mysql-cnf-maplabels:app: mysqlnamespace: my 
data:primary.cnf: |[mysqld]log-bin=mysql-bin bind-address = 0.0.0.0binlog_format=mixed log-bin-index=mysql-bin.index lower_case_table_names=1relay-log-index = slave-relay-bin.indexreplica.cnf: |[mysqld]bind-address = 0.0.0.0super-read-onlylog-bin=mysql-bin relay-log=relay-bin relay-log-index=slave-relay-bin.index lower_case_table_names=1

部署StatefulSet

apiVersion: apps/v1
kind: StatefulSet
metadata:name: mysql-passlabels:da: mysqlnamespace: my
spec:minReadySeconds: 20replicas: 3revisionHistoryLimit: 20selector:matchLabels:tai: mysqlserviceName: mysql-pass-svc#定义StatefulSet和Service的headless服务关联template:metadata:annotations: description: "Mysql containers for Master-slave replication"name: mysql-containerslabels:tai: mysqlnamespace: mysqlspec:initContainers:- name: init-mysqlimage: mysql:5.7imagePullPolicy: IfNotPresentenv:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name: mysql-secretkey: bwkcommand:- bash- "-c"- |set -ex# 基于 Pod 序号生成 MySQL 服务器的 ID。[[ $HOSTNAME =~ -([0-9]+)$ ]] || exit 1ordinal=${BASH_REMATCH[1]}echo [mysqld] > /mnt/conf.d/server-id.cnf# 添加偏移量以避免使用 server-id=0 这一保留值。echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf# 将合适的 conf.d 文件从 config-map 复制到 emptyDir。if [[ $ordinal -eq 0 ]]; thencp /mnt/config-map/primary.cnf /mnt/conf.d/elsecp /mnt/config-map/replica.cnf /mnt/conf.d/fi          volumeMounts:- name: confmountPath: /mnt/conf.d- name: confg-mapmountPath: /mnt/config-map- name: clone-mysqlimage: docker.io/yizhiyong/xtrabackup:latestimagePullPolicy: IfNotPresent    command:- bash- "-c"- |set -ex# 如果已有数据，则跳过克隆。[[ -d /var/lib/mysql/mysql ]] && exit 0# 跳过主实例（序号索引 0）的克隆。[[ `hostname` =~ -([0-9]+)$ ]] || exit 1ordinal=${BASH_REMATCH[1]}#获取自动定义Pod名称的最后一个字段。即生成名称的mysql-pass-0的最后一个数字。[[ $ordinal -eq 0 ]] && exit 0# 当等于0的时候推出不等于0的时候执行下面操作，即从原来的对等节点克隆数据。ncat --recv-only  mysql-pass-$(($ordinal-1)).mysql-pass-svc  3307 | xbstream -x -C /var/lib/mysql# 准备备份。ncat --recv-only 通过headless服务访问访问方式是pod-name.namespace.svc.cluster.localxtrabackup --prepare --target-dir=/var/lib/mysqlvolumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql- name: confmountPath: /etc/mysql/conf.dcontainers:- name: mysqlimage: mysql:5.7imagePullPolicy: IfNotPresentenv:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name: mysql-secretkey: bwk- name: LANGvalue: "C.UTF-8"#此处定义语言环境开发会在服务获取字符编码写Dockerfile的时候可以直接变更。ports:- name: mysqlcontainerPort: 3306volumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql - name: confmountPath: /etc/mysql/conf.d - name: timemountPath: /etc/localtimeresources:requests:cpu: 500mmemory: 1GilivenessProbe:exec:command: - /bin/sh - -ec- >-mysqladmin -uroot -p${MYSQL_ROOT_PASSWORD} PINGinitialDelaySeconds: 30periodSeconds: 10timeoutSeconds: 5readinessProbe:exec:# 检查我们是否可以通过 TCP 执行查询（skip-networking 是关闭的）。command:- /bin/sh- -ec - >-mysql -h127.0.0.1 -uroot -p$MYSQL_ROOT_PASSWORD -e'SELECT 1' initialDelaySeconds: 5periodSeconds: 2timeoutSeconds: 1- name: xtrabackupimage: docker.io/yizhiyong/xtrabackup:latestimagePullPolicy: IfNotPresentenv:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name: mysql-secretkey: bwkports:- name: xtrabackupcontainerPort: 3307command:- bash- "-c"- |set -excd /var/lib/mysql# 确定克隆数据的 binlog 位置（如果有的话）。if [[ -f xtrabackup_slave_info && "x$(<xtrabackup_slave_info)" != "x" ]]; then# XtraBackup 已经生成了部分的 “CHANGE MASTER TO” 查询# 因为我们从一个现有副本进行克隆。(需要删除末尾的分号!)cat xtrabackup_slave_info | sed -E 's/;$//g' > change_master_to.sql.in# 在这里要忽略 xtrabackup_binlog_info （它是没用的）。rm -f xtrabackup_slave_info xtrabackup_binlog_infoelif [[ -f xtrabackup_binlog_info ]]; then# 我们直接从主实例进行克隆。解析 binlog 位置。[[ `cat xtrabackup_binlog_info` =~ ^(.*?)[[:space:]]+(.*?)$ ]] || exit 1rm -f xtrabackup_binlog_info xtrabackup_slave_infoecho "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}',\MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.infi# 检查我们是否需要通过启动复制来完成克隆。if [[ -f change_master_to.sql.in ]]; thenecho "Waiting for mysqld to be ready (accepting connections)"until mysql -h 127.0.0.1 -uroot -p${MYSQL_ROOT_PASSWORD} -e "SELECT 1"; do sleep 1; doneecho "Initializing replication from clone position"mysql -h 127.0.0.1 -uroot -p${MYSQL_ROOT_PASSWORD} \-e "$(<change_master_to.sql.in), \MASTER_HOST='mysql-pass-0.mysql-pass-svc', \#访问的mysql master的Pod,此时master容器已经启动名称以及确定。MASTER_USER='root', \MASTER_PASSWORD='${MYSQL_ROOT_PASSWORD}', \MASTER_CONNECT_RETRY=10; \START SLAVE;" || exit 1# 如果容器重新启动，最多尝试一次。mv change_master_to.sql.in change_master_to.sql.orig#修改change_master_to.sql.in防止重启后再次找到文件重克隆fi# 当对等点请求时，启动服务器发送备份。exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c \"xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root --password=${MYSQL_ROOT_PASSWORD}"  volumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql- name: confmountPath: /etc/mysql/conf.dresources:requests:cpu: 100mmemory: 100Mivolumes:- name: timehostPath: path: /etc/localtimetype: File- name: confemptyDir: {}- name: confg-mapconfigMap:name: mysql-cnf-mapvolumeClaimTemplates:- metadata:name: dataspec:storageClassName: "nfs-stgc-delete"accessModes: ["ReadWriteOnce"]resources:requests:storage: 1Gi

容器挂载路径图：
在这里插入图片描述

StatefulSet.spec.serviceName配置headless服务名称。
在容器init-mysql、mysql、xtrabackup添加环境变量配置mysql密码。clone-mysql和xtrabackup需要密码的进行修改
在clone-mysql、xtrabackup访问Master的位置修改访问的主机名。
挂载服务时间。

部署测试

查看Pod状态

[root@master my]# kubectl get pod -n my 
NAME           READY   STATUS    RESTARTS   AGE
mysql-pass-0   2/2     Running   0          3h6m
mysql-pass-1   2/2     Running   0          3h5m
mysql-pass-2   2/2     Running   0          3h5m

查看Service信息

kubectl describe svc mysql-pass-svc/mysql-read-pass -n my

查看时间同步：

kubectl exec mysql-pass-0 -c mysql -it -n my -- /bin/bash进入容器bash-4.2# date
Sun Mar 31 15:29:12 CST 2024
bash-4.2# exit
[root@master my]# date
2024年 03月 31日 星期日 15:29:15 CSTmysql> select now();+---------------------+| now()               |+---------------------+| 2024-03-31 15:31:10 |+---------------------+1 row in set (0.00 sec)

测试mysql集群

[root@master my]#  kubectl run mysql-client --image=mysql:5.7 -i --rm --restart=Never --\
>   mysql -h mysql-pass-0.mysql-pass-svc.my -uroot -p12345678 <<EOF
> CREATE DATABASE test;
> CREATE TABLE test.messages (message VARCHAR(250));
> INSERT INTO test.messages VALUES ('hello');
> EOF
If you don't see a command prompt, try pressing enter.
pod "mysql-client" deleted
[root@master my]# kubectl run mysql-client --image=mysql:5.7 -i -t --rm --restart=Never --\
>   mysql -h mysql-read-pass.my -uroot -p12345678 -e "SELECT * FROM test.messages"
mysql: [Warning] Using a password on the command line interface can be insecure.+---------+| message |+---------+| hello   |+---------+pod "mysql-client" deleted