Kubernetes集群上的Etcd备份和恢复

在本教程中，您将学习如何在Kubernetes集群上使用etcd快照进行etcd备份和恢复。

在Kubernetes架构中，etcd是集群的重要组成部分。所有集群对象及其状态都存储在etcd中。为了更好地理解Kubernetes，有几点关于etcd的信息是您需要了解的。

它是一个一致的、分布式的、安全的键值存储。
它使用raft协议。
支持堆叠etcd的高可用架构。
它存储kubernetes集群配置、所有API对象、对象状态和服务发现细节。

Kubernetes etcd 备份使用etcdctl

以下是您应该了解的有关 etcd 备份的信息。

etcd 有一个内置的快照机制。
etcdctl是与 etcd 交互以获取快照的命令行实用程序。

按照下面给出的步骤备份 etcd 快照。

登录到控制平面
如果群集控制平面中没有 etcdctl，请使用以下命令进行安装。

sudo apt install etcd-client

我们需要将以下三部分信息传递给etcdctl以获取etcd快照。
1. etcd endpoint (–endpoints)
2. ca certificate (–cacert)
3. server certificate (–cert)
4. server key (–key)

你可以通过两种方式获得上述参数。

etcd的静态pod清单文件位于/etc/kubernetes/manifest/etcd.yaml位置。

您也可以通过描述在kube-system命名空间中运行的etcd pod来获得上述细节。在描述pod时，将etcd-master-node替换为您的etcd pod名称。

kubectl get po -n kube-system
kubectl describe pod etcd-master-node -n kube-system

使用以下命令进行etcd快照备份。

ETCDCTL_API=3 etcdctl \--endpoints=https://127.0.0.1:2379 \--cacert=<ca-file> \--cert=<cert-file> \--key=<key-file> \snapshot save <backup-file-location>

添加实际位置和参数时，命令如下所示。执行该命令进行备份。您可以将/opt/backup/etc.db替换为您选择的位置和名称。

ETCDCTL_API=3 etcdctl \--endpoints=https://127.0.0.1:2379 \--cacert=/etc/kubernetes/pki/etcd/ca.crt \--cert=/etc/kubernetes/pki/etcd/server.crt \--key=/etc/kubernetes/pki/etcd/server.key \snapshot save /opt/backup/etcd.db

如果执行成功，你会得到一个“Snapshot saved at /opt/backup/etc.db”的消息，如下所示。

此外，您可以使用以下命令来验证快照。

ETCDCTL_API=3 etcdctl --write-out=table snapshot status /opt/backup/etcd.db

下面是一个示例输出。

+----------+----------+------------+------------+
|   HASH   | REVISION | TOTAL KEYS | TOTAL SIZE |
+----------+----------+------------+------------+
| b7147656 |    51465 |       1099 |     5.1 MB |
+----------+----------+------------+------------+

Kubernetes etcd恢复使用快照备份

现在我们在/opt/backup/etc.db位置有了备份。我们将使用快照备份来恢复etcd。

下面是恢复etcd的命令。

ETCDCTL_API=3 etcdctl snapshot restore <backup-file-location>

让我们执行etcd还原命令。/opt/backup/etc.db是备份文件。

ETCDCTL_API=3 etcdctl snapshot restore /opt/backup/etcd.db

如果您想使用特定的数据目录进行恢复，可以使用--data-dir标志添加位置，如下所示。

ETCDCTL_API=3 etcdctl --data-dir /opt/etcd snapshot restore /opt/backup/etcd.db

创建定时任务备份

通过配置 Kubernetes CronJob，可以指定定期执行备份任务的时间表，确保etcd数据在指定的时间间隔内自动备份。这种方式不仅简化了备份流程，还能确保集群数据的安全和持久性，防止数据丢失。CronJob的灵活性和自动化特性使得管理和维护etcd备份变得更加高效和可靠。

apiVersion: batch/v1
kind: CronJob
metadata:name: etcd-disaster-recovery  # 定义 CronJob 的名称namespace: cronjob  # 指定 CronJob 所属的命名空间
spec:schedule: "0 2 * * *"  # 设置定时任务的调度时间表达式，表示每天凌晨2点执行一次jobTemplate:spec:template:metadata:# labels:#   app: etcd-disaster-recovery  # 为 Pod 添加标签，可根据需要注释或删除spec:affinity:  # 定义 Pod 的亲和性配置nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: kubernetes.io/hostnameoperator: Invalues:- master01  # 选择特定的节点（这里是选择 hostname 为 master01 的节点）containers:  # 定义 Pod 中的容器- name: etcd  # 容器名称image: registry.k8s.io/etcd:3.5.10-0  # 使用的 etcd 镜像版本为 3.5.10-0imagePullPolicy: "IfNotPresent"  # 镜像拉取策略，如果本地已存在该镜像，则不重新拉取command:  # 容器启动命令- sh- -c- "export ETCDCTL_API=3; \etcdctl --endpoints=$ENDPOINT \--cert=/etc/kubernetes/pki/etcd/server.crt \--key=/etc/kubernetes/pki/etcd/server.key \--cacert=/etc/kubernetes/pki/etcd/ca.crt \snapshot save /snapshot/snapshot.db; \echo etcd backup success"env:  # 环境变量配置，设置了一个名为 ENDPOINT 的环境变量，值为 "https://127.0.0.1:2379"- name: ENDPOINTvalue: "https://127.0.0.1:2379"volumeMounts:  # 挂载配置，指定了容器中需要挂载的卷和挂载路径- mountPath: "/etc/kubernetes/pki/etcd"  # 将主机上的 /etc/kubernetes/pki/etcd 目录挂载到容器的 /etc/kubernetes/pki/etcd 路径name: etcd-certs- mountPath: "/var/lib/etcd"  # 将主机上的 /var/lib/etcd 目录挂载到容器的 /var/lib/etcd 路径name: etcd-data- mountPath: "/snapshot"  # 将主机上的 /root/etcd/snapshot 目录挂载到容器的 /snapshot 路径name: snapshotsubPath: data/etcd-snapshot  # 在主机上的 /root/etcd/snapshot 目录下，将数据挂载到容器的 /snapshot/data/etcd-snapshot 路径下- mountPath: /etc/localtime  # 将主机上的 /etc/localtime 文件挂载到容器的 /etc/localtime 路径name: lt-config- mountPath: /etc/timezone  # 将主机上的 /etc/timezone 文件挂载到容器的 /etc/timezone 路径name: tz-configrestartPolicy: OnFailure  # 定义容器重启策略，当容器失败时才会重启volumes:  # 卷配置，定义了 Pod 中使用的卷- name: etcd-certshostPath:path: /etc/kubernetes/pki/etcd  # 使用主机上的 /etc/kubernetes/pki/etcd 目录作为卷- name: etcd-datahostPath:path: /var/lib/etcd  # 使用主机上的 /var/lib/etcd 目录作为卷- name: snapshothostPath:path: /root/etcd/snapshot  # 使用主机上的 /root/etcd/snapshot 目录作为卷- name: lt-confighostPath:path: /etc/localtime  # 使用主机上的 /etc/localtime 文件作为卷- name: tz-confighostPath:path: /etc/timezone  # 使用主机上的 /etc/timezone 文件作为卷hostNetwork: true  # 使用主机网络模式，Pod 将共享主机的网络命名空间