前言
1、版本说明
系统版本：CentOS 9
k8s版本：v1.29.5
docker版本：26.1.3
harbor：v2.9.4
2、提前准备好1台虚拟机，可以参考博客：Vmware 17安装 CentOS9
3、虚拟机提前安装好docker，参考博客：CentOS7安装docker以及docker-compose
4、如果部署k8s集群的时候使用个人的镜像仓库，请提前部署好,本人使用的是harbor搭建的私有仓库，可以参考博客：搭建Harbor镜像仓库
5、集群部署参考官方文档：使用 kubeadm 创建集群 | Kubernetes
6、集群中的网络插件安装文档参考：Calico网络插件安装
7、以下是本人4台虚拟机的ip地址以及主机名信息，其中一台为镜像仓库
| 节点 | 主机名 | ip |
| 主节点 | k8s-master | 192.168.65.130 |
| 节点1 | k8s-node1 | 192.168.65.131 |
| 节点2 | k8s-node2 | 192.168.65.132 |
| 私有镜像仓库 | k8s-harbor | 192.168.65.135 |
三台虚拟机环境准备
克隆3台虚拟机
我这里已经安装好了一台CentOS 9的虚拟机，并且此虚拟机已经安装好了docker环境，在此虚拟机基础上克隆出来3台。
1、开始克隆
2、直接下一步
3、选择虚拟机中的当前状态，然后点击下一步
4、选择创建完整克隆，点击下一步
5、输入虚拟机名称，选择存储位置，点击完成
6、等待克隆完成，点击关闭
7、重复步骤1-6，克隆出另外2台虚拟机，我的另外两台虚拟机名称分别为node1和 node2，克隆完成后如下，总共3台
修改虚拟机信息
修改虚拟机的 mac地址
1、点击编辑虚拟机设置
2、硬件-----网络适配器-----高级
3、点击生成，生成新的mac地址 ,然后点击确定
4、点击处理器，勾选虚拟化引擎，然后点击确定
5、重复步骤1-4，修改另外2台虚拟机的mac地址，勾选虚拟化选项
修改虚拟机主机名、ip地址和uuid
1、点击开启此虚拟机，启动虚拟机，使用终端登录虚拟机
2、修改虚拟机主机名称
# 修改主机名
hostnamectl set-hostname k8s-master# 查看主机名
hostname
3、修改虚拟机ip地址和uuid
3.1、生成UUID
uuidgen
3.2、修改网卡信息
vim /etc/NetworkManager/system-connections/ens160.nmconnection修改以下信息并保存，新的ip地址要在vmware分配的ip范围内
4、重新启动网卡
nmcli connection reload ens1605、重复步骤1-4修改另外2台虚拟机的信息
关机做快照 （可选）
1、以上操作做好之后，防止后面做集群的时候出问题，我这里先关机做个快照（关机做快照速度快），这一步并非是必须要做的，看个人情况。
2、做好快照后，记得重新启动所有虚拟机
集群前置工作（三台机器都执行）
修改hosts
1、修改hosts，域名映射 命令如下
echo "192.168.65.130 k8s-master.com k8s-master" >> /etc/hosts
echo "192.168.65.131 k8s-node1.com k8s-node1" >> /etc/hosts
echo "192.168.65.132 k8s-node2.com k8s-node2" >> /etc/hosts
echo "192.168.65.135 k8s-harbor.com k8s-harbor" >> /etc/hosts2、另外2台也同样操作，最终3台虚拟机的hosts如下，我这里把镜像仓库的那台机器也做了域名映射，方便后面使用
k8s-master
k8s-node1
k8s-node2
关闭防火墙
关闭防火墙，并禁止开机自启。修改防火墙的状态后需要把docker重启下
# 关闭防火墙
systemctl stop firewalld.service# 禁止开机自启
systemctl disable firewalld.service# 重启docker
systemctl restart docker
docker镜像加速
registry-mirrors:镜像加速地址，我这里使用的是阿里云的镜像加速器
insecure-registries：私有仓库地址，我这里使用的是自己的harbor仓库，如果你没有使用个人仓库也可以不用加
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://******.mirror.aliyuncs.com"],"insecure-registries": ["192.168.65.135","k8s-harbor.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart dockerdocker开机自启
systemctl enable docker安装容器运行时
转发 IPv4 并让 iptables 看到桥接流量
vm.swappiness参数记得加上，禁止交换分区
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOFsudo modprobe overlay
sudo modprobe br_netfilter# 设置所需的 sysctl 参数，参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF# 应用 sysctl 参数而不重新启动
sudo sysctl --system关闭交换分区
# 临时关闭
swapoff -a# 永久关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab
确认 br_netfilter 和 overlay 模块被加载
lsmod | grep br_netfilter
lsmod | grep overlay
系统变量是否被设置为 1
sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward
安装配置containerd
安装containerd（略过）
这一步在安装docker的时候已经安装过了，不在重复安装，安装docker的时候会安装containerd.io，具体命令如下图
下面是官方文档的参考地址
https://github.com/containerd/containerd/blob/main/docs/getting-started.md配置containerd
1、查看默认内容
cat /etc/containerd/config.toml
2、生成默认配置内容
containerd config default > /etc/containerd/config.toml3、修改生成的文件内容
vim /etc/containerd/config.toml主要修改三个地址
1、SystemdCgroup的值改为true
SystemdCgroup = true2、替换sandbox的镜像地址和版本
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"3、添加镜像加速
[plugins]
[plugins."io.containerd.grpc.v1.cri".registry]
...
[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
# 以下内容为新添加
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://te2osmuz.mirror.aliyuncs.com"]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s.gcr.io"]
endpoint = ["registry.aliyuncs.com/google_containers"][plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s-harbor.com"]
endpoint = ["http://k8s-harbor.com:80"]
3.1、修改SystemdCgroup的值
3.2、修改sandbox的镜像地址和版本
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"
3.3、添加私有镜像
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]endpoint = ["https://te2osmuz.mirror.aliyuncs.com"]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s.gcr.io"]endpoint = ["registry.aliyuncs.com/google_containers"]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s-harbor.com"]endpoint = ["http://k8s-harbor.com:80"]
重启containerd
systemctl daemon-reload
systemctl restart containerd
systemctl status containerd
禁用SELinux
将 SELinux 设置为 permissive 模式（相当于将其禁用）
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
安装工具
添加 Kubernetes 的 yum 仓库
关于如何设置阿里云镜像源可以参考：Kubernetes镜像
cat <<EOF | tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.29/rpm/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.29/rpm/repodata/repomd.xml.key
EOF
安装
yum install -y kubelet kubeadm kubectl
启动kubelet
systemctl enable kubelet && systemctl start kubelet查看状态
kubelet会一直重启，这是正常现象，等集群初始化好之后就可以正常启动了
systemctl status kubelet
主节点初始化 (以下操作只在主节点执行)
生成默认配置文件
kubeadm config print init-defaults > kubeadm.confv1.29.5版本输出内容如下：
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:- system:bootstrappers:kubeadm:default-node-tokentoken: abcdef.0123456789abcdefttl: 24h0m0susages:- signing- authentication
kind: InitConfiguration
localAPIEndpoint:advertiseAddress: 1.2.3.4bindPort: 6443
nodeRegistration:criSocket: unix:///var/run/containerd/containerd.sockimagePullPolicy: IfNotPresentname: nodetaints: null
---
apiServer:timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:local:dataDir: /var/lib/etcd
imageRepository: registry.k8s.io
kind: ClusterConfiguration
kubernetesVersion: 1.29.0
networking:dnsDomain: cluster.localserviceSubnet: 10.96.0.0/12
scheduler: {}修改配置文件内容
主要修改以下几个地方
1、advertiseAddress：改为当前主机的ip地址
2、nodeRegistration.name：改为当前主机的hostname
3、imageRepository：我这里改成自己的私人仓库地址了，如果自己有的话可以改成自己的，没有的话可以改成阿里云的镜像源地址：registry.aliyuncs.com/google_containers
4、新添加KubeletConfiguration，指定驱动类型。内容如下：
---
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
cgroupDriver: systemd
5、serviceSubnet：这个看情况，如果自己想改的话也可以改，我这里用的默认的
6、podSubnet：指定容器的ip段
7、kubernetesVersion：改为当前对应的版本
上传镜像到私有仓库
如果不使用私有镜像仓库的可以直接跳过这一步。直接开始下面的初始化
脚本内容如下push_images.sh
#!/bin/bash# 登录私有仓库
res=`docker login -u $1-p $2 k8s-harbor.com`images=$(kubeadm config images list --kubernetes-version v1.29.5 | awk -F '/' '{print $NF}')
for item in ${images}
dodocker pull registry.aliyuncs.com/google_containers/${item}# 镜像重新打标签docker tag registry.aliyuncs.com/google_containers/${item} k8s-harbor.com/google_containers/${item}# 上传到私有仓库 docker push k8s-harbor.com/google_containers/${item}
done赋予可执行权限
chmod +x push_images.sh# 执行脚本，记得传入参数
./push_images <username> <password>
脚本执行结束后就可以在私有仓库中看到刚才上传的镜像了
开始初始化
kubeadm.conf：自定义的配置文件的名称
kubeadm init --config kubeadm.conf
将下面这段话复制下来，后面会用到
Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run:export KUBECONFIG=/etc/kubernetes/admin.confYou should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:kubeadm join 192.168.65.130:6443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:8eaeb4ce72361621049e32c458d0a931e6e0f6d543529287c63d1c7dc4b35c34创建配置文件
按照初始化成功的提示开始创建配置文件
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
安装网络插件
这里安装的网络插件是Calico，官方文档
下载并执行配置文件
文件下载后要使用kubectl create 命令去执行，不要使用kubectl apply ，官方文档对这个有特别说明
wget https://raw.githubusercontent.com/projectcalico/calico/v3.27.3/manifests/tigera-operator.yamlkubectl create -f tigera-operator.yaml
wget https://raw.githubusercontent.com/projectcalico/calico/v3.27.3/manifests/custom-resources.yaml修改custom-resources.yaml
vim custom-resources.yaml修改cidr的值
calicoNetwork:ipPools:- name: default-ipv4-ippoolblockSize: 26cidr: 192.168.110.0/24 # 修改为kubeadm.conf中podSubnet的值
执行 custom-resources.yaml
kubectl create -f custom-resources.yaml
节点加入
节点node1加入
在node1上执行以下命令
kubeadm join 192.168.65.130:6443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:8eaeb4ce72361621049e32c458d0a931e6e0f6d543529287c63d1c7dc4b35c34
节点node2加入
kubeadm join 192.168.65.130:6443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:8eaeb4ce72361621049e32c458d0a931e6e0f6d543529287c63d1c7dc4b35c34
在master查看节点信息
如果节点显示NotReady，则等待几分钟，等所有pod创建完成即可
所有节点加入成功
安装kubepi
我这里并没有安装官方的可视化控制面板，而是使用了另外一个可视化管理工具kubepi
下载镜像
docker pull 1panel/kubepi创建挂载目录
mkdir -p /root/server/kubepi启动镜像
docker run --privileged -p 8010:80 \
--name kubepi \
-v /root/server/kubepi:/var/lib/kubepi \
--restart=unless-stopped \
-d 1panel/kubepi
访问kubepi
访问地址：ip：port 例如我的：192.168.65.130:8010
默认的账户名和密码：admin/kubepi
导入k8s集群
点击导入按钮，配置k8s。k8s的配置信息在$HOME/.kube/config中
查看集群信息
集群搭建过程常见问题
1、安装网络插件calico域名raw.githubusercontent.com无法访问
可以使用第三方网站查看dns对应的ip地址，然后修改自己的hosts文件，这里只是举个例子
# 修改hosts
vim /etc/hosts# 追加以下内容
185.199.111.133 raw.githubusercontent.com# 重新下载文件2、no matches for kind "Installation" in version "operator.tigera.io/v1"
1、这个是在安装Calico网络插件的时候遇到的，主要原因是因为我安装的时候使用的是kubectl apply命令，将其更换为kubectl create即可 ，具体原因可以参考官网说明
2、如果不是因为执行命令的问题，就是Calico版本不匹配，更换为合适的版本即可
3、机器重启后kubelet起不起来
1、看下是不是之前关闭交换分区的时候只是临时关闭了（swapoff -a）具体原因可以参考报错日志，我的没启起来是因为交换分区重启后又打开了，永久关闭即可，永久关闭的命令文章中已提过。
2、确保kubelet、docker、容器运行时（containerd）已启动
补充说明
文章中有两个地方配置了镜像仓库的地址
1、docker的配置文件/etc/docker/daemon.json文件，这个是使用docker拉取镜像是使用的加速器和仓库地址
2、容器运行时containerd的配置/etc/containerd/config.toml文件，因为这里使用的容器运行时是containerd，所以k8s拉取镜像的时候不会使用docker命令，而是使用crictl命令，所以k8s拉取镜像的时候会使用config.toml文件中关于镜像相关的配置
结束语
以上便是k8s集群的整个部署过程，部署过程中需要下载镜像信息，可以使用给的脚本将其提前下载下来 ，对于k8s的网络插件官方文档提供了多种，可以根据情况自行安装其中一个即可。最重要的一点要保证kubelet、docker、容器运行时（containerd）设置为开机自启。可以使用命令查看是否开启开机自启：systemctl is-enabled <服务名称>
