【二】kubernetes master单节点拓展为集群

#服务器 #部署 #云原生 #k8s

一、 前言

一、ubuntu20.04上搭建containerd版（ 1.2.4 以上）k8s及kuboard V3

接上文中，我们已经部署好了单节点master的k8s集群，在生产环境中，单节点的master肯定是不行的，那么我们如何对master进行集群的拓展呢？

对master拓展，实际上就是对api-server的拓展，只要对其做个负载均衡即可。

本文选型 haproxy + keepalive 方案来实现。当然也可以选择 nginx + keepalive。

二、 haproxy 介绍

HAProxy是一款专注于负载均衡和代理的高性能软件，它的核心功能就是负载均衡，能够有效地将来自客户端的请求分发到多个后端节点。

为什么选用 haproxy 而不是 nginx？

  • HAProxy主要专注于高可用性和负载均衡，将客户端请求分发到多个服务器，以实现高性能和高可用性的应用部署。
  • Nginx也可以用作反向代理和负载均衡，但它更广泛地被用于作为静态内容服务器和应用服务器，同时还能提供缓存、SSL终止等功能。
  • HAProxy提供了丰富的负载均衡算法，可以根据需求选择合适的算法，例如加权轮询、最少连接、源IP哈希等，以更好地适应不同的应用场景。Nginx在负载均衡算法方面的选择相对较少。
    这并不是说Nginx不适合用于Kubernetes集群的Master节点，而是在这个特定的场景下，HAProxy由于其专注性、负载均衡算法和高可用性特点，更容易满足Master节点集群的需求。

三、keepalive 介绍

Keepalived 是一个用于实现高可用性和故障转移的开源工具，它通常与负载均衡器（如HAProxy）等配合使用，以确保在集群中的服务器或服务发生故障时能够实现快速的切换和恢复，从而保证服务的持续可用性。

为什么有haproxy还需要keepalive？

尽管HAProxy可以实现负载均衡，但在发生主节点故障时，单独的HAProxy实例可能需要一些时间来进行重新配置和重新分发请求。Keepalived则提供了一种快速的故障切换机制，它能够迅速检测到主节点的失效，并将虚拟IP（VIP）迁移到备用节点，实现几乎无感知的故障转移。

四、实操

假设master的机子ip为192.168.16.200，201，202
worker的机子：192.168.16.203，192.168.16.204，192.168.16.205
虚拟ip为192.168.16.210

虚拟 IP 地址应该是网络上可用的、未被分配的，并且适合你要实现的服务或应用。在配置中，你会将这个虚拟 IP 地址列入 `virtual_ipaddress` 配置项中，使 Keepalived 的 MASTER 实例能够在活动时绑定并使用它。

vim /etc/hosts

将虚拟ip加入到hosts文件中

192.168.16.200 k8s-master1
192.168.16.201 k8s-master2
192.168.16.202 k8s-master3
192.168.16.203 k8s-node1
192.168.16.204 k8s-node2
192.168.16.205 k8s-node3
#将虚拟ip加入到hosts文件中
192.168.16.210 k8s-cluster

在不同的机子上 设置各自的hostname

hostname k8s-master1
hostname k8s-master2
hostname k8s-master3
hostname k8s-node1
hostname k8s-node2
hostname k8s-node3

1、haproxy

1）安装haproxy

在所有master机子上安装haproxy

sudo apt-get update
sudo apt-get install -y haproxy

2）编辑haproxy的配置文件

sudo vim /etc/haproxy/haproxy.cfg

在配置文件最下方加入 两个监听器

#配置了一个监听器，用于提供统计信息和管理界面。
listen  admin_stats
bind 0.0.0.0:1080
mode http
log 127.0.0.1 local0 err
stats refresh 30s
stats uri /status #管理界面的访问路径
stats realm welcome login\ Haproxy
stats auth admin:admin #登录认证
stats hide-version
stats admin if TRUE#配置了一个监听器，用于转发流量到Kubernetes主节点。
listen kube-master
bind 0.0.0.0:8443 #负载均衡的端口为8848
mode tcp
option tcplog
balance source
server 192.168.16.200 192.168.16.200:6443 check inter 2000 fall 2 rise 2 weight 1
server 192.168.16.201 192.168.16.201:6443 check inter 2000 fall 2 rise 2 weight 1
server 192.168.16.202 192.168.16.202:6443 check inter 2000 fall 2 rise 2 weight 1

3)设置开机启动，并进入管理界面

systemctl enable haproxy && systemctl restart haproxy

查看haproxy页面：

http://192.168.16.200:1080/status

账号/密码：
admin/admin
请添加图片描述

💡 由于还没初始化k8s的master, 这里其余两台都还不可用。

2、keepalive

1）安装keepalive

在所有master机子上安装keepalive

apt-get install -y keepalived

2）编辑keepalive的配置文件

  • 查看可用的网卡
ip addr

我的是ens33

![[Pasted image 20230823231343.png]]

vim /etc/keepalived/keepalived.conf
  • master1 (192.168.16.200)
global_defs {script_user root
router_id k8s-lb
enable_script_security
}vrrp_script check-haproxy {
script "/usr/bin/killall -0 haproxy"
interval 5
weight -30
}vrrp_instance VI-kube-master {
state MASTER #200为主节点
priority 120 #主节点权重要大点
dont_track_primary
interface ens33 #上面的网卡
virtual_router_id 80
advert_int 3
track_script {
check-haproxy
}
virtual_ipaddress {
192.168.16.210
}
}
  • master2 (192.168.16.201) ，master3 (192.168.16.202)
global_defs {script_user root
router_id k8s-lb
enable_script_security
}vrrp_script check-haproxy {
script "/usr/bin/killall -0 haproxy"
interval 5
weight -30
}vrrp_instance VI-kube-master {
state BACKUP #设置为从节点
priority 110
dont_track_primary
interface ens33 #上面的网卡
virtual_router_id 68
advert_int 3
track_script {
check-haproxy
}
virtual_ipaddress {
192.168.16.210
}
}

3)依次在master1 master2 master3 上启动

systemctl enable keepalived  && systemctl start keepalived  && systemctl status keepalived

keepalived启动成功之后，在master1上通过ip addr可以看到vip(192.168.16.210)已经绑定到ens33这个网卡上了

![[Pasted image 20230823231446.png]]

3、k8s master集群拓展

1）以下操作在master1执行

备份一下之前k8s master的配置文件

mv init-default.yaml init-default.yaml.bak
vim init-default.yaml

将配置文件修改为以下的样子：

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:- system:bootstrappers:kubeadm:default-node-tokentoken: abcdef.0123456789abcdefttl: 24h0m0susages:- signing- authentication
kind: InitConfiguration
localAPIEndpoint:advertiseAddress: 192.168.16.200bindPort: 6443
nodeRegistration:criSocket: unix:///var/run/containerd/containerd.sockimagePullPolicy: IfNotPresentname: k8s-master1 #这里是机子的hosttaints: null
---
apiServer:timeoutForControlPlane: 4m0scertSANs:- k8s-cluster- k8s-master1- k8s-master2- k8s-master3- k8s-node1- k8s-node2- k8s-node3
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:local:dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.27.4 #根据实际版本修改
networking:dnsDomain: cluster.localserviceSubnet: 10.96.0.0/12podSubnet: 10.244.0.0/16
scheduler: {}
controlPlaneEndpoint: k8s-cluster:8443
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind:  KubeProxyConfiguration
mode: ipvs
  • 主要修改的部分：
  1. controlPlaneEndpoint 为控制面设置一个稳定的 IP 地址或 DNS 名称。
controlPlaneEndpoint: k8s-cluster:8443
  1. 设置 API 服务器签署证书所用的额外主题替代名
certSANs:- k8s-master1- k8s-master2- k8s-master3- k8s-node1- k8s-node2
- k8s-node3

将k8s集群的host都加入到certSANs中，因为我只有三台服务器，所以node1和node2其实也是master2和master3。按你实际的服务器情况修改即可。

  1. 当前ubuntu系统默认开启了ipvs, 后续k8s部署的kube-proxy组件将会使用ipvs模式，提高转发效率。
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind:  KubeProxyConfiguration
mode: ipvs
  1. 重新初始化master
#重置初始化
kubeadm reset -f
#配置kubetl
rm -rf /root/.kube/
mkdir -p /root/.kube/sudo kubeadm init --upload-certs --config=init-default.yaml --ignore-preflight-errors=all

跟第一章一样看到token信息，拷贝保存一下

  • master的join命令
kubeadm join k8s-cluster:8443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:8ae4635e544e225c19a0b303a75de62169a910c6d44095903340526f0fdd2c2d \--control-plane --certificate-key 7dbedbba04cb0f5582ecb06ef78eabfe587de17f4393fe38fd772c5573e66d3d
  • worker的join命令
kubeadm join k8s-cluster:8443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:8ae4635e544e225c19a0b303a75de62169a910c6d44095903340526f0fdd2c2d

执行以下命令

export KUBECONFIG=/etc/kubernetes/admin.conf
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

检查是否有启动成功

curl -k https://k8s-cluster:8443/api/v1/namespaces/kube-public/configmaps/cluster-info?timeout=10s
  • 重新安装flannel
wget https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml#如果你修改了`podCIDR` yml中也要修改
export POD_SUBNET=10.244.0.0/16
sed -i "s#10.244.0.0/16#${POD_SUBNET}#" kube-flannel.yml
kubectl apply -f kube-flannel.yml

使用以下命令查看镜像拉取状态，pending可能是还在下载镜像

watch kubectl get pods -n kube-system -o wide

等全部镜像变成RUNNING状态后，master状态也会变成Ready

kubectl get nodes

2）master2、master3加入集群

  1. 安装k8s

第一章已经安装过了，这里就不重复了

  1. 重新初始化节点的信息

由于我之前这两台服务器上初始过worker，所以重新清除掉

#重置初始化
kubeadm reset -f
#配置kubetl
rm -rf /root/.kube/
mkdir -p /root/.kube/
  1. master2 master3加入集群
kubeadm join k8s-cluster:8443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:8ae4635e544e225c19a0b303a75de62169a910c6d44095903340526f0fdd2c2d \--control-plane --certificate-key 7dbedbba04cb0f5582ecb06ef78eabfe587de17f4393fe38fd772c5573e66d3d

赋予权限

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

检查状态，全部READY

kubectl get nodes

进入haproxy查看集群状态
http://192.168.16.210:1080/status

请添加图片描述

全部正常启动！

3）worker集群重新加入master

kubeadm join k8s-cluster:8443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:8ae4635e544e225c19a0b303a75de62169a910c6d44095903340526f0fdd2c2d

在master1上检查状态

kubectl get nodes -o wide  
kubectl get pods --all-namespaces -o wide

至此整个k8s多master的环境就部署好啦！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/69257.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

养猪废水处理设备的处理方法

养猪废水处理设备的处理方法

诸城市鑫淼环保小编带大家了解一下养猪废水处理设备的处理方法 1.高有机负荷：猪粪尿含有大量有机物质，比如蛋白质、脂肪和淀粉等，这些有机物在水体中分解会消耗氧气，导致水体缺氧。 2.高氨氮含量：猪粪尿中的蛋白质分解…
阅读更多...
MybatisPlus基本配置查询操作

MybatisPlus基本配置查询操作

无侵入：只做增强不做改变，引入它不会对现有工程产生影响，如丝般顺滑损耗小：启动即会自动注入基本 CURD，性能基本无损耗，直接面向对象操作强大的 CRUD 操作：内置通用 Mapper、通用 Service&#…
阅读更多...
微信小程序 校园周边美食商城分享系统

微信小程序 校园周边美食商城分享系统

管理员、会员、商家可通过Android系统手机打开系统，注册登录后可进行管理员后端；首页、个人中心、会员管理、商家管理、美食类型管理、美食信息管理、美食交流、我的收藏管理、系统管理、订单管理，会员前端；首页、美食信息、美食交…
阅读更多...
三步搭建个人网站并发布上线【内网穿透】

三步搭建个人网站并发布上线【内网穿透】

三步搭建个人网站并发布上线【内网穿透】 文章目录 三步搭建个人网站并发布上线【内网穿透】前言一、在本地电脑上制作一个网站二、使用WordPress建立网站三、通过cpolar建立的数据隧道发布到公网上 前言 在这个个性飞扬的时代，每个人都希望拥有表现自我的平台&…
阅读更多...
RabbitMQ、Kafka和RocketMQ比较

RabbitMQ、Kafka和RocketMQ比较

一、概述 消息队列中间件（MQ）是不同系统之间消息传递，异步通信的常见组件，RabbitMQ、Kafka和RocketMQ是目前业界常见的3种消息中间件，本文重点阐述了他们特性差异、架构设计和处理常见问题的方案。 二、特性比较 Ra…
阅读更多...
ElementUI浅尝辄止27：Steps 步骤条

ElementUI浅尝辄止27：Steps 步骤条

引导用户按照流程完成任务的分步导航条，可根据实际应用场景设定步骤，步骤不得少于 2 步。 1.如何使用？ 设置active属性，接受一个Number，表明步骤的 index，从 0 开始。需要定宽的步骤条时，设置s…
阅读更多...
【Azure OpenAI】OpenAI Function Calling 101

【Azure OpenAI】OpenAI Function Calling 101

概述 本文是结合 github：OpenAI Function Calling 101在 Azure OpenAI 上的实现： Github Function Calling 101 如何将函数调用与 Azure OpenAI 服务配合使用 - Azure OpenAI Service 使用像ChatGPT这样的llm的困难之一是它们不产生结构化的数据输出…
阅读更多...
win10-docker-mysql镜像安装运行基础

win10-docker-mysql镜像安装运行基础

win10-docker-mysql镜像安装运行基础 文章目录 win10-docker-mysql镜像安装运行基础一、搜索可用镜像1.1 查询mysql镜像1.2 确定镜像版本号 二、运行mysql容器2.1 进入mysql2.2 测试mysql是否正常 三、将mysql数据存储目录映射到宿主机做持久化 一、搜索可用镜像 1.1 查询mysq…
阅读更多...
【Microsoft Edge】如何彻底卸载 Edge

【Microsoft Edge】如何彻底卸载 Edge

目录 一、问题描述 二、卸载 Edge 2.1 卸载正式版 Edge 2.2 卸载非正式版 Edge 2.2.1 卸载通用的 WebView2 2.2.2 卸载 Canary 版 Edge 2.2.3 卸载其他版本 2.3 卸载 Edge Update 2.4 卸载 Edge 的 Appx 额外安装残留 2.5 删除日志文件 2.6 我就是想全把 Edge 都删了…
阅读更多...
【Ant Design】Form.Item创建自定义表单

【Ant Design】Form.Item创建自定义表单

一、概述 Antd是一个非常强大的UI组件库，里面的Form表单组件也基本能满足我们大多数场景。但是也有需要自定义表单的场景。 Vue2里我们使用v-model，结合子组件的model属性，来实现自定义组件的双向绑定。 Vue3里我们使用v-model，…
阅读更多...
【快应用】快应用与网页通信踩坑合集处理

【快应用】快应用与网页通信踩坑合集处理

【关键词】 Web、postMessage、onMessage 【问题背景】 快应用中通过web组件加载的h5网页，快应用在和网页进行通信时，经常会遇到网页发送信息给快应用，快应用成功收到，反过来的时候，h5网页就没法收到了。如提示 xxx …
阅读更多...
05-Redis

05-Redis

1、Redis为什么快？ 1、纯内存操作 2、单线程可以省去多线程时CPU上下文会切换的时间 3、渐进式ReHash、缓存时间戳 数组需要扩容的时候，他会维护两张hash表，比如第一张的数组长度为6，另一张的数组长度为12，在set和g…
阅读更多...
设计模式-建造者（生成器）模式

设计模式-建造者（生成器）模式

文章目录 简介建造者模式的核心概念产品（Product）建造者（Builder）指挥者（Director）建造者模式与其他设计模式的关系工厂模式和建造者模式uml对比 建造者模式的实现步骤建造者模式的应用场景spring中应用 建…
阅读更多...
论文《面向大规模日志数据分析的自动化日志解析》翻译

论文《面向大规模日志数据分析的自动化日志解析》翻译

论文《Towards Automated Log Parsing for Large-Scale Log Data Analysis》翻译 面向大规模日志数据分析的自动化日志解析翻译
阅读更多...
Windows中多线程的基础知识1——互斥对象

Windows中多线程的基础知识1——互斥对象

目录 1 多线程的基本概念1.1 进程一、程序和进程的概念二、进程组成三、进程地址空间 1.2 线程一、线程组成二、线程运行三、线程创建函数 1.3 多进程与多线程并发一、多进程并发二、多线程并发 2 线程同步2.1 一个经典的线程同步问题2.2 利用互斥对象实现线程同步一、创建互斥…
阅读更多...
JavaScript-----对象（创建对象、数组与字符串）

JavaScript-----对象（创建对象、数组与字符串）

目录 前言： 1. JavaScript创建对象 1.1 对象的创建 1.2 对象的调用 1.3 for-in循环语句 2.内置对象 2.1 Array（数组）对象 属性和方法 2.2 String（字符串）对象 属性和方法 2.3 Math对象 2.4 日期对象 前言&a…
阅读更多...
SIEM 中不同类型日志监控及分析

SIEM 中不同类型日志监控及分析

安全信息和事件管理（SIEM）解决方案通过监控来自网络的不同类型的数据来确保组织网络的健康安全状况，日志数据记录设备上发生的每个活动以及整个网络中的应用程序，若要评估网络的安全状况，SIEM 解决方案必须收集和分析不…
阅读更多...
【Docker】Docker基本使用介绍

【Docker】Docker基本使用介绍

Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。 一、安装Docker 首先，你需要从官方网站上下载Docker的安装包，并按…
阅读更多...
mysql数据库使用技巧整理

mysql数据库使用技巧整理

查看当前数据库已建立的client连接 mysql中执行 -- 查看数据库允许的最大连接数，不是实时正在使用的连接数 SHOW VARIABLES LIKE max_connections; mysql中执行 -- 查看当前数据库client的连接数 SHOW STATUS LIKE Threads_connected; mysql中执行 -- 查看具…
阅读更多...
算法通关村十三关-白银：数字与数学高频问题

算法通关村十三关-白银：数字与数学高频问题

有很多解题技巧，需要持续积累 1.数组实现加法专题 如果让你用数组来表示一个数，如何实现加法呢？ 理论上仍然从数组末尾向前挨着计算就行了，但是实现的时候会发现很多问题，例如需要进位该怎么办？ 进一步拓…
阅读更多...
最新文章

Copyright @ 2022~2023