【kubernetes】二进制部署k8s集群之，多master节点负载均衡以及高可用（下）

↑↑↑↑接上一篇继续部署↑↑↑↑

之前已经完成了单master节点的部署，现在需要完成多master节点以及实现k8s集群的高可用

一、完成master02节点的初始化操作

二、在master01节点基础上，完成master02节点部署

步骤一：准备好master节点所需要的文件

etcd数据库所需要的ssl证书、master01节点的kubernetes安装目录（二进制文件、组件与apiserver通信的集群引导文件、启动参数配置文件）、kubectl与apiserver通信的集群引导文件、各组件被systemd管理的service文件

##etcd目录只要ssl就可以，kubernetes安装目录传输，包含二进制文件、证书、启动参数配置文件、集群引导文件
[root@master01 opt#ls
etcd  k8s  kubernetes  rh
[root@master01 opt#scp -r kubernetes/ etcd/ master02:/opt/

##service服务文件
[root@master01 opt#ls /usr/lib/systemd/system/kube*
/usr/lib/systemd/system/kube-apiserver.service  /usr/lib/systemd/system/kube-controller-manager.service  /usr/lib/systemd/system/kube-scheduler.service
[root@master01 opt#scp /usr/lib/systemd/system/kube* master02:/usr/lib/systemd/system/

[root@master01 opt#ls /root/.kube/
cache  config
[root@master01 opt#scp -r /root/.kube/ master02:/root/
root@master02's password: 
config

 只留下必要的文件

步骤二：修改apiserver、controller-manager、scheduler启动参数配置文件中的监听地址以及apiserver的通告地址

---------- master02 节点部署 ----------
//从 master01 节点上拷贝证书文件、各master组件的配置文件和服务管理文件到 master02 节点
scp -r /opt/etcd/ root@192.168.20.10:/opt/
scp -r /opt/kubernetes/ root@192.168.20.10:/opt
scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.20.10:/usr/lib/systemd/system///修改配置文件kube-apiserver中的IP
vim /opt/kubernetes/cfg/kube-apiserver
KUBE_APISERVER_OPTS="--logtostderr=true \
--v=4 \
--etcd-servers=https://192.168.20.15:2379,https://192.168.20.16:2379,https://192.168.20.17:2379 \
--bind-address=192.168.20.10 \				#修改
--secure-port=6443 \
--advertise-address=192.168.20.10 \			#修改
......//在 master02 节点上启动各服务并设置开机自启
systemctl start kube-apiserver.service
systemctl enable kube-apiserver.service
systemctl start kube-controller-manager.service
systemctl enable kube-controller-manager.service
systemctl start kube-scheduler.service
systemctl enable kube-scheduler.service//查看node节点状态
ln -s /opt/kubernetes/bin/* /usr/local/bin/kubectl get nodes
kubectl get nodes -o wide			#-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名
//此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接，因此需要使用一个VIP把node节点与master节点都关联起来

步骤三：依次启动apiserver、controller-manager、scheduler，并验证

二、部署nginx做负载均衡器

------------------------------ 负载均衡部署 ------------------------------
//配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）
##### 在lb01、lb02节点上操作 ##### 
//配置nginx的官方在线yum源，配置本地nginx的yum源
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOFyum install nginx -y//修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集2台master的节点ip和6443端口
vim /etc/nginx/nginx.conf
events {worker_connections  1024;
}#添加
stream {log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';access_log  /var/log/nginx/k8s-access.log  main;upstream k8s-apiserver {server 192.168.20.15:6443;server 192.168.20.10:6443;}server {listen 6443;proxy_pass k8s-apiserver;}
}http {
......//检查配置文件语法
nginx -t   //启动nginx服务，查看已监听6443端口
systemctl start nginx
systemctl enable nginx
netstat -natp | grep nginx

 

 注意四层代理需要有stream模块

三、部署keepalived服务做k8s集群负载均衡器高可用

//部署keepalived服务
yum install keepalived -y//修改keepalived配置文件
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalivedglobal_defs {# 接收邮件地址notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}# 邮件发送地址notification_email_from Alexandre.Cassen@firewall.locsmtp_server 127.0.0.1smtp_connect_timeout 30router_id NGINX_MASTER	#lb01节点的为 NGINX_MASTER，lb02节点的为 NGINX_BACKUP
}#添加一个周期性执行的脚本
vrrp_script check_nginx {script "/etc/keepalived/nginx.sh"	#指定检查nginx存活的脚本路径
}vrrp_instance VI_1 {state MASTER			#lb01节点的为 MASTER，lb02节点的为 BACKUPinterface ens33			#指定网卡名称 ens33virtual_router_id 51	#指定vrid，两个节点要一致priority 100			#lb01节点的为 100，lb02节点的为 90advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.20.150/24	#指定 VIP}track_script {check_nginx			#指定vrrp_script配置的脚本}
}//方法一：创建nginx状态检查脚本 
vim /etc/keepalived/nginx.sh
#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")if [ "$count" -eq 0 ];thensystemctl stop keepalived
fi//方法二：创建nginx状态检查脚本2
cat > /etc/keepalived/nginx.sh << 'EOF'
#!/bin/bash
killall -0 nginx &>/dev/null
if [ $? -ne 0 ];thensystemctl stop keepalived
fi
EOFchmod +x /etc/keepalived/nginx.sh//启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务）
systemctl start keepalived
systemctl enable keepalived
ip a				#查看VIP是否生成

 

备节点在主节点的配置文件上修改

 验证故障转移

 主节点重新启动nginx和keepalived服务 会抢占vip

四、修改修改node节点上的配置引导文件中的server对应的ip为VIP

bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP

//修改node节点上的bootstrap.kubeconfig,   kubelet.kubeconfig  kube-proxy.kubeconfig配置文件为VIP
cd /opt/kubernetes/cfg/
vim bootstrap.kubeconfig 
server: https://192.168.20.100:6443vim kubelet.kubeconfig
server: https://192.168.20.100:6443vim kube-proxy.kubeconfig
server: https://192.168.20.100:6443//重启kubelet和kube-proxy服务
systemctl restart kubelet.service 
systemctl restart kube-proxy.service

 

同步node02也一样需要修改

五、所有的master节点的集群引导配置文件都指向本机apiserver的ip和端口

[root@master02 cfg]#ls
kube-apiserver  kube-controller-manager  kube-controller-manager.kubeconfig  kube-scheduler  kube-scheduler.kubeconfig  token.csv
[root@master02 cfg]#vim kube-controller-manager.kubeconfig 
[root@master02 cfg]#vim kube-scheduler.kubeconfig 
[root@master02 cfg]#cd ~/.kube/
[root@master02 .kube]#ls
cache  config
[root@master02 .kube]#vim config 
[root@master02 .kube]#ls /usr/lib/systemd/system/kube-*
/usr/lib/systemd/system/kube-apiserver.service  /usr/lib/systemd/system/kube-controller-manager.service  /usr/lib/systemd/system/kube-scheduler.service
[root@master02 .kube]#systemctl restart kube-apiserver.service 
[root@master02 .kube]#systemctl restart kube-controller-manager.service 
[root@master02 .kube]#systemctl restart kube-scheduler.service

 

到此k8s集群已经部署完毕了

六、安装dashboard

仪表板是基于Web的Kubernetes用户界面。您可以使用仪表板将容器化应用程序部署到Kubernetes集群，对容器化应用程序进行故障排除，并管理集群本身及其伴随资源。您可以使用仪表板来概述群集上运行的应用程序，以及创建或修改单个Kubernetes资源（例如部署，作业，守护进程等）。例如，您可以使用部署向导扩展部署，启动滚动更新，重新启动Pod或部署新应用程序。仪表板还提供有关群集中Kubernetes资源状态以及可能发生的任何错误的信息。

//在 master01 节点上操作
#上传 recommended.yaml 文件到 /opt/k8s 目录中
cd /opt/k8s
vim recommended.yaml
#默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
kind: Service
apiVersion: v1
metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboard
spec:ports:- port: 443targetPort: 8443nodePort: 30001     #添加type: NodePort          #添加selector:k8s-app: kubernetes-dashboardkubectl apply -f recommended.yaml#创建service account并绑定默认cluster-admin管理员集群角色
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用输出的token登录Dashboard
https://NodeIP:30001 

 七、总结二进制部署k8s集群

1）部署etcd

  • 使用cfssl工具签发证书和私钥文件
  • 解压etcd软件包，获取二进制文件 etcd etcdctl
  • 准备etcd集群配置文件
  • 启动etcd进程服务，将所有节点加入到etcd集群中
etcd的操作：
#查看etcd集群健康状态
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379,https://IP2:2379,https://IP3:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 -wtable endpoint health#查看etcd集群状态信息
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379,https://IP2:2379,https://IP3:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 -wtable endpoint status#查看etcd集群成员列表
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379,https://IP2:2379,https://IP3:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 -wtable member list#向etcd插入键值
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 put <KEY> '<VALUE>'#查看键的值
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 get <KEY>#删除键
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 del <KEY>#备份etcd数据库
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 snapshot save 备份文件路径#恢复etcd数据库
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 snapshot restore 备份文件路径

2）部署master组件

  • 使用cfssl工具签发证书和私钥文件
  • 下载K8S软件包，获取二进制文件 kube-apiserver  kube-controller-manager  kube-scheduler 
  • 准备 kube-apiserver 启动时要调用的 bootstrap-token 认证文件（token.csv）
  • 准备 kube-apiserver  kube-controller-manager  kube-scheduler 的进程服务启动参数配置文件
  • 准备 kube-controller-manager  kube-scheduler  kubectl 的 kubeconfig 集群引导配置文件（用于连接和验证 kube-apiserver）
  • 依次启动 kube-apiserver  kube-controller-manager  kube-scheduler 进程服务
  • 执行 kubectl get cs 命令查看master组件的健康状态

3）部署node组件

  • 获取二进制文件 kubelet kube-proxy
  • 准备 kubelet kube-proxy 使用的 kubeconfig集群引导配置文件 bootstrap.kubeconfig(kubelet首次访问apiserver使用认证的文件)  kube-proxy.kubeconfig
  • 准备 kubelet kube-proxy 的进程服务启动参数配置文件
  • 启动 kubelet 进程服务，向 apiserver 发起 CSR 请求自动签发证书，master 通过 CSR 请求后 kubelet 即可获取到证书
  • 加载 ipvs 模块，启动 kube-proxy 进程服务
  • 安装 cni 网络插件（flannel或calico）和 CoreDNS
  • 执行 kubectl get nodes 命令查看node节点状态

4）部署多master高可用

  • 负责master组件相关的二进制文件、证书、私钥、启动参数配置文件、kubeconfig集群引导配置文件和etcd的证书、私钥文件
  • 修改 kube-apiserver  kube-controller-manager  kube-scheduler 启动参数配置文件里的监听地址和通告地址，再依次重启服务进程
  • 部署 nginx/haproxy 负载均衡器和 keepalived 高可用
  • 修改 kubelet kube-proxy kubectl 的kubeconfig集群引导配置文件里的server参数都指向keepalived的VIP地址，再重启 kubelet kube-proxy 服务进程
  • 修改其它master节点上的 kube-controller-manager  kube-scheduler 的kubeconfig集群引导配置文件里的server参数都指向各自本机的apiserver地址，再重启服务进程
     

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/699833.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Three.js加载PLY文件

Three.js加载PLY文件

这是官方的例子 three.js webgl - PLY 我在Vue3中使用&#xff0c;测试了好久始终不显示点云数据。在网上查询后发现ply文件要放置在public目录下才行 <el-row><el-button type"primary" class"el-btn" click"IniThree1">PLY</…
阅读更多...
大模型与Agent：AI世界的“大脑”与“行动派”

大模型与Agent：AI世界的“大脑”与“行动派”

一、开篇小聊 大家都知道AI很火&#xff0c;从chatGPT到最新的Sora发布&#xff0c;AI人工智能已经疾驰飞车般的速度来到你我身边&#xff01;但你知道AI背后的两大“明星”是谁吗&#xff1f;没错&#xff0c;它们就是23年火到现在的大模型和Agent&#xff01;那么他们有什么…
阅读更多...
FreeSWITCH 1.10.10 简单图形化界面15 - JsSIP媒体控制

FreeSWITCH 1.10.10 简单图形化界面15 - JsSIP媒体控制

FreeSWITCH 1.10.10 简单图形化界面15 - JsSIP媒体控制 0、 界面预览1、本地媒体流获取session本地音频本地视频2、远端媒体流获取媒体流远端音频远端视频FreeSWITCH界面安装参考：https://blog.csdn.net/jia198810/article/details/132479324 0、 界面预览 http://myfs.f332…
阅读更多...
docker部署seata1.6.0

docker部署seata1.6.0

docker部署seata1.6.0 Seata 是 阿里巴巴 开源的 分布式事务中间件&#xff0c;解决 微服务 场景下面临的分布式事务问题。需要先搭建seata服务端然后与springcloud的集成以实现分布式事务控制的过程 &#xff0c;项目中只需要在远程调用APi服务的方法上使用注解 GlobalTransa…
阅读更多...
集群master和worker区别

集群master和worker区别

1、Master Master 是 K8S 的集群控制节点&#xff0c;每个 K8S 集群里需要有一个 Master 节点来负责整个集群的管理和控制&#xff0c;基本上 K8S 所有的控制命令都是发给它&#xff0c;它来负责具体的执行过程。Master 节点通常会占据一个独立的服务器&#xff0c;因为它太重要…
阅读更多...
使用logicflow流程图实例

使用logicflow流程图实例

一.背景 需要使用流程引擎开发项目&#xff0c;没有使用flowable、activiti这类的国外流程引擎&#xff0c;想使用国内的引擎二次开发&#xff0c;缺少单例模式的流程画图程序&#xff0c;都是vue、react、angluer的不适合&#xff0c;从网上找了antx6、logicflow、bpmn.js。感…
阅读更多...
架构设计：数据库扩展

架构设计：数据库扩展

引言 随着业务的发展和用户规模的增长&#xff0c;数据库往往会面临着存储容量不足、性能瓶颈等问题。为了解决这些问题&#xff0c;数据库扩展成为了一种常见的解决方案。在数据库扩展的实践中&#xff0c;有许多不同的策略和技术可供选择&#xff0c;其中包括水平拆分、垂直…
阅读更多...
【MySQL 探索之旅】初始MySQL数据库

【MySQL 探索之旅】初始MySQL数据库

&#x1f4da;博客主页&#xff1a;爱敲代码的小杨. ✨专栏&#xff1a;《Java SE语法》 | 《数据结构与算法》 | 《C生万物》 ❤️感谢大家点赞&#x1f44d;&#x1f3fb;收藏⭐评论✍&#x1f3fb;&#xff0c;您的三连就是我持续更新的动力❤️ &#x1f64f;小杨水平有…
阅读更多...
【LeetCode每日一题】 单调栈的案例84 柱状图中最大的矩形

【LeetCode每日一题】 单调栈的案例84 柱状图中最大的矩形

84 柱状图中最大的矩形 给定 n 个非负整数&#xff0c;用来表示柱状图中各个柱子的高度。每个柱子彼此相邻&#xff0c;且宽度为 1 。 求在该柱状图中&#xff0c;能够勾勒出来的矩形的最大面积。 示例 1: 输入&#xff1a;heights [2,1,5,6,2,3] 输出&#xff1a;10 解释…
阅读更多...
Conmi的正确答案——将JAVA中maven的.m2文件夹放到D盘

Conmi的正确答案——将JAVA中maven的.m2文件夹放到D盘

系统&#xff1a;WIN11 1、将.m2文件夹移动到D盘 移动后&#xff1a; 2、创建目录链接 mklink /j "C:\Users\Administrator\.m2" "D:\.m2"至此&#xff0c;maven默认的jar包会加载到D盘的.m2文件夹
阅读更多...
小程序分包的详细流程

小程序分包的详细流程

小程序分包的详细流程如下&#xff1a; 建立分包文件夹&#xff1a;在项目根目录下创建分包文件夹&#xff0c;用来存放除底部菜单栏页面之外的其他页面。例如&#xff0c;你可以创建一个名为subPackages的文件夹&#xff0c;并在其中创建pages文件夹用于存放页面文件&#xff…
阅读更多...
Ubuntu环境安装MySQL数据库

Ubuntu环境安装MySQL数据库

1.安装过程 打开终端&#xff08;Terminal&#xff09;窗口&#xff0c;使用以下命令更新系统软件包&#xff1a; sudo apt update ubuntu环境安装mysql-server和mysql开发包&#xff0c;包括mysql头文件和动态库文件&#xff0c;命令如下&#xff1a; sudo apt-get instal…
阅读更多...
vue复用组件出现data-v-xxx乱码无法通过css修改指定样式

vue复用组件出现data-v-xxx乱码无法通过css修改指定样式

vue复用组件出现data-v-xxx乱码无法通过css修改指定样式解决方案如下 选择需要修改的样式 给最高级父级元素定义新的classname 与原有样式保持相同级联 修改指定样式 .demo_parent .demo_son .demo_grandson[data-v-73a2ee76]{ padding: 0; border-radius: 3px; background: #…
阅读更多...
【科研基础】信息瓶颈 Information Bottleneck

【科研基础】信息瓶颈 Information Bottleneck

Information Bottleneck的主要想法是将多层神经网络视为逐层传递的马尔科夫链&#xff0c;信息在链中被逐层压缩&#xff0c;去掉和输出无关的&#xff0c;留下与输出相关的。也就是说让每一层与模型输入的互信息逐渐减小&#xff0c;与模型输出的互信息逐渐增大【1】 [1]信息瓶…
阅读更多...
分享数字孪生潭江流域建设与实践论文

分享数字孪生潭江流域建设与实践论文

数字孪生潭江流域建设 广东省水利厅 以支撑江门市沿线水工程精准联调联控&#xff0c;提升水旱灾害防御能力为首要任务&#xff0c;融合多信息源预报、GIS等技术&#xff0c;建立气象-水文-水动力集一体的复杂流域入库径流预报及其洪涝延伸预报模型平台&#xff0c;构建具有“…
阅读更多...
zookeeper动态扩缩容（无需重启）

zookeeper动态扩缩容（无需重启）

目录 一、启动一个zk 二、扩容一个zk 三、缩容一个zk 四、重新配置集群的节点 前言&#xff1a; zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下&#xff0c;对整个zookeeper集群进行动态扩/缩容。 zookeeper客户端支持的命令&#xff…
阅读更多...
Qt应用软件【文件篇】INI文件读写

Qt应用软件【文件篇】INI文件读写

文章目录 INI文件简介INI文件的主要特点INI文件的应用场景Qt INI文件相关API汇总Qt读取INI文件代码示例Qt写入INI文件代码示例Qt修改INI文件代码示例INI文件编码格式问题INI文件简介 INI文件，全称Initialization File，是一种简单的文本文件，用于存储配置信息和参数。它由多…
阅读更多...
【明道云】导入Excel数据时的默认顺序

【明道云】导入Excel数据时的默认顺序

【背景】 明道云导入Excel过程中由于数据问题往往会有一些需要补录的地方。这种情况下就需要已上传到线上的数据和本地Excel的记录顺序完全一致才方便对比。因此需要清除如何让两者的记录顺序一致。 【分析】 经过多次排序对比&#xff0c;考虑到分页的影响&#xff0c;发现…
阅读更多...
二层交换机和三层交换机区别

二层交换机和三层交换机区别

01、二层交换机 二层交换机&#xff0c;也被称为数据链路层交换机&#xff0c;是在OSI模型的数据链路层&#xff08;第二层&#xff09;进行数据交换的设备。它基于MAC&#xff08;Media Access Control&#xff09;地址来转发数据包&#xff0c;实现局域网内部的数据传输 1、…
阅读更多...
jetson nano——报错（已解决）：ModuleNotFoundError: No module named ‘dlib‘

jetson nano——报错（已解决）：ModuleNotFoundError: No module named ‘dlib‘

目录 1.问题描述2. ps&#xff1a;下面二个方法选一个即可。2.1.方法一&#xff1a;2.2.方法二&#xff1a;我直接提供文件&#xff0c;大家进入cd dlib-19.17输入python3 setup.py install即可 系统&#xff1a;jetson-nano-jp451-sd-card-image ubuntu 18.04 借鉴了这位博主的…
阅读更多...
最新文章

Copyright @ 2022~2023