K8S如何部署ZooKeeper以及如何进行ZooKeeper的平滑替换

2.png

前言

在之前的章节中，我们已经成功地将Dubbo项目迁移到了云环境。在这个过程中，我们选择了单机ZooKeeper作为注册中心。接下来，我们将探讨如何将单机ZooKeeper部署到云端，以及在上云过程中可能遇到的问题及解决方案。

ZooKeeper是一个开源的分布式协调服务，由Apache软件基金会开发。它主要用于实现分布式系统中的配置管理、命名服务、分布式同步和组服务等，是一个功能强大、高性能、高可用性和可扩展性的分布式协调服务，广泛应用于各种分布式系统和微服务架构中。ZooKeeper的主要特点如下：

  • 高可用性：ZooKeeper通过在集群中选举领导者来确保系统的可用性。当领导者不可用时，其他服务器可以自动选举出新的领导者，从而保证了系统的持续运行。

  • 数据一致性：ZooKeeper使用一种称为“原子广播”的数据同步机制，确保所有节点上的数据保持一致。这对于需要高度一致性的分布式应用(如金融交易系统)非常重要。

  • 高性能：ZooKeeper具有低延迟和高吞吐量的特点，适用于处理大量并发请求。它使用了多种优化技术，如内存管理和多线程，以提高性能。

  • 可扩展性：ZooKeeper支持水平扩展，可以通过增加服务器节点来提高系统的容量。此外，ZooKeeper还提供了负载均衡功能，可以根据服务器的负载情况自动分配客户端请求。

  • 灵活性：ZooKeeper提供了丰富的API和工具，方便开发者进行集成和定制。同时，它还支持多种编程语言，如Java、C++、Python等。

ZooKeeper的云端迁移

由于我们还有一些Dubbo服务并未部署在Kubernetes集群内，因此我们需要在Zookeeper中采用NodePort方式来暴露相关端口。这样一来，外部的Dubbo服务便可以通过访问Zookeeper节点的IP地址和NodePort号来建立连接，从而实现对其他Dubbo服务的访问。

在之前的文章中，我们提到了我们的Dubbo版本为2.7.22。因此，在查阅了Dubbo官方文档中关于Dubbo版本与ZooKeeper版本之间的依赖关系后，我们选择的ZooKeeper官方镜像为zookeeper:3.4.9。

Dubbo版本与ZooKeeper版本关系

基于以上的历史原因，我们最终的部署文件如下所示：

apiVersion: v1
kind: Service
metadata:name: zookeepernamespace: your-namespace
spec:selector:app: zookeepertype: NodePortports:- name: clientport: 2181targetPort: 2181nodePort: 30000- name: followerport: 2888targetPort: 2888nodePort: 30001- name: leaderport: 3888targetPort: 3888nodePort: 30002
---
apiVersion: apps/v1
kind: Deployment
metadata:name: zookeepernamespace: your-namespace
spec:replicas: 1selector:matchLabels:app: zookeepertemplate:metadata:labels:app: zookeeperspec:affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: project.nodeoperator: Invalues:- your-namespacecontainers:- name: zookeeperimage: zookeeper:3.4.9imagePullPolicy: IfNotPresentterminationMessagePath: /dev/termination-logterminationMessagePolicy: Fileports:- containerPort: 2181- containerPort: 2888- containerPort: 3888volumeMounts:- name: datamountPath: /datavolumes:- name: datahostPath:path: /var/lib/docker/zookeeper

在这个配置文件中，我们使用了一个名为zookeeper的Deployment来部署单机ZooKeeper，并使用了一个名为zookeeper的Service来暴露端口。Service的类型被设置为NodePort，这样可以在集群外部链接ZooKeeper。Service的选择器指定了要暴露的Pod，这里使用了一个名为zookeeper的标签。Service的端口被设置为2181、2888和3888，分别对应ZooKeeper的客户端端口、跟随者端口和领导者端口。targetPort字段指定了要转发到Pod的端口，这里使用了相同的端口号。nodePort字段指定了要暴露的端口号，这里分别使用了30000、30001和30002端口。我们将/data目录挂载到了宿主机的/var/lib/docker/zookeeper目录。这个目录用于存储ZooKeeper的数据和日志。

启动一个Dubbo服务，我们使用刚刚部署的Zookeeper作为注册中心。同时，我们也部署了一个Dubbo-Admin,它同样链接到刚刚部署的Zookeeper上。登录到Dubbo-Admin前端页面，我们发现服务已经成功注册。至此，Zookeeper已成功迁移到云端。

2.png

ZooKeeper的平滑迁移

根据上述步骤，我们已经成功部署了一个可用的单机ZooKeeper。那么，如何将线上存量服务在不停机的情况下优雅的平滑迁移过来呢？

其实，在Dubbo官方文档中，已经给了我们答案：多注册中心地址不聚合。

Dubbo 注册中心和服务是独立配置的，通常开发者不用设置服务和注册中心组件之间的关联关系，Dubbo 框架会将自动执行以下动作：

  • 对于所有的 Service 服务，向所有全局默认注册中心注册服务地址。
  • 对于所有的 Reference 服务，从所有全局默认注册中心订阅服务地址。
<dubbo:registry id="one" address="zookeeper://127.0.0.1:9090" />
<dubbo:registry id="two" address="zookeeper://127.0.0.2:9010" />

因此，当我们配置如上所示独立配置的注册中心组件时，Dubbo会将所有的Service服务同时注册到这两个ZooKeeper上，并且所有的Reference服务也会同时订阅这两个ZooKeeper。地址列表在消费端默认是完全隔离的，负载均衡选址要经过两步：

  1. 注册中心集群间选址，选定一个集群
  2. 注册中心集群内选址，在集群内进行地址筛选

1.png

注册中心集群间选址策略有如下几种：

  • 随机：默认策略，每次请求都随机的分配到一个注册中心集群。随机的过程中会有可用性检查，即每个集群要确保至少有一个地址可用才有可能被选到。

  • preferred 优先：如果有注册中心集群配置了 preferred="true"，则所有流量都会被路由到这个集群。

    <dubbo:registry id="one" address="zookeeper://127.0.0.1:9090" preferred="true"/>
<dubbo:registry id="two" address="zookeeper://127.0.0.2:9010" />

  • weighted：基于权重的随机负载均衡，以下集群间会有大概 10:1 的流量分布。

    <dubbo:registry id="one" address="zookeeper://127.0.0.1:9090" weight="100"/>
<dubbo:registry id="two" address="zookeeper://127.0.0.2:9010" weight="10"/>

  • 同 zone 优先：根据 Invocation 中带的流量参数或者在当前节点通过 context 上下文设置的参数，流量会被精确的引导到对应的集群。

    <dubbo:registry id="one" address="zookeeper://127.0.0.1:9090" zone="one"/>
<dubbo:registry id="two" address="zookeeper://127.0.0.2:9010" zone="two"/>

    RpcContext.getContext().setAttachment("registry_zone", "one");

在这里，我们采用默认的随机策略，因为在随机的过程中会有可用性检查，这确保了我们的消费者服务始终能够连接到可用的提供者服务，为我们不停机迁移提供了基础。

接下来，我们需要对代码进行修改，具体操作如下：

  • dubbo.xml：

    • 删除以下部分：

      <!-- zookeeper注册中心 -->
<dubbo:registry address="${dubbox.registry.address}"/>

    • 新增以下部分：

      <!-- 老zookeeper注册中心 -->
<dubbo:registry id="oldZkRegistry" address="${dubbox.registry.address}"/>
<!-- 新k8s上zk注册中心 -->
<dubbo:registry id="newZkRegistry" address="${dubbox.registry.address.new}"/>

  • 配置文件：在配置文件中，新增以下配置：

    # 新k8s上zk注册中心地址，ip为宿主机的ip，端口为nodeport暴露的client的端口
dubbox.registry.address.new = zookeeper://xx.xx.xx.xx:30000

在经过改造后，我们的服务将同时注册到新的和旧的ZooKeeper上，这就相当于我们搭建了一个ZooKeeper集群。当所有的存量服务都完成改造并成功部署上线后，我们还需要对我们的代码进行进一步的改造。具体的步骤如下：

  • dubbo.xml：

    • 删除以下部分：

      <!-- 老zookeeper注册中心 -->
<dubbo:registry id="oldZkRegistry" address="${dubbox.registry.address}"/>
<!-- 新k8s上zk注册中心 -->
<dubbo:registry id="newZkRegistry" address="${dubbox.registry.address.new}"/>

    • 新增以下部分：

      <!-- 新k8s上zk注册中心 -->
<dubbo:registry address="${dubbox.registry.address.new}"/>

  • 配置文件：在配置文件中，删除以下配置：

    # 老zk注册中心地址
dubbox.registry.address = zookeeper://xx.xx.xx.xx:2181

当我们的存量服务全部经过改造并成功部署上线后，我们的老ZooKeeper才能够进行停机下线。至此，ZooKeeper的平滑替换便顺利完成了。

小结

经过以上的阐述，我们可以明确地认识到，在决定ZooKeeper的部署版本时，我们需要进行深入细致的分析，充分考虑外部环境因素的影响，例如Duboo版本之间的兼容性问题。为了确保ZooKeeper的平稳迁移并维持服务的连续性，我们需要采取一系列策略，如逐步升级、严格的功能测试和版本兼容性检查等。要在生产环境中实现ZooKeeper的平滑迁移并保持服务不间断，这将需要投入大量的时间和精力。因此，在我们正式上线生产环境之前，必须进行详尽的规划，全面预见未来可能出现的情况，以最大程度地避免不必要的麻烦。只有这样，我们才能确保项目的长期稳定运行。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/54113.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Docker安装ES+kibana8.9.1

Docker安装ES+kibana8.9.1

参考&#xff1a;基于Docker安装Elasticsearch【保姆级教程、内含图解】_docker elasticsearch_Acloasia的博客-CSDN博客 创建网络 docker network create es-net 基于Docker安装Elasticsearch 拉取镜像 docker pull elasticsearch:8.9.1 挂载文件 mkdir -p /usr/local/e…
阅读更多...
Excel 分组排名

Excel 分组排名

分组排名 公式&#xff1a;SUMPRODUCT((A:AA2)*(C:C>C2)) 1 降序&#xff1a;> 改为 < ⚠️注意1&#xff1a;此处空值参与排名&#xff1b;不参与排名则公式改为&#xff1a;IF(C2“”,“”,SUMPRODUCT((A:AA2)*(C:C>C2)) 1) ⚠️注意2&#xff1a;相同值的项…
阅读更多...
2023年清洁能源与智能电网国际会议(CCESG 2023)

2023年清洁能源与智能电网国际会议(CCESG 2023)

会议简介 Brief Introduction 2023年清洁能源与智能电网国际会议(CCESG 2023) 会议时间&#xff1a;2023年 召开地点&#xff1a;中国南宁 大会官网&#xff1a;CCESG 2023-2023 International Joint Conference on Clean Energy and Smart Grid 由IASED主办&#xff0c; CoreS…
阅读更多...
PHP自己的框架session()使用（完善篇六）

PHP自己的框架session()使用（完善篇六）

1、PHP自己的框架session() 2、session类&#xff08;SessionBase.php&#xff09; <?php class SessionBase {/*** 设置session*/public static function set($name, $data, $expire600){$session_data array();$session_data[data] $data;$session_data[expire] time…
阅读更多...
PC上架货源的方式

PC上架货源的方式

PC上架货源的方式 第一步建立文档夹 给他发一个snipaste的文件包 1、第一步搜索1688 移动端上架货源的方式 货源上架 弄两个方框&#xff0c;上架货源&#xff0c;先下载软件
阅读更多...
数据库三大范式是什么，又为什么要反范式？

数据库三大范式是什么，又为什么要反范式？

&#x1f3c6;作者简介&#xff0c;黑夜开发者&#xff0c;CSDN领军人物&#xff0c;全栈领域优质创作者✌&#xff0c;CSDN博客专家&#xff0c;阿里云社区专家博主&#xff0c;2023年6月CSDN上海赛道top4。 &#x1f3c6;数年电商行业从业经验&#xff0c;历任核心研发工程师…
阅读更多...
“分布式”与“集群”初学者的技术总结

“分布式”与“集群”初学者的技术总结

一、“分布式”与“集群”的解释&#xff1a; 分布式&#xff1a;把一个囊肿的系统分成无数个单独可运行的功能模块 集群&#xff1a; 把相同的项目复制进行多次部署&#xff08;可以是一台服务器多次部署&#xff0c;例如使用8080部署一个&#xff0c;8081部署一个&#xff0c…
阅读更多...
使用cgroup工具对服务器某些/全部用户进行计算资源限制

使用cgroup工具对服务器某些/全部用户进行计算资源限制

使用cgroup工具对服务器某些/全部用户进行计算资源限制 主要介绍&#xff0c;如何对指定/所有用户进行资源限定&#xff08;这里主要介绍cpu和内存占用限制&#xff09;&#xff0c;防止某些用户大量占用服务器计算资源&#xff0c;影响和挤占他人正常使用服务器。 安装cgrou…
阅读更多...
【目标检测】理论篇（2）YOLOv3网络构架及其代码实现

【目标检测】理论篇（2）YOLOv3网络构架及其代码实现

网络构架图&#xff1a; 代码实现&#xff1a; import math from collections import OrderedDictimport torch.nn as nn#---------------------------------------------------------------------# # 残差结构 # 利用一个1x1卷积下降通道数&#xff0c;然后利用一个3x3卷…
阅读更多...
设计模式概述

设计模式概述

文章目录 设计模式概述创建型模式&#xff1a;结构型模式&#xff1a;行为型模式&#xff1a; 设计模式概述 设计模式是什么&#xff1f; 设计模式的一般定义为&#xff1a; 设计模式&#xff08;Design Pattern&#xff09;是一套反复使用、多人知晓的&#xff0c;经过分类…
阅读更多...
机器学习在大数据分析中的应用

机器学习在大数据分析中的应用

文章目录 机器学习在大数据分析中的原理机器学习在大数据分析中的应用示例预测销售趋势客户细分和个性化营销 机器学习在大数据分析中的前景和挑战前景挑战 总结 &#x1f389;欢迎来到AIGC人工智能专栏~探索机器学习在大数据分析中的应用 ☆* o(≧▽≦)o *☆嗨~我是IT陈寒&…
阅读更多...
Kubernetes（K8S）简介

Kubernetes（K8S）简介

Kubernetes (K8S) 是什么 它是一个为 容器化 应用提供集群部署和管理的开源工具&#xff0c;由 Google 开发。Kubernetes 这个名字源于希腊语&#xff0c;意为“舵手”或“飞行员”。k8s 这个缩写是因为 k 和 s 之间有八个字符的关系。 Google 在 2014 年开源了 Kubernetes 项…
阅读更多...
【Unity小技巧】unity2d平台制作一根三七调的鱼竿效果（附git源码）

【Unity小技巧】unity2d平台制作一根三七调的鱼竿效果（附git源码）

文章目录 前言素材开始源码参考完结 前言 今天我们做一个2d鱼竿的效果&#xff0c;先看一下效果成品效果 素材 鱼竿 开始 首先创建一个2D URP项目 &#xff0c;创建一个空物体作为鱼竿&#xff0c;并创建两个子物体作为开始和结束点 配置层级如下 鱼竿和鱼线加Line Ren…
阅读更多...
为什么网络互联地址设置为30位地址

为什么网络互联地址设置为30位地址

对于点对点链路&#xff0c;为了节约IPv4地址&#xff0c;一般为其分配/30地址块&#xff0c;这样包含4个地址&#xff1a;最小地址作为网络地址&#xff0c;最大地址作为广播地址&#xff0c;剩余两个可分配地址&#xff0c;分配给链路两端的接口&#xff0c;这是最普遍的方法…
阅读更多...
大语言模型之六- LLM之企业私有化部署

大语言模型之六- LLM之企业私有化部署

数据安全是每个公司不得不慎重对待的&#xff0c;为了提高生产力&#xff0c;降本增效又不得不接受新技术带来的工具&#xff0c;私有化部署对于公司还是非常有吸引力的。大语言模型这一工具结合公司的数据可以大大提高公司生产率。 私有化LLM需要处理的问题 企业内私有化LLM…
阅读更多...
【Axure原型分享】能统计中英文字数的多行输入框

【Axure原型分享】能统计中英文字数的多行输入框

今天和大家分享能统计中英文字数的多行输入框的原型模板&#xff0c;在输入框里输入内容后&#xff0c;能够动态根据输入框的内容&#xff0c;统计出字符数量&#xff0c;包括总字数、中文字数、英文字数、数字字数、其他标点符号的字数&#xff0c;具体效果可以观看下方视频或…
阅读更多...
系统架构设计高级技能 · 安全架构设计理论与实践

系统架构设计高级技能 · 安全架构设计理论与实践

系列文章目录 系统架构设计高级技能 软件架构概念、架构风格、ABSD、架构复用、DSSA&#xff08;一&#xff09;【系统架构设计师】 系统架构设计高级技能 系统质量属性与架构评估&#xff08;二&#xff09;【系统架构设计师】 系统架构设计高级技能 软件可靠性分析与设计…
阅读更多...
【C++】AVL树（高度平衡二叉树）

【C++】AVL树（高度平衡二叉树）

AVL树 概念AVL树节点定义AVL树节点插入AVL树四种旋转情况左单旋右单旋先左单旋再右单旋先右单旋后左单旋 元素的插入及控制平衡判断最后节点是否平衡 概念 二叉搜索树虽然可以缩短查找的效率&#xff0c;但如果数据有序或者接近有序二叉搜索树将退化为单支树&#xff0c;查找元…
阅读更多...
copy is all you need前向绘图 和疑惑标记

copy is all you need前向绘图 和疑惑标记

疑惑的起因 简化前向图 GPT4解释 这段代码实现了一个神经网络模型&#xff0c;包含了BERT、GPT-2和MLP等模块。主要功能是给定一个文本序列和一个查询序列&#xff0c;预测查询序列中的起始和结束位置&#xff0c;使其对应文本序列中的一个短语。具体实现细节如下&#xff1a…
阅读更多...
Win系统设置开机自启项及自定义自启程序

Win系统设置开机自启项及自定义自启程序

Win系统设置开机自启项及自定义自启程序 分用户自启动和系统自启动两种形式&#xff1a; 1. 用户自启动目录&#xff1a;C:\Users\Administrator\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup 用快速键打开&#xff1a; Win键R键&#xff0c;输入shell:…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023