zookeeper安装教程及其基本使用

目录

zookeeper下载:

zookeeper下载官网:

本地安装配置:

启动zookeeper:

 开启服务端:

启动客户端:

查看zookeeper的状态:

zoo.cfg文件解读:

zookeeper的集群安装:

报错分析:

选举机制---第一次启动:

部分概念:

选举机制---非第一次启动:

ZK集群的启动与停止脚本:

客户端命令行操作:

参数分析: 

节点类型(持久/短暂/有序号/无序号):

监听器原理:

监听原理详解:

 节点的值变化监听:

节点的子节点变化监听(路径变化):

 节点删除与查看:


zookeeper下载:

zookeeper下载官网:

https://zookeeper.apache.org/

点击上述,下载3.5.7版本 

本地安装配置:

下载到win机上,上传到linux上,再进行解压,修改配置文件(配置文件在conf目录下)

先修改zoo文件的名称:zoo_sample.cfg 修改为 zoo.cfg(sample是模板的意思)

进入zoo.cfg文件进行配置

需要修改dataDir的路径

在zookeeper的目录下自己创建一个目录作为zookeeper的数据与事务日志的存储目录

保存退出

启动zookeeper:

进入zookeeper的bin目录下可以找到下边两个脚本便是启动脚本文件(一个客户端,一个服务端,先启动服务端再启动客户端)

 开启服务端:

bin/zkServer.sh start

 

启动客户端:

与服务端不一样,不需要start

 进入后:

查看zookeeper的状态:

bin/zkServer.sh status

 

zoo.cfg文件解读:

tickTime=2000:

通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒

initLimit=10(首次连接时限):

Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)

syncLimit=5(非首次连接时限):

Leader和Follower之间通信时间如果超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。

clientPort=2181
客户端连接端口,通常不做修改。

dataDir=/opt/module/zookeeper-3.5.7/zkData
保存Zookeeper中的数据,一般默认temp,默认的目录容易被Linux定期删除

zookeeper的集群安装:

在上边我们已经安装好了本地模式,集群模式只需要我们修改一些配置进行分发到集群的其他服务器上即可。

(1)zkData 目录下创建一个 myid 的文件在文件中添加与 server 对应的编号(相当于唯一标识符)(注意:上下不要有空行,左右不要有空格)

(2)将配置好的文件进行分发

xsync zookeeper-3.5.7 

(3)修改配置,分发到集群的其他服务器上后需要修改zkData 目录下的myid 的文件修改为自己的唯一标识符

  (4) 修改zoo.cfg文件:

因为我们在本地模式的时候已经修改了部分配置文件,我们从本地模式转变成集群模式需要在zoo.fg文件下添加配置:

#######################cluster########################## 
server.2=hadoop102:2888:3888 
server.3=hadoop103:2888:3888 
server.4=hadoop104:2888:3888 

参数格式:

server.A=B:C:D

A 是一个数字,表示这个是第几号服务器;

集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据 就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比 较从而判断到底是哪个 server。

B 是这个服务器的地址;

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口;

D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的

Leader,而这个端口就是用来执行选举时服务器相互通信的端口

再次分发文件

启动zookeeper(没有成功)

报错分析:

这里我一直启动不了,因为我以前运行过本地模式,当时怀疑是存储的日志问腿,就去zkdata文件夹下删除了version-2 文件夹重启还是不能启动zookeeper,有去看了配置文件zoo.cfg,后来发现是上边新加的配置信息后边结尾带空格了,删除之后重启,启动zookeeper成功

选举机制---第一次启动:

本机制是在5台服务器的前提下进行的

(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数为0票,服务器2票数为2票,没有半数以上结果,无法选举出leader,服务器1,2状态保持LOOKING

(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;

(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,进入follow状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。

总结:选举机制是一般都会先选举自己,发现不过半,则会转换自己的投票,转投myid比自己大的。当有服务器选票过半数后,则会选举出leader。后边的服务器就会进行比票,但是已经确定的leader与follow不会再进行改选。

部分概念:

SID:服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。

ZXID:(客户端每次执行写操作都有事务id)事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻, 集群中的每台机器的ZXID值不一定完全一 致,这和ZooKeeper服务器对于客户端“更 新请求”的处理逻辑有关。

Epoch:每个Leader任期的代号。没有

Leader时同一轮投票过程中的逻辑时钟值是 相同的。每投完一次票这个数据就会增加

选举机制---非第一次启动:

(1)当ZooKeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:

服务器初始化启动。

• 服务器运行期间无法和Leader保持连接。 (2)而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:

• 集群中本来就已经存在一个Leader。 对于第一种已经存在Leader的情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连 接,并进行状态同步即可。

• 集群中确实不存在Leader。

假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。某一时刻,3和5服务器出现故障,因此开始进行Leader选举。 SID为1、2、4的机器投票情况(分别为EPOCH,ZXID,SID ): (1,8,1) (1,8,2) (1,7,4) 

选举Leader规则: ①EPOCH大的直接胜出 ②EPOCH相同,(ZXID)事务id大的胜出

③(ZXID)事务id相同,(SID)服务器id大的胜出

ZK集群的启动与停止脚本:

注:start/stop/status不要换行,会让脚本失效,显示找不到

#!/bin/bash case $1 in 
"start"){ for i in hadoop102 hadoop103 hadoop104 do echo ---------- zookeeper $i 启动 ------------ ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start" done 
};; 
"stop"){ for i in hadoop102 hadoop103 hadoop104 do echo ---------- zookeeper $i 停止 ------------ ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop" done 
};; 
"status"){ for i in hadoop102 hadoop103 hadoop104 do echo ---------- zookeeper $i 状态 ------------ ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status" done 
};; 
esac

客户端命令行操作:

启动特定服务器的客户端:

 bin/zkCli.sh -server hadoop102:2181

查看节点信息:
 

ls -s /

参数分析: 

(1)czxid:创建节点的事务 zxid

每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所 有修改总的次序。每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之 前发生。

(2)ctime:znode 被创建的毫秒数(从 1970 年开始)

(3)mzxid:znode 最后更新的事务 zxid

(4)mtime:znode 最后修改的毫秒数(从 1970 年开始)

(5)pZxid:znode 最后更新的子节点 zxid

(6)cversion:znode 子节点变化号,znode 子节点修改次数

(7)dataversion:znode 数据变化号

(8)aclVersion:znode 访问控制列表的变化号

(9)ephemeralOwner:如果是临时节点,这个是 znode 拥有者的 session id。如果不是 临时节点则是 0。

(10)dataLength:znode 的数据长度

(11)numChildren:znode 子节点数量

节点类型(持久/短暂/有序号/无序号):

持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除

短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除

持久化顺序编号目录节点:

客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号

3)临时目录节点

客户端与Zookeeper断开连接后,该节点被删除

4)临时顺序编号目录节点

客户端与Zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号

(被删除后,会从该节点进行递增编号)

示例:

create /sanguo "diaochan" 

在你创建节点的时候必须代值

create /sanguo/shuguo "liubei" 

不要依/结尾

ls /sanguo

上述代码“ls”只能查看当前节点是否有子节点,不能查看节点的值

get -s /sanguo

上述命令可以查看节点的值

上述创建的为不带序号的永久节点

 创建带序号的永久节点:

create -s /sanguo/weiguo/zhangliao "zhangliao"

 

 可以看到节点zhangliao是带节点的

带序号的情况下,我再次执行上边语句:

 会显示创建了002号节点 ,但是如果我们创建的是不带序号的已经存在的永久节点,那么就会报错节点已经存在

创建临时节点:

创建临时节点是加上  -e

create -e /sanguo/wuguo "sunquan"

这个语句是创建的不带序号的临时节点

下边我们再次创建带序号的临时节点:

创建的还是吴国

 create -e -s /sanguo/wuguo "zhouyu"

 

断开客户端,查看临时节点是否还存在:

 

 修改节点的值:

监听器原理:

监听器主要是监听  监听节点数据的变化 (get path [watch])与 监听子节点增减的变化(ls path [watch])

监听原理详解:

1)首先要有一个main()线程

2)在main线程中创建Zookeeper客户端,这时就会创建两个线

程,一个负责网络连接通信(connet),一个负责监听(listener)。

3)通过connect线程将注册的监听事件发送给Zookeeper。

4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。

5)Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。

6)listener线程内部调用了process()方法。

 节点的值变化监听:

在开启103,104两台服务器的本地客户端

在hadoop104主机上注册监听/sanguo节点数据变化:

 get -w /sanguo 

在hadoop103主机上修改/sanguo节点的数据:

set /sanguo "xisi" 

观察hadoop104主机收到数据变化的监听:

但是,申请监听只能监听到一次它的修改,在hadoop103再多次修改/sanguo的值,hadoop104上不会再收到监听。因为注册一次,只能监听一次。想再次监听,需要再次注册。

节点的子节点变化监听(路径变化):

在hadoop104主机上注册监听/sanguo节点的子节点变化

ls -w /sanguo 

 在hadoop103主机/sanguo节点上创建子节点

create /sanguo/jin "simayi"

观察hadoop104主机收到子节点变化的监听:

注意:节点的路径变化,也是注册一次,生效一次。想多次生效,就需要多次注册。

 节点删除与查看:

删除单个节点:

delete /sanguo/jin 

 递归删除节点:

deleteall /sanguo/shuguo 

查看节点状态:

stat /sanguo

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/28047.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

享元模式 Flyweight Pattern 《游戏编程模式》学习笔记

如果我们要存储一个树一样的数据结构,直觉来说我们会这么写 但是实际上我们会发现,哪怕森林里有千千万万的树,它们大多数长得一模一样。 它们使用了相同的网格和纹理。 这意味着这些树的实例的大部分字段是一样的。 那么我们就可以将树共…

案例:Docker 镜像的创建及使用(commit与dockerfile方式)

文章目录 1、commit方式创建镜像1.1、前期准备1.2、制成镜像1.3、启动镜像1.3.1、启动镜像启动nginx1.3.2、一个命令直接全部启动1.3.3、两种方式区别 1.4、commit创建镜像方式的本质 2、Dockerfile的使用2.1、Dockerfile指令2.2、nginx镜像制作案例2.3、查看构建历史&#xff…

wordpress 打开缓慢处理

gravatar.com 头像网站被墙 追踪发现请求头像时长为21秒 解决方案一 不推荐,容易失效,网址要是要稳定为主,宁愿头像显示异常,也不能网址打不开 网上大部分搜索到的替换的CDN网址都过期了,例如:gravatar.du…

37.利用linprog解 有约束条件多元变量函数最小值(matlab程序)

1.简述 linprog函数主要用来求线型规划中的最小值问题(最大值的镜像问题,求最大值只需要加个“-”) 2. 算法结构及使用方法 针对约束条件为Axb或Ax≤b的问题 2.1 linprog函数 xlinprog(f,A,b) xlinprog(f,A,b,Aeq,beq) xlinprog(f,A,b,Aeq,…

5.PyCharm基础使用及快捷键

在前几篇文章中介绍了PyCharm的安装和汉化,本篇文章一起来看一下PyCharm的基本用法和一些快捷键的使用方法。 本篇文章PyCharm的版本为PyCharm2023.2 新建项目和运行 打开工具,在菜单中——文件——新建项目 选择项目的创建位置(注意最好不要使用中文路径和中文名项目名称…

如何查询多级菜单(采用递归的方法)

应用场景 1.京东 京东的页面就是这么显示的在家用电器下面有电视.空调.洗衣机然后再电视下面又有全面屏电视.教育电视等等 2.我们的后端管理系统 我们后端在页面上显示的很多也是通过层级目录的显示出来。 如何实现 1.准备数据库 我们这里parent_id为0的为我们的一级菜单 …

自己实现Linux 的 cp指令

cp指令 Linux的cp指令就是复制文件: cp: 拷贝(cp 拷贝的文件 要拷贝到的地址或文件),cp b.c test.c 将b.c拷成test.c的一个新文件 Linux 系统初识_mjmmm的博客-CSDN博客 实现思路 打开源文件读文件内容到缓冲区创建新文件将读到的文件内容全部写入新文…

Apache+Tomcat 整合

目录 方式一:JK 1、下载安装包 2、添加依赖 3、启动服务,检查端口是否监听 4、提供apxs命令 5、检查是否确实依赖 6、编译安装 7、重要配置文件 方式二:http_proxy 方式三:ajp_proxy 方式一:JK 1、下载安装…

windows环境下如何更改pip安装的默认位置

1.查看配置信息 python -m site2.查看配置文件位置 python -m site -help3.修改配置文件 USER_SITE "D:\\soft\\Anaconda\\Lib\\site-packages" USER_BASE "D:\\soft\\Anaconda\\Scripts"如果遇到文件无法保存情况,请给用户增加权限。 4.…

微信如何多号定时群发?

微信作为国内最大的网络社交平台,目前用户已超过11亿。 掐点给朋友送生日祝福,给领导同事送新年祝福,提醒朋友的待办事项等等,这些定时发送功能一直都是微博 QQ,邮箱的专属,如果微信也能定时发送该多好?其…

Qt实现可伸缩的侧边工具栏(鼠标悬浮控制伸缩栏)

Qt实现可伸缩的侧边工具栏 一直在网上找,发现大多的实现方案都是用一个按钮,按下控制侧边栏的伸缩,但是我想要实现鼠标悬浮在侧边栏的时候就伸出,移开就收缩的功能,也没找到好的参考,所以决定自己实现一个…

人工智能的未来:探索下一代生成模型

推荐:使用 NSDT场景编辑器 助你快速搭建可编辑的3D应用场景 生成式 AI 目前能够做什么,以及探索下一波生成式 AI 模型需要克服的当前挑战? 如果你跟上科技世界的步伐,你就会知道生成式人工智能是最热门的话题。我们听到了很多关于…

Kafka-消费者组消费流程

消费者向kafka集群发送消费请求,消费者客户端默认每次从kafka集群拉取50M数据,放到缓冲队列中,消费者从缓冲队列中每次拉取500条数据进行消费。

JVM面试突击班2

JVM面试突击班2 对象被判定为不可达对象之后就“死”了吗 对象的生命周期 创建阶段 (1)为对象分配存储空间 (2)开始构造对象 (3)从超类到子类对static成员进行初始化 (4)超类成…

数学建模学习(10):遗传算法

遗传算法简介 • 遗传算法(Genetic Algorithms)是基于生物进化理论的原理发展起来的一种广为 应用的、高效的随机搜索与优化的方法。其主要特点是群体搜索策略和群体中个体之 间的信息交换,搜索不依赖于梯度信息。它是20世纪70年代初期由美国…

铸铝齿轮泵比例流量阀放大器

液压齿轮泵是一种常用的液压泵,被广泛应用于各种低压系统中,如采矿、冶金、建筑、航空、航海、农林等机械的中、高压液压系统中。 液压齿轮泵的特点是结构简单,制造方便,价格低廉,体积小,重量轻&#xff0…

机器学习深度学习——循环神经网络RNN

👨‍🎓作者简介:一位即将上大四,正专攻机器学习的保研er 🌌上期文章:机器学习&&深度学习—语言模型和数据集 📚订阅专栏:机器学习&&深度学习 希望文章对你们有所帮助…

vs code remote ssh: Resolver error: Error: Got bad result from install script

今天像往常一样,打开 windows 11,使用 vs code 远程连接服务器 ubuntu 20,但是遇到了一个错误:Resolver error: Error: Got bad result from install script。 ok!!!开始 Bing !&…

利用abapGit的离线模式导出、导入开发对象

1. 背景 abapGit是为ABAP服务器开发的开源Git客户端,用于在ABAP系统之间导入和导出ABAP对象。 使用abapGit,可以将ABAP对象从任何系统导出到另一个系统,通常是从本地系统导出到云,或者从一个云系统导出到另一个云系统。 当然从…

Redis——特性介绍与应用场景

Redis特性介绍 In-memory data structrues 众所周知,MySQL是一种关系型数据库,其通过表的结构存储数据,就类似于建立了一个excel表格来存储数据。但是像视频这类数据并不适合存储在关系型数据库中,因此存在非关系型数据库——通…