zookeeper如何管理客户端与服务端之间的链接?(zookeeper sessions)

zookeeper客户端与服务端之间的链接用zookeeper  session表示。

zookeeper session有三个状态:

CONNECTING, ASSOCIATING, CONNECTED, CONNECTEDREADONLY, CLOSED, AUTH_FAILED,

NOT_CONNECTED(start时的状态)

1、CONNECTING 

    表明客户端正在与服务端建立连接。当客户端的句柄正在建立时,在java中,也就是ZkClient对象在创建后,到与服务端建立起真正链接的过程中,zookeeper的session状态是connecting。

2、CONNECTED 

    表明客户端与服务端已经建立链接。

3、CLOSE

    表明客户端与服务端之间的链接已经关闭。

当以下四种事件发生时,session的状态就会发生改变。

1、当session处于CONNECTING状态,客户端请求被加入到连接请求队列CONNECTING requests queue,执行成功后,会触发CONNECTED EVENTsession状态为CONNECTED

2、当session处于CONNECTING状态,但是客户端与服务端尝试连接的过程中权限校验不通过,触发AUTH_FAILED event,客户端请求返回AUTH_FAILED,连接建立结束。

3、当连接已经建立,session处于CONNECTED状态时,服务端突然出现故障或其他因素导致链接失效,触发DISCONNECTED event,返回CONNECT_LOSS。客户端重新将请求加入到连接请求队列CONNECTING requests queue,session状态重新变为CONNECTING。此时客户端有两个选择:

       重新向zookeeper集群中的其他服务器发起连接,成功则触发CONNECTED event,session状态变为CONNECTED,不断尝试直到超时则会造成session timeout,触发SESSION_EXPIRED event,请求返回SESSION_EXPIRED ,同时session状态修改为CLOSE

      或者,客户端直接请求关闭连接,返回CONNECTION LOSS,session状态变为CLOSE

整个过程如下图所示:

State transitions

zookeeper 客户端与服务端建立链接时有三个参数,一个是地址串,一个是超时时间timeout,一个是监听器。

地址参数表明客户端向哪个zookeeper server发起连接请求。 

当你使用多个zookeeper server地址时,多个地址用逗号隔开,比如“127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002”,zookeeper客户端会随机连接到某个server上,如果连接失败,客户端会不断连接到其他server地址上,直到成功。

 zkClient = new ZooKeeper("127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002", 2000,null);

当链接建立时,客户端所处的路径便是zookeeper server的根节点"/“。我们知道zookeeper没有相对路径的说法,客户端访问的所有节点都需要是绝对路径。那假设我们的配置信息分开发环境env和生产环境prod。开发环境的配置信息放在/env节点下,生产环境的配置放在/prod下。我们在开发时访问zookeeper的任何节点都需要加上前缀/env或者/prod。这样太麻烦了也容易出错。

于是zookeeper提供了一种方法,让我们可以在链接建立之后,访问的所有节点都相对于某个路径。

我们在连接地址串后面加上地址,比如:

        zkClient = new ZooKeeper("127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002/env", 2000,null);

 那么当链接建立后,我们访问getData("/a"),实际上访问的是"/env/a”节点。

zookeeper session建立后,服务端会返回一个64位的session id 与针对这个session id设立的密码给客户端。当客户端所连接的这个服务端出现故障导致DISCONNECT event发生后,客户端将会尝试和其他服务端建立链接。客户端会将之前保存的session id与密码发送给新连接的服务端,以保证会话数据和原来一样。

timeout超时时间

session 的超时时间由zookeeper集群自己管理。超时时间是指当session建立后,客户端多长时间没有与服务端进行交互(包括维持连接的心跳也没有)时,集群认为session失效。zookeeper集群会删除这个会话,并且删除这个会话建立的所有临时节点,同时通知所有监听这些临时节点的zookeeper客户端,当然,对于这个这个被删除会话的客户端而言,在它重新连接上zookeeper集群之前它是收不到这个通知的,毕竟如果这个客户端是正常的,那么它就会和zookeeper集群保持心跳以维持会话。会话超时说明这个客户端断开了链接,哪怕zookeeper集群的功能再强大,它也通知不到这个已经失去联系的客户端。

 timeout时间最小是ticktime的两倍时间,最长是20倍。当客户端设置timeout值小于两倍ticktime时,zookeeper server实际返回的是ticktime的两倍时间。

当客户端所连接的server下线时,只要在timeout时间内,客户端能自动重连上zookeeper集群中的其他server,那么会话就能够保持。

zookeeper推荐由zookeeper客户端去负责重连的事情,直到请求返回session expired,此时我们再在自己的程序里去建立一个新的会话。而不是监听到所连接的server下线就立马去建立新的session,那样容易会发生“羊群效应”,也就是当server下线后,所有之前与这个服务端连接的客户端同时申请建立新的会话,会对zookeeper集群造成很大的压力。

SessionMovedException

这是一个内部异常,一般而言来说,客户端不会见到这个异常。当客户端向server A发起请求时,由于网络原因,在请求到达server时客户端就因为长时间没有收到响应而认为A已经下线,进而向server B建立会话。此时请求到达server A,A检测到会话已经转移,就会关闭与这个客户端的tcp链接。这一切都是由zookeeper在内部完成的,正常情况下客户端不会看到这个错误。

当有两个客户端在重建同一个链接时,其中一个客户端建立起的链接会因为另一个客户端建立起同样的链接而失效,从而重新建立链接。不断反复建立,失效,建立,失效,陷入一个死循环中。

在zookeeper3.5.0后加入一个local session概念。

zookeeper的session的建立与关闭是十分消耗性能的。因为在zookeeper中,所有的写操作都要在法定人数的server端操作成功才会同步到所有server。这是zookeeper的写瓶颈所在。另外,假设zookeeper集群的连接客户端非常多,而客户端仅仅只是连接Observer ZooKeeperServer 去读取数据并不涉及写操作时,只建立本地会话能够大大提升性能。

因此在3.5.0后引入一个local session(本地会话)的概念。local session只存在于与客户端连接的server中。

local session有以下特点:

localSessionsUpgradingEnabled 被禁用时,即local session不允许被升级为全局会话,那么:

1、local session不能建立临时节点

2、当会话丢失时,客户端并不能向集群的其他server重建同样的会话。因此local session只存在于之前所连接的server中。但是,这并不意味着当tcp链接断开后,客户端就只能新建一个session了。只要在timeout时间内,客户端重新连接上同一个server,那么session也能够得到保持。

3、local session的信息只由被连接的server维护,并不会通知到集群leader,同样的,session的状态信息也不会被持久化到磁盘。

4、心跳维持、过期和其他session状态由当前的server维护。

为什么要禁用?

  • 在想要处理大量客户端的大型部署中,我们知道客户端通过观察者进行连接,而观察者应该仅是本地会话。因此,这更像是防止有人意外创建大量临时节点和全局会话的防护措施。

localSessionsUpgradingEnabled 启用时,即local session允许被升级为全局会话,那么local session发生以下情况时会被自动升级为global session(全局会话):

1、当local session创建一个临时节点时,local session会先升级为global session再行创建。为什么创建临时节点就要升级为全局会话呢?原因是临时节点的创建在很大程度上取决于全局会话。从数据一致性的角度出发,那么当local session创建临时节点时,不同节点的数据就会不一致。从管理的角度出发,临时节点的删除依赖于集群中的leader。leader需要知道session的生命周期以便当session结束时能够删除临时节点,但是local session并不被leader知晓。

如果请求升级,则将会话从本地集合中删除,同时保留相同的会话ID。

当客户端请求与服务端A建立session时,服务端A会发送session id和password给客户端,同时提交一个createSession给leader。如果在客户端收到返回数据而leader未接收到createSession时,客户端断开连接重连上服务端B,此时服务端B会拿着客户端给的session id发送一个验证包给leader。如果在验证数据包到达之前leader提交了由A发出的CreateSession,则客户端将可以连接。否则,客户端将使会话过期,因为法定人数尚未得知该会话。此时,如果客户端也尝试再次连接回A,则该会话已从本地会话跟踪器中删除。因此,A将需要将验证数据包发送给领导者。处理过程与B相同。

因果一致性

Zookeeper是否满足因果一致性,需要看客户端的编程方式。

  • 不满足因果一致性的做法

1. A进程向Zookeeper的/z写入一个数据,成功返回

2. A进程通知B进程,A已经修改了/z的数据

3. B读取Zookeeper的/z的数据

4. 由于B连接的Zookeeper的服务器有可能还没有得到A写入数据的更新,那么B将读不到A写入的数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/784320.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Linux2】Linux的权限

思维导图 学习内容 在介绍完一些基本指令后,我们需要进行对权限以后一个全新的认识,比如文件的权限、目录的权限等等…… 学习内容 通过上面的学习目标,我们可以列出要学习的内容: shell命令以及运行原理Linux权限的概念Linux权…

【Blockchain】GameFi | NFT

Blockchain GameFiGameFi顶级项目TheSandbox:Decentraland:Axie Infinity: NFTNFT是如何工作的同质化和非同质化区块链协议NFT铸币 GameFi GameFi是游戏和金融的组合,它涉及区块链游戏,对玩家提供经济激励&#xff0c…

失物招领(源码+文档)

失物招领(小程序、ios、安卓都可部署) 文件包含内容程序简要说明含有功能项目截图客户端首页注册界面发布动态我的详细登录修改资料发布动态 管理端后台登录用户管理分类管理内容管理 文件包含内容 1、搭建视频 2、流程图 3、开题报告 4、数据库 5、参考…

施耐德 PLC 控制系统 产品 + 软件总体介绍 2020

参考 2020.7 官方说明视频:https://www.bilibili.com/video/BV1Mi4y1G7Qc/ 总体说明 施耐德作为工业控制界巨头(公认的几大巨头:西门子、AB、施耐德),PLC 控制器产品线很庞大,涵盖了高中低的完整产品线&…

webpack打包模块

webpack打包模块 一.webpack简介二.Webpack 修改入口和出口三.Webpack 自动生成 html 文件四.Webpack-打包 css 代码五.优化-提取 css 代码六.优化压缩过程七.Webpack-打包图片 一.webpack简介 1.Webpack 是一个静态模块打包工具,从入口构建依赖图,打包…

吴恩达2022机器学习专项课程(一) 4.4 学习率

问题预览/关键词 学习率太小有什么影响?学习率太大有什么影响?如果成本函数达到局部最小值,使用梯度下降还能继续最小化吗?为什么学习率固定,而最小化成本函数的步幅却越来越缓?如何选择合适的学习率&…

算法学习——LeetCode力扣图论篇3(127. 单词接龙、463. 岛屿的周长、684. 冗余连接、685. 冗余连接 II)

算法学习——LeetCode力扣图论篇3 127. 单词接龙 127. 单词接龙 - 力扣(LeetCode) 描述 字典 wordList 中从单词 beginWord 和 endWord 的 转换序列 是一个按下述规格形成的序列 beginWord -> s1 -> s2 -> … -> sk: 每一对相…

【苹果MAC】苹果电脑 LOGI罗技鼠标设置左右切换全屏页面快捷键

首先键盘设置->键盘快捷键 调度中心 设置 f1 f2 为移动一个空间(就可以快捷移动了) 想要鼠标直接控制,就需要下载官方驱动,来设置按键快捷键,触发 F1 F2 安装 LOGI OPTIONS Logi Options 是一款功能强大且便于使用…

Spring Boot单元测试全指南:使用Mockito和AssertJ

🌟 前言 欢迎来到我的技术小宇宙!🌌 这里不仅是我记录技术点滴的后花园,也是我分享学习心得和项目经验的乐园。📚 无论你是技术小白还是资深大牛,这里总有一些内容能触动你的好奇心。🔍 &#x…

Verilog语法回顾--用户定义原语

目录 用户定义原语 UDP定义 UDP状态表 状态表符号 组合UDP 电平敏感UDP 沿敏感时序UDP 参考《Verilog 编程艺术》魏家明著 用户定义原语 用户定义原语(User-defined primitive,UDP)是一种模拟硬件技术,可以通过设计新的原…

人工智能产业应用--具身智能

五、下一个浪潮 (一) 跳出缸中脑——虚实结合 在探索人工智能的边界时,“跳出缸中脑——虚实结合”这一概念提出了一个引人深思的视角,尤其是在具身智能的领域。具身智能是一种思想,强调智能体通过与其环境的直接物理互动来实现智能行为。然…

QT-左框选项卡软件界面框架

QT-左框选项卡软件界面框架 一、演示效果二、关键程序三、下载链接 一、演示效果 二、关键程序 #include <QTextBrowser> #include <QLabel> #include <QPushButton> #include <QSpacerItem> #include <QToolButton> #include <QDebug> #i…

【MyBatis】MyBatis的介绍和基本使用

目录 一、数据库操作框架的历程 1.1 JDBC 1.2 DBUtils 1.3 Hibernate 1.4 Spring JDBC&#xff1a;JDBCTemplate 1.5 Spring Data JPA 二、什么是MyBatis&#xff1f; 2.1 传统JDBC与MyBatis相比的弊病 2.2 MyBatis中的组件 2.3 MyBatis的体系结构 三、快速搭建MyBa…

Linux的中间件

我们先补充点关于awk的内容 awk的用法其实很广。 $0 表示整条记录 变量&#xff1a; NF 一行中有多少个字段&#xff08;表示字段数&#xff09; NR &#xff1a; 代表当前记录的序号&#xff0c;从1开始计数。每读取一条记录&#xff0c;NR的值就会自动增加1。&#xff08;…

鸿蒙TypeScript入门学习第5天:【TypeScript 运算符】

1、TypeScript 运算符 运算符用于执行程序代码运算&#xff0c;会针对一个以上操作数项目来进行运算。 考虑以下计算&#xff1a; 7 5 12复制以上实例中 7、5 和 12 是操作数。 运算符 用于加值。 运算符 用于赋值。 TypeScript 主要包含以下几种运算&#xff1a; 算…

NEO 学习之 MLE(最大似然估计)

文章目录 简单题目MLE 在不同的分布的运用正态分布指数分布均匀分布泊松分布 如何理解 最大似然估计&#xff1f; 就是我们先取出一堆样本&#xff0c;得到一个L( θ \theta θ) 函数&#xff0c;然后的话&#xff0c;这个是关于 θ \theta θ 的一个函数&#xff0c;那么由于存…

C++的入门学习

✨✨✨学习的道路很枯燥&#xff0c;希望我们能并肩走下来! 文章目录 目录 文章目录 前言 一、C关键字(C98) 二、命名空间 2.1 引入 ​编辑2.2 命名空间定义 2.3 命名空间的使用 三. C输入&输出 四.缺省参数 4.1 缺省参数概念 4.2 缺省参数分类 1.全缺省参数 2…

HTTP 协议的基本格式

一 HTTP是什么 超文本传输协议&#xff08;Hypertext Transfer Protocol&#xff0c;HTTP&#xff09;是一个简单的请求-响应协议&#xff0c;它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。 HTTP协议的主要特点包括&#xff1a; 无连…

七、Audio,Paper or Kindle:What‘s the best way to read a book?听书、纸书、电纸书,阅读方式该怎么选?

Whats the most effective way to read a book?Should you stick to paper books you can flip the pages, dog-ear and write notes in the margin?What about Kindle or other eReaders, which let you download new books instantly and cheaply?Is it okay to listen to…

经验分享:企微文档是什么?对企业有什么用处?

许多在企业单位工作的小伙伴应该都用过企业微信&#xff0c;这是一个专为企业打造的高效办公平台。然而&#xff0c;你是否了解其中的一个功能—企微文档呢&#xff1f;在这篇文章中&#xff0c;我将详细的解读一下企微文档是什么和它对企业的益处。 那么&#xff0c;什么是企微…