Zookeeper：基于Zookeeper的分布式锁与领导选举

本文转发自技术世界，原文链接　http://www.jasongj.com/zookeeper/distributedlock/

1、Zookeeper特点

1.1 Zookeeper节点类型

如上文《Zookeeper架构及FastLeaderElection机制》所述，Zookeeper 提供了一个类似于 Linux 文件系统的树形结构。该树形结构中每个节点被称为 znode ，可按如下两个维度分类

  • Persist vs. Ephemeral
  1. Persist节点，一旦被创建，便不会意外丢失，即使服务器全部重启也依然存在。每个 Persist 节点即可包含数据，也可包含子节点
  2. Ephemeral节点，在创建它的客户端与服务器间的 Session 结束时自动被删除。服务器重启会导致 Session 结束，因此 Ephemeral 类型的 znode 此时也会自动删除
  • Sequence vs. Non-sequence
  1. Non-sequence节点，多个客户端同时创建同一 Non-sequence 节点时，只有一个可创建成功，其它均失败。并且创建出的节点名称与创建时指定的节点名完全一样
  2. Sequence节点，创建出的节点名在指定的名称之后带有10位10进制数的序号。多个客户端创建同一名称的节点时，都能创建成功，只是序号不同

1.2 Zookeeper语义保证

Zookeeper 简单高效，同时提供如下语义保证，从而使得我们可以利用这些特性提供复杂的服务。

  • 顺序性　客户端发起的更新会按发送顺序被应用到 Zookeeper 上
  • 原子性 更新操作要么成功要么失败，不会出现中间状态
  • 单一系统镜像　一个客户端无论连接到哪一个服务器都能看到完全一样的系统镜像（即完全一样的树形结构）。注：根据上文《Zookeeper架构及FastLeaderElection机制》介绍的 ZAB 协议，写操作并不保证更新被所有的 Follower 立即确认，因此通过部分 Follower 读取数据并不能保证读到最新的数据，而部分 Follwer 及 Leader 可读到最新数据。如果一定要保证单一系统镜像，可在读操作前使用 sync 方法。
  • 可靠性　一个更新操作一旦被接受即不会意外丢失，除非被其它更新操作覆盖
  • 最终一致性　写操作最终（而非立即）会对客户端可见

1.3 Zookeeper Watch机制

所有对 Zookeeper 的读操作，都可附带一个 Watch 。一旦相应的数据有变化，该 Watch 即被触发。Watch 有如下特点

  • 主动推送　Watch被触发时，由 Zookeeper 服务器主动将更新推送给客户端，而不需要客户端轮询。
  • 一次性　数据变化时，Watch 只会被触发一次。如果客户端想得到后续更新的通知，必须要在 Watch 被触发后重新注册一个 Watch。
  • 可见性　如果一个客户端在读请求中附带 Watch，Watch 被触发的同时再次读取数据，客户端在得到 Watch 消息之前肯定不可能看到更新后的数据。换句话说，更新通知先于更新结果。
  • 顺序性　如果多个更新触发了多个 Watch ，那 Watch 被触发的顺序与更新顺序一致。

2、 分布式锁与领导选举关键点

2.1 最多一个获取锁 / 成为Leader

对于分布式锁（这里特指排它锁）而言，任意时刻，最多只有一个进程（对于单进程内的锁而言是单线程）可以获得锁。

对于领导选举而言，任意时间，最多只有一个成功当选为Leader。否则即出现脑裂（Split brain）

2.2 锁重入 / 确认自己是Leader

对于分布式锁，需要保证获得锁的进程在释放锁之前可再次获得锁，即锁的可重入性。

对于领导选举，Leader需要能够确认自己已经获得领导权，即确认自己是Leader。

2.3 释放锁 / 放弃领导权

锁的获得者应该能够正确释放已经获得的锁，并且当获得锁的进程宕机时，锁应该自动释放，从而使得其它竞争方可以获得该锁，从而避免出现死锁的状态。

领导应该可以主动放弃领导权，并且当领导所在进程宕机时，领导权应该自动释放，从而使得其它参与者可重新竞争领导而避免进入无主状态。

2.4 感知锁释放 / 领导权的放弃

当获得锁的一方释放锁时，其它对于锁的竞争方需要能够感知到锁的释放，并再次尝试获取锁。

原来的Leader放弃领导权时，其它参与方应该能够感知该事件，并重新发起选举流程。

3、非公平领导选举

从上面几个方面可见，分布式锁与领导选举的技术要点非常相似，实际上其实现机制也相近。本章就以领导选举为例来说明二者的实现原理，分布式锁的实现原理也几乎一致。

3.1 选主过程

假设有三个Zookeeper的客户端，如下图所示，同时竞争Leader。这三个客户端同时向Zookeeper集群注册Ephemeral且Non-sequence类型的节点，路径都为/zkroot/leader（工程实践中，路径名可自定义）。

在这里插入图片描述

如上图所示，由于是Non-sequence节点，这三个客户端只会有一个创建成功，其它节点均创建失败。
此时，创建成功的客户端（即上图中的Client 1）即成功竞选为 Leader 。其它客户端（即上图中的Client 2和Client 3）此时均为 Follower。

3.2 放弃领导权

如果 Leader 打算主动放弃领导权，直接删除/zkroot/leader节点即可。

如果 Leader 进程意外宕机，其与 Zookeeper 间的 Session 也结束，该节点由于是Ephemeral类型的节点，因此也会自动被删除。

此时/zkroot/leader节点不复存在，对于其它参与竞选的客户端而言，之前的 Leader 已经放弃了领导权。

3.3 感知领导权的放弃

由上图可见，创建节点失败的节点，除了成为 Follower 以外，还会向/zkroot/leader注册一个 Watch ，一旦 Leader 放弃领导权，也即该节点被删除，所有的 Follower 会收到通知。

3.4 重新选举

感知到旧 Leader 放弃领导权后，所有的 Follower 可以再次发起新一轮的领导选举，如下图所示。

在这里插入图片描述
从上图中可见

  • 新一轮的领导选举方法与最初的领导选举方法完全一样，都是发起节点创建请求，创建成功即为 Leader，否则为 Follower ，且 Follower 会 Watch 该节点
  • 新一轮的选举结果，无法预测，与它们在第一轮选举中的顺序无关。这也是该方案被称为非公平模式的原因

3.5 非公平模式总结

  • 非公平模式实现简单，每一轮选举方法都完全一样
  • 竞争参与方不多的情况下，效率高。每个 Follower 通过 Watch 感知到节点被删除的时间不完全一样，只要有一个 Follower 得到通知即发起竞选，即可保证当时有新的 Leader 被选出
  • 给Zookeeper 集群造成的负载大，因此扩展性差。如果有上万个客户端都参与竞选，意味着同时会有上万个写请求发送给 Zookeper。如《Zookeeper架构》一文所述，Zookeeper 存在单点写的问题，写性能不高。同时一旦 Leader 放弃领导权，Zookeeper 需要同时通知上万个 Follower，负载较大。

4、公平领导选举

4.1 选主过程

如下图所示，公平领导选举中，各客户端均创建/zkroot/leader节点，且其类型为Ephemeral与Sequence。

在这里插入图片描述
由于是Sequence类型节点，故上图中三个客户端均创建成功，只是序号不一样。此时，每个客户端都会判断自己创建成功的节点的序号是不是当前最小的。如果是，则该客户端为 Leader，否则即为 Follower。

在上图中，Client 1创建的节点序号为 1 ，Client 2创建的节点序号为 2，Client 3创建的节点序号为3。由于最小序号为 1 ，且该节点由Client 1创建，故Client 1为 Leader 。

4.2 放弃领导权

Leader 如果主动放弃领导权，直接删除其创建的节点即可。

如果 Leader 所在进程意外宕机，其与 Zookeeper 间的 Session 结束，由于其创建的节点为Ephemeral类型，故该节点自动被删除。

4.3 感知领导权的放弃

与非公平模式不同，每个 Follower 并非都 Watch 由 Leader 创建出来的节点，而是 Watch 序号刚好比自己序号小的节点。

在上图中，总共有 1、2、3 共三个节点，因此Client 2 Watch /zkroot/leader1，Client 3 Watch /zkroot/leader2。（注：序号应该是10位数字，而非一位数字，这里为了方便，以一位数字代替）

一旦 Leader 宕机，/zkroot/leader1被删除，Client 2可得到通知。此时Client 3由于 Watch 的是/zkroot/leader2，故不会得到通知。

4.4 重新选举

Client 2得到/zkroot/leader1被删除的通知后，不会立即成为新的 Leader 。而是先判断自己的序号 2 是不是当前最小的序号。在该场景下，其序号确为最小。因此Client 2成为新的 Leader 。

在这里插入图片描述

这里要注意，如果在Client 1放弃领导权之前，Client 2就宕机了，Client 3会收到通知。此时Client 3不会立即成为Leader，而是要先判断自己的序号 3 是否为当前最小序号。很显然，由于Client 1创建的/zkroot/leader1还在，因此Client 3不会成为新的 Leader ，并向Client 2序号 2 前面的序号，也即 1 创建 Watch。该过程如下图所示。

在这里插入图片描述

4.5 公平模式总结

  • 实现相对复杂
  • 扩展性好，每个客户端都只 Watch 一个节点且每次节点被删除只须通知一个客户端
  • 旧 Leader 放弃领导权时，其它客户端根据竞选的先后顺序（也即节点序号）成为新 Leader，这也是公平模式的由来
  • 延迟相对非公平模式要高，因为它必须等待特定节点得到通知才能选出新的 Leader

5、总结

基于 Zookeeper 的领导选举或者分布式锁的实现均基于 Zookeeper 节点的特性及通知机制。充分利用这些特性，还可以开发出适用于其它场景的分布式应用。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/313622.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Asp.Net Core Mvc Razor之RazorPage

Asp.Net Core Mvc Razor之RazorPage

在AspNetCore.Mvc.Razor命名空间中的RazorPage继承RazorPageBase，并定义的属性为：HttpContext Context 表示当前请求执行的HttpContextRazorPageBase定义为抽象类，并继承了接口：IRazorPageIRazorPage接口定义属性如下：…
阅读更多...
#138. 类欧几里得算法

#138. 类欧几里得算法

#138. 类欧几里得算法 以下除法均为向下取整， 定义f(a,b,c,n,k1,k2)∑x0nxk1(axbc)k2f(a, b, c, n, k_1, k_2) \sum\limits_{x 0} ^{n} x ^{k_1} \left(\frac{a \times x b}{c}\right) ^ {k_2}f(a,b,c,n,k1​,k2​)x0∑n​xk1​(caxb​)k2​。 ∑x0nxk1(axbc)k2…
阅读更多...
Spring Cloud——Consul——架构体系

Spring Cloud——Consul——架构体系

我们知道，Eureka 2.X因遇到问题，已停止研发。Spring Cloud官方建议迁移到Consul或者Zookeeper等其他服务发现中间件。 下面是 Spring Cloud 支持的服务发现软件以及特性对比： 一、Consul 介绍 Consul 是 HashiCorp 公司推出的开源工具&…
阅读更多...
ASP.NET Core 3.0 gRPC 双向流

ASP.NET Core 3.0 gRPC 双向流

目录ASP.NET Core 3.0 使用gRPCASP.NET Core 3.0 gRPC 双向流ASP.NET Core 3.0 gRPC 认证授权一.前言在前一文 《二. 什么是 gRPC 流gRPC 有四种服务类型，分别是：简单 RPC（Unary RPC）、服务端流式 RPC （Server streami…
阅读更多...
Spring cloud Loadbalance

Spring cloud Loadbalance

feign原理介绍： https://segmentfault.com/a/1190000016776471?utm_sourcetag-newest http://techblog.ppdai.com/2018/05/28/20180528/ https://blog.csdn.net/xiaofeng10330111/article/details/85682513 负载均衡策略： 随机 (Random) 随机策略很…
阅读更多...
类欧几里得（模板题推导）

类欧几里得（模板题推导）

类欧几里得 设三个函数f(a,b,c,n)∑i0naibc,g(a,b,c,n)∑i0niaibc,h(a,b,c,n)∑i0n(aibc)2f(a, b, c, n) \sum\limits_{i 0} ^{n} \frac{a \times i b}{c}, g(a, b, c, n) \sum\limits_{i 0} ^{n} i \times \frac{a \times i b}{c}, h(a, b, c, n) \sum\limits_{i 0} …
阅读更多...
开源公司被云厂商“寄生”，咋整？

开源公司被云厂商“寄生”，咋整？

上周 OSS Capital 召集一些开源公司，组织了一场关于如何面对“云厂商给开源带来的危害”的会议。OSS Capital 是一家风险投资公司，该公司只投开源，其董事会合伙人之一是开源运动的先驱人物 Bruce Perens。网上有一个十分有名的“开源商业化独…
阅读更多...
Spring Cloud Config——原理解析

Spring Cloud Config——原理解析

springCloud config项目,用来为分布式的微服务系统中提供集成式外部配置支持,分为客户端和服务端 可以让你把配置放到远程服务器，目前支持本地存储、Git以及Subversion。 spring官方如下介绍: 简而言之: 通过配置服务(Config Server)来为所有的环境和应用提供外部配…
阅读更多...
AWS加入.NET Foundation企业赞助商计划

AWS加入.NET Foundation企业赞助商计划

.NET 走向开源，MIT许可协议。 微软为了推动.NET开源社区的发展，2014年联合社区成立了.NET基金会。.NET基金会是一个独立的组织，支持.NET社区和开源，旨在拓宽和加强.NET生态系统和社区。这可以通过多种方式完成，包括项目…
阅读更多...
K. Easy Sigma（类欧几里得）

K. Easy Sigma（类欧几里得）

K. Easy Sigma ∑i1n(−1)⌊ik⌋,(n≤109,k≤104)\sum_{i 1} ^{n} (-1) ^{\lfloor i \times \sqrt k \rfloor}, (n \le 10 ^ 9, k \le 10 ^ 4)\\ i1∑n​(−1)⌊ik​⌋,(n≤109,k≤104) 考虑(−1)x1−2(xmod2)1−2(x−2x2)1−2x4⌊x2⌋(-1) ^{x} 1 - 2 \times (x \mod 2) 1 …
阅读更多...
Spring cloud——Hystrix 原理解析

Spring cloud——Hystrix 原理解析

1、背景 分布式系统环境下，服务间类似依赖非常常见，一个业务调用通常依赖多个基础服务。如下图，对于同步调用，当库存服务不可用时，商品服务请求线程被阻塞，当有大批量请求调用库存服务时，最终可…
阅读更多...
【B】替换 Quartz.net 默认使用的 MySql.Data 为 Mysqlconnector 的学习过程

【B】替换 Quartz.net 默认使用的 MySql.Data 为 Mysqlconnector 的学习过程

文章转载授权级别：B无论是 Quartz.net 还是 MySql.Data 都是我们比较熟悉的库了，Quartz.net 如果配置为使用 MySql 数据库做持久化时，默认是硬编码了使用 MySql.Data 来操作 MySql 数据库的。下面是我的一些个人诉求和实践，和大家…
阅读更多...
G. GCD Festival（莫比乌斯、欧拉函数）

G. GCD Festival（莫比乌斯、欧拉函数）

G. GCD Festival ∑i1n∑j1ngcd⁡(ai,aj)gcd⁡(i,j)∑d1nd∑i1nd∑j1ndgcd⁡(aid,ajd)[gcd⁡(i,j)1]∑d1nd∑k1ndμ(k)∑i1nkd∑j1nkdgcd⁡(aikd,ajkd)Tkd∑T1n∑i1nT∑j1nTgcd⁡(aiT,ajT)∑d∣Tdμ(Td)∑T1nϕ(T)∑i1nT∑j1nTgcd⁡(aiT,ajT)\sum_{i 1} ^{n} \sum_{j 1} ^{n}…
阅读更多...
APM（应用性能管理）与Dapper原理介绍

APM（应用性能管理）与Dapper原理介绍

一、APM（应用性能管理） 1.1 什么是APM？ APM (Application Performance Management) 即应用性能管理（应用性能监控） APM主要是针对企业 关键业务的IT应用性能和用户体验的监测、优化，提高企业IT应用的可靠…
阅读更多...
asp.netcore3.0 使用 DbProviderFactories 连接数据库

asp.netcore3.0 使用 DbProviderFactories 连接数据库

在.netstandard2.0时 System.Data.Common 这个包里并没有加入DbProviderFactoriesDbProviderFactories类在.netframework中是非常重要的存在,依靠他可以适配各种数据库客户端（sqlserver、mysql、sqllite等）创建数据库连接。现在可以像.netframework中一样…
阅读更多...
MIT 6.824 Lab 1 MapReduce

MIT 6.824 Lab 1 MapReduce

MapReduce 目标 根据论文所说明的，有MASTER和WORKER两类工作节点，以下实现大都按照论文所说的实现，但是在对MASTER的实现上有所改动： MASTER向WORKER发送心跳检测，这里改为了对分配出去的任务进行超时监控。 MASTER…
阅读更多...
大家在寻找的高级程序员到底是什么样子的？

大家在寻找的高级程序员到底是什么样子的？

你好，我是Z哥。这篇文章主题很简单，就是一个很常见的话题“什么是高级程序员？”。文章稍微长了些，但是很容易阅读。我们的中国文化，对“面子”看的特别重，所以你会发现身边到处都是高级XXX，听着…
阅读更多...
应用服务器——JBoss架构分析

应用服务器——JBoss架构分析

JBoss是什么? JBoss是免费的，开放源代码J2EE的实现，它通过LGPL许可证进行发布。它提供了基本的EJB容器以及EJB(好像应该是J2EE)服务，例如：数据库访问JDBC、交易(JTA/JTS)、消息机制(JTS)、命名机制(JNDI)和管理支持(JMX)。目前的…
阅读更多...
优秀的程序员是那种过单行线马路都要往两边看的人

优秀的程序员是那种过单行线马路都要往两边看的人

最近一周帮我以前一个同事推荐工作，顺便了解下行情，我这个同事我感觉还行，技术不说有多好，但是往年绝对不至于简历筛选时被刷掉那种，最先开始推给了一个我比较信任的HR手里，她兼职猎头，推给这个…
阅读更多...
应用服务器——tomcat架构分析

应用服务器——tomcat架构分析

先mark，后续补充 https://blog.csdn.net/qq_38245537/article/details/79009448
阅读更多...
最新文章

Copyright @ 2022~2023