Zookeepe实践与应用--分布队列

分布式队列

  • 接触到不少分布式队列的产品,比如,ActiveMq,RocketMQ,kafka等消息中间价,现在我们看看Zookeeper实现的分布式队列。
  • 分布式队列简单讲就可以分两个部分,一种是先进先出,另外一种是等所有元素都到齐都会统一执行的Barrier模型
FIFO先入先出
  • FIFO(First in First out,先入先出)的算法思想在计算机里面用的比较多,比如队列里面,先进入的能先执行,在Zookeeper的实现中,FIFO类似一个共享锁模型,所有客户端在节点/queue_fifo下创建临时节点/queue_fifo/192.168.1.1/1-00000001,/queue_fifo/192.168.1.1/1-00000002,/queue_fifo/192.168.1.1/1-00000003,依次安id递增的关系创建,创建后依据以下几个步骤
    1. 通过getChildren接口获取/queue_fifo下所有子节点
    2. 确认字节的节点序号在所有子节点中的顺序
    3. 如果字节不是最小的节点,那么进入等待,同时向比字节小的最后一个节点注册Watcher,如果字节是最小的节点则执行逻辑
    4. 接受Watcher通知重复1中步骤

在这里插入图片描述

Barrier:分布式屏障
  • Birrier在分布式系统中特指一个协调条件,规定一个队列中的元素都到达指定条件的时候才能够执行,大致的如下:创建屏障个数节点/queue_barrier并且赋值10,表示10个子节点同时满足,接着所有客户端在/queue_barrier下创建临时子节点,/queue_barrier/host1,/queue_barrier/host2,/queue_barrier/host3,创建后,依据如下步骤执行:
  1. 通过getData获取/queue_barrier下节点的数据内容:10
  2. 通过getChildren获取/queue_barrier下所有子节点,同时对子节点列表添加变化监听Watcher
  3. 统计子节点个数
  4. 如果子节点个数不足10,进入等待,否则进入业务处理
  5. 接受watcher通知后重复步骤2
  • 整个过程如下:
    在这里插入图片描述

上一篇Zookeeper–分布式锁实现

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/310589.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ASP.NET Core+Quartz.Net实现web定时任务

点击蓝色“Dotnet Plus”关注我哟加个“星标”,每天清晨 07:25,干货推送!作为一枚后端程序狗,项目实践常遇到定时任务的工作,最容易想到的的思路就是利用Windows计划任务/wndows service程序/Crontab程序等主机方法在主…

Redis基础数据结构内部实现简单介绍

5种基础数据结构 Redis有5种基础数据结构,分别是:String(字符串),list(列表),hash(字典),set(集合),zset&…

[剑指offer]面试题7:用两个栈实现队列

面试题7:用两个栈实现队列 题目:用两个栈实现一个队列。队列的声明如下,请实现它的两个函数appendTail和deleteHead,分别完成在队列尾部插入结点和在队列头部删除结点的功能。 用两个栈模拟一个队列的操作: 代码如下: #include …

ASP.NET CORE WEBAPI文件下载

最近要使用ASP.NET CORE WEBAPI用来下载文件,使用的.NET CORE 3.1。考虑如下场景:文件是程序生成的。文件应该能兼容各种格式。浏览器可以感知进行下载。准备经过简单的调研,得到以下结论。ASP.NET CORE 提供FileResult这种类型的ActionResul…

Redis高级数据结构原理解析-bitmap,hyperloglog

Redis 位图 开发过程中,我们可能遇到这种场景记录用户的打卡情况,签到情况,这些场景只有两种结果,有或者没有,加入记录的数据量比较大,比如用一年的数据,如果用Redis中普通key/value&#xff0…

[剑指offer]面试题8:旋转数组的最小数字

面试题8:旋转数组的最小数字 题目:把一个数组最开始的若干个元素搬到数组的末尾,我们称之为数组的旋转。输入一个递增排序的数组的一个旋转,输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转,该数…

.NET Core + Kubernetes:快速体验

Kubernetes[1] 是目前非常主流的容器编排工具,在应用创建、应用部署、应用扩容、应用更新等方面都非常的方便,而且在应用故障时,也可以快速自愈。所以基于微服务架构下的产品,了解 Kubernetes 的使用是非常必要的,我猜…

[剑指offer]面试题9:斐波那契数列

面试题9:斐波那契数列 题目一:写一个函数,输入n,求斐波那契(Fibonacci)数列的第n项。斐波那契数列的定义如下: ❖ 效率很低的解法,挑剔的面试官不会喜欢 代码如下: long long fib(…

Redis分布式锁奥义

分布式锁 分布式系统进行逻辑处理的时候,经常会遇到并发问题,例如直播场景中,用户需要连麦主播,当多个用户在同一个时刻一起连麦时候,应该保证只有一个用户能连麦成功,我们改怎么保证这种业务场景下保证数…

.NET Core + Kubernetes:Pod

在 .NET Core Kubernetes:快速体验 文章中,已经实现将一个 .NET Core API 服务部署在 Kubernetes 集群中,接下来将逐步了解 Kubernetes 中各核心模块。首先当然是 Pod,我相信 Pod 是在接触 Kubernetes 时听到较多的一个词语&…

LBS解决方案

LBS解决方案 LBS(基于地理位置的服务)服务是现在移动互联网中比较常用的功能,例如外卖中我附近的店铺,通常是以客户位置坐标为中心,查询一定范围内的店铺信息,按照距离由近及原进行倒叙排序 方案一&#…

长沙IT技术圈百万年薪大佬?是否存在?

作者:邹溪源,长沙资深互联网从业者,架构师社区特邀嘉宾!01引子不知不觉,IT技术圈开始流传起“百万年薪”的故事,有人问我,长沙有百万大佬么?其实我也不知道。02背景长沙自古以来就是…

网络编程-网络分层的意义

网络 我们生活在一个网络无处不在的一个虚拟世界中,网络中的每一个设备都是一个节点。大多是我们的计算机,但是他还可以连接其他设备,例如打印机,路由器,网关,你的手机,智能家居等。我们可以使…

网络编程-TCP/IP协议栈-IP协议

协议 协议就是约定的一种规则&#xff0c;例如扑克游戏中约定好的各种规则&#xff0c;2<3<4<5<…等&#xff0c;以此作为游戏规则。当所有人都遵循这个规则&#xff0c;那么久可以不需要任何多余的交流就可以进行游戏&#xff0c;这个方式形成的约定就是一种协议…

.NET项目升级手记:可为空引用

c# 8引入了新特性&#xff1a;“可为空引用”&#xff08;详情&#xff09;&#xff0c;这个功能个人觉得挺好的&#xff0c;能够非常明确的表现程序设计者的意图&#xff0c;编译器能够进行检查&#xff0c;尽最大可能减小NullReferenceException错误。如果是新项目&#xff0…

.NET与鲲鹏共展翅,昇腾九万里(一)

2019年1月7日&#xff0c;华为推出鲲鹏920处理器&#xff0c;便宣告了构建鲲鹏生态系统的开始。据官方介绍&#xff0c;鲲鹏是一个包含了鲲鹏计算单元、AI处理单元、智能管理、智能网卡的片上系统SoC&#xff0c;在此之上加上服务器操作系统&#xff0c;从而形成一个生态的闭环…

网络编程-TCP/IP协议栈-TCP协议

TCP协议 TCP协议作用 TCP协议位于协议栈的传输层。当应用层向TCP层发送用于网间传输的&#xff0c;用8字节表示的数据流&#xff0c;TCP则吧数据流分割成适当长度的报文段&#xff0c;最大传输段大小&#xff08;MSS&#xff09;通常受到改计算机连接的网络数据链路层的最大传…

互联网10年,激战如梦

— 1 —1969年&#xff0c;美国国防部研究计划署第一次将互联网应用于军事连接。随后美国西南部四所名校的四台计算机通过这项技术连接起来。谁也没想到&#xff0c;这项计划会对人类的命运产生如此重大影响。1993年&#xff0c;互联网真正诞生。美国白宫宣布开始提供「在线服务…

网络编程-TCP/IP协议栈-UDP/HTTP协议

UDP协议 UDP协议全称是用户数据报协议&#xff0c;在网络中她与TCP协议一样用于处理数据包&#xff0c;两个协议同处于协议栈的传输层&#xff0c;和TCP不同的是&#xff0c;UDP是一种无连接的协议栈。 因为UDP是无连接的&#xff0c;所以相对来说&#xff0c;UDP的报头比TCP要…

十问十答 Ms-PL 许可证

Microsoft 公共许可证&#xff08;The Microsoft Public License&#xff09;是微软为释出开源项目而编写和发布的自由开源软件许可证。如果你用 .NET 开发&#xff0c;你会经常碰见 Ms-PL。在微软的自由开源项目托管地 Codeplex&#xff08;已寿终正寝&#xff0c;微软已战略转…