ZooKeeper 数据模型

ZooKeeper 数据模型

ZooKeeper 拥有层次化的命名空间,类似分布式文件系统,但每个节点不仅能有子节点,还可关联数据。节点路径为规范的绝对路径,用斜杠分隔,无相对引用。路径命名有如下约束:

  • 路径名不能包含空字符 \u0000
  • 不能使用显示不佳或易混淆的字符,如 \u0001 - \u001F\u007F\u009F
  • 禁止使用 \ud800 - \uF8FF\uFFF0 - \uFFFF 这些字符。
  • 虽然 . 可作为其他名称的一部分,但 ... 不能单独用于表示路径中的节点,因为 ZooKeeper 不使用相对路径。
  • 保留关键字 zookeeper 不可用。

1. ZNodes(ZooKeeper 节点)

  • 状态结构(Stat Structure):每个 ZNode 维护一个状态结构,包含数据变更、ACL 变更的版本号以及时间戳。版本号和时间戳用于验证缓存和协调更新。每次 ZNode 数据变更,版本号都会增加。客户端更新或删除数据时需提供版本号,若版本号不匹配,操作将失败(该行为可被覆盖)。
  • 节点角色定义:在 ZooKeeper 文档中,ZNode 指数据节点;服务器指构成 ZooKeeper 服务的机器;法定节点指构成集群的服务器;客户端指使用 ZooKeeper 服务的主机或进程。

2. Watches(监听机制)

客户端可对 ZNode 设置监听,ZNode 发生变化时触发监听并清除。监听触发后,ZooKeeper 会向客户端发送通知。

3. 数据访问

  • 原子性:命名空间中每个 ZNode 存储的数据读写是原子操作,读操作获取所有关联数据字节,写操作替换所有数据。
  • 访问控制:每个节点有访问控制列表(ACL),用于限制访问权限。
  • 数据规模:ZooKeeper 并非通用数据库或大对象存储,主要管理协调数据,数据通常较小(以千字节为单位)。客户端和服务器实现会检查确保 ZNode 数据小于 1M,实际数据应更小。处理大数据会增加操作时间和影响延迟,若需存储大数据,可将其存于 NFS 或 HDFS 等大容量存储系统,在 ZooKeeper 中存储指向这些存储位置的指针。

4. 特殊类型的 ZNodes

  • 临时节点(Ephemeral Nodes):只要创建该 ZNode 的会话处于活动状态,临时节点就存在。会话结束,ZNode 会被删除,且临时节点不允许有子节点。可使用 getEphemerals() API 获取会话创建的临时节点列表,常用于服务发现场景。
  • 顺序节点(Sequence Nodes):创建 ZNode 时,可要求 ZooKeeper 在路径末尾添加单调递增的计数器,该计数器对父节点唯一,格式为 %010d(10 位数字,前补 0)。计数器是父节点维护的有符号整数(4 字节),超过 2147483647 会溢出。
  • 容器节点(Container Nodes,3.6.0 版本引入):用于特定场景,如领导者选举、锁机制等。当容器的最后一个子节点被删除,容器节点未来某个时刻可能被服务器删除。创建容器节点的子节点时,要处理 KeeperException.NoNodeException 异常,若发生该异常需重新创建容器节点。
  • TTL 节点(TTL Nodes,3.6.0 版本引入):创建持久或持久顺序 ZNode 时,可选择设置以毫秒为单位的 TTL。若 ZNode 在 TTL 内未被修改且无子节点,未来某个时刻可能被服务器删除。默认情况下 TTL 节点功能禁用,需通过系统属性启用,否则创建时会抛出 KeeperException.UnimplementedException 异常。

5. ZooKeeper 中的时间跟踪

  • Zxid(ZooKeeper 事务 ID):ZooKeeper 状态的每次变更都会获得一个 Zxid 标记,体现所有变更的全局顺序。每个变更有唯一 Zxid,若 zxid1 < zxid2,则 zxid1 变更先于 zxid2 变更发生。
  • 版本号:节点的每次变更会使节点的某个版本号增加,包括数据版本号(version)、子节点版本号(cversion)和 ACL 版本号(aversion)。
  • Ticks:多服务器模式下,服务器用 Ticks 定义事件时间,如状态上传、会话超时、节点间连接超时等。Tick 时间通过最小会话超时(2 倍 Tick 时间)间接暴露,若客户端请求的会话超时小于最小会话超时,服务器会将实际会话超时设为最小会话超时。
  • 实时时间:ZooKeeper 仅在 ZNode 创建和修改时在状态结构中记录时间戳,不使用实时时间。

6. ZooKeeper 状态结构(Stat Structure)

每个 ZNode 的状态结构包含以下字段:

  • czxid:创建该 ZNode 的变更的 Zxid。
  • mzxid:最后修改该 ZNode 的变更的 Zxid。
  • pzxid:最后修改该 ZNode 子节点的变更的 Zxid。
  • ctime:该 ZNode 创建的时间(从纪元开始的毫秒数)。
  • mtime:该 ZNode 最后修改的时间(从纪元开始的毫秒数)。
  • version:该 ZNode 数据的变更次数。
  • cversion:该 ZNode 子节点的变更次数。
  • aversion:该 ZNode ACL 的变更次数。
  • ephemeralOwner:若该 ZNode 是临时节点,为其所有者会话 ID;否则为 0。
  • dataLength:该 ZNode 数据字段的长度。
  • numChildren:该 ZNode 的子节点数量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/893483.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

云原生时代,如何构建高效分布式监控系统

文章目录 一.监控现状二.Thanos原理分析SidecarQuerierStoreCompactor 三.Sidecar or ReceiverThanos Receiver工作原理 四.分布式运维架构 一.监控现状 Prometheus是CNCF基金会管理的一个开源监控项目&#xff0c;由于其良好的架构设计和完善的生态&#xff0c;迅速成为了监控…

DAY3,模拟终端

题目 实现一个终端的功能&#xff0c;注意需要带有cd功能 思路 如何 C语言执行shell命令&#xff1f; 使用进程替换exec函数&#xff1b;&#xff1b;使用system函数。 如何 切换工作目录&#xff1f; 使用chdir函数切换工作目录。 其…

一键视频转文字/音频转文字,浏览器右键提取B站视频文案,不限时长免费无限次可用

上篇文章阿虚分享了自己的「短视频」笔记方案 短视频文件小&#xff0c;易存储&#xff0c;所以阿虚建议是直接将原视频插入到笔记当中 而长视频文件大&#xff0c;很难像短视频一样操作。阿虚之前的建议是提取重要部分视频转长截图&#xff0c;或者视频转GIF 但上述方案仔细…

【C++】详细讲解继承(上)

C面向对象的三大特性&#xff1a;封装&#xff0c;继承&#xff0c;多态。现在我们就介绍一下继承。 1.继承的概念及定义 1.1 继承的概念 继承机制是⾯向对象程序设计使代码可以 复⽤ 的最重要的⼿段。我们前面接触到的都是 函数 层次的复用&#xff0c;遇到过的 类 层次的复…

AIGC专栏18——EasyAnimateV5.1版本详解 应用Qwen2 VL作为文本编码器,支持轨迹控制与相机镜头控制

AIGC专栏18——EasyAnimateV5.1版本详解 应用Qwen2 VL作为文本编码器&#xff0c;支持轨迹控制与相机镜头控制 学习前言相关地址汇总源码下载地址HF测试链接MS测试链接 测试效果Image to VideoText to Video轨迹控制镜头控制 EasyAnimate详解技术储备Qwen2 VLStable Diffusion …

1905电影网中国地区电影数据分析(一) - 数据采集、清洗与存储

文章目录 前言一、数据采集步骤及python库使用版本1. python库使用版本2. 数据采集步骤 二、数据采集网页分析1. 分析采集的字段和URL1.1 分析要爬取的数据字段1.2 分析每部电影的URL1.2 分析每页的URL 2. 字段元素标签定位 三、数据采集代码实现1. 爬取1905电影网分类信息2. 爬…

【25】Word:林涵-科普文章❗

目录 题目​ NO1.2.3 NO4.5.6 NO7.8 NO9.10 NO11.12 不连续选择&#xff1a;按住ctrl按键&#xff0c;不连续选择连续选择&#xff1a;按住shift按键&#xff0c;选择第一个&#xff0c;选择最后一个。中间部分全部被选择 题目 NO1.2.3 布局→纸张方向&#xff1a;横向…

P6周:VGG-16算法-Pytorch实现人脸识别

&#x1f368; 本文为&#x1f517;365天深度学习训练营中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 我的环境 语言环境&#xff1a;Python 3.8.12 编译器&#xff1a;jupyter notebook 深度学习环境&#xff1a;torch 1.12.0cu113 一、前期准备 1.设置GPU im…

【Rust自学】14.4. 发布crate到crates.io

喜欢的话别忘了点赞、收藏加关注哦&#xff08;加关注即可阅读全文&#xff09;&#xff0c;对接下来的教程有兴趣的可以关注专栏。谢谢喵&#xff01;(&#xff65;ω&#xff65;) 14.4.1. 创建并设置crates.io账号 在发布任何 crate 之前&#xff0c;你需要在 crates.io并…

数据结构——实验八·学生管理系统

嗨~~欢迎来到Tubishu的博客&#x1f338;如果你也是一名在校大学生&#xff0c;正在寻找各种编程资源&#xff0c;那么你就来对地方啦&#x1f31f; Tubishu是一名计算机本科生&#xff0c;会不定期整理和分享学习中的优质资源&#xff0c;希望能为你的编程之路添砖加瓦⭐&…

IBM湖仓一体与向量数据库:访问MinIO控制台(Accessing the MinIO console)

_1、从密钥中复制S3凭证并保存 &#xff08;Copy the S3 credentials from the secret and save it &#xff09; oc extract secret/ibm-lh-config-secret -n ${PROJECT_CPD_INST_OPERANDS} --to- --keysenv.properties | grep -E "LH_S3_ACCESS_KEY|LH_S3_SECRET_KEY&q…

Ragas-RAG能力评测

Ragas是一个框架&#xff0c;它可以帮助你从不同的方面评估你的问答&#xff08;QA&#xff09;流程。它为你提供了一些指标来评估你的问答系统的不同方面&#xff0c;具体包括&#xff1a; 评估检索&#xff08;context&#xff09;的指标&#xff1a;提供了上下文相关性&…

基于ESP32-IDF驱动GPIO输出控制LED

基于ESP32-IDF驱动GPIO输出控制LED 文章目录 基于ESP32-IDF驱动GPIO输出控制LED一、点亮LED3.1 LED电路3.2 配置GPIO函数gpio_config()原型和头文件3.3 设置GPIO引脚电平状态函数gpio_set_level()原型和头文件3.4 代码实现并编译烧录 一、点亮LED 3.1 LED电路 可以看到&#x…

使用ffmpeg提高mp4压缩比,减小文件体积【windows+ffmpeg+batch脚本】

文章目录 关于前情提要FFmpeg是什么使用脚本运行FFmpeg首先&#xff0c;下载ffmpeg.exe然后在视频相同位置写一个bat脚本运行压缩脚本 关于 个人博客&#xff0c;里面偶尔更新&#xff0c;最近比较忙。发一些总结的帖子和思考。 江湖有缘相见&#x1f91d;。如果读者想和我交…

Vue3初学之Element Plus Dialog对话框,Message组件,MessageBox组件

Dialog的使用&#xff1a; 控制弹窗的显示和隐藏 <template><div><el-button click"dialogVisible true">打开弹窗</el-button><el-dialogv-model"dialogVisible"title"提示"width"30%":before-close&qu…

自然语言处理(NLP)-总览图学习

文章目录 自然语言处理&#xff08;NLP&#xff09;-总览图学习1.一张总览图的学习1. 语音学&#xff08;Phonology&#xff09;2. 形态学&#xff08;Morphology&#xff09;3. 句法学&#xff08;Syntax&#xff09;4. 语义学&#xff08;Semantics&#xff09;5. 推理&#…

机器学习 vs 深度学习

目录 一、机器学习 1、实现原理 2、实施方法 二、深度学习 1、与机器学习的联系与区别 2、神经网络的历史发展 3、神经网络的基本概念 一、机器学习 1、实现原理 训练&#xff08;归纳&#xff09;和预测&#xff08;演绎&#xff09; 归纳: 从具体案例中抽象一般规律…

谈谈RTMP|RTSP播放器视频view垂直|水平反转和旋转设计

技术背景 我们在做RTMP|RTSP播放器的时候&#xff0c;有这样的技术诉求&#xff0c;有的摄像头出来的数据是有角度偏差的&#xff0c;比如“装倒了”&#xff0c;或者&#xff0c;图像存在上下或者左右反转&#xff0c;这时候&#xff0c;就需要播放器能做响应的处理&#xff…

论文阅读--Qwen22.5技术报告

Qwen2 1 引言 所有模型都是在超过7 trillion token&#xff08;7万亿&#xff09;的高质量、大规模数据集上预训练的 2 Tokenizer & Model 2.1 Tokenizer 沿用Qwen&#xff08;Bai等人&#xff0c;2023a&#xff09;的做法&#xff0c;我们采用了基于字节级字节对编码…

FPGA中场战事

2023年10月3日,英特尔宣布由桑德拉里维拉(Sandra Rivera)担任“分拆”后独立运营的可编程事业部首席执行官。 从数据中心和人工智能(DCAI)部门总经理,转身为执掌该业务的CEO,对她取得像AMD掌门人苏姿丰博士类似的成功,无疑抱以厚望。 十年前,英特尔花费167亿美元真金白银…