ClickHouse Keeper 源码解析

简介：ClickHouse 社区在21.8版本中引入了 ClickHouse Keeper。ClickHouse Keeper 是完全兼容 Zookeeper 协议的分布式协调服务。本文对开源版本 ClickHouse v21.8.10.19-lts 源码进行了解析。

作者简介：范振（花名辰繁），阿里云开源大数据-OLAP 方向负责人。

内容框架
  • 背景
  • 架构图
  • 核心流程图梳理
  • 内部代码流程梳理
  • Nuraft 关键配置排坑
  • 结论
  • 关于我们
  • Reference

背景

注：以下代码分析版本为开源版本 ClickHouse v21.8.10.19-lts。类图、顺序图未严格按照 UML 规范；为方便表意，函数名、函数参数等未严格按照原版代码。

HouseKeeper Vs Zookeeper

  • Zookeeper java 开发，有 JVM 痛点，执行效率不如 C++；Znode 数量太多容易出现性能问题，Full GC 比较多。
  • Zookeeper 运维复杂，需要独立部署组件，之前出问题比较多。HouseKeeper 部署形态比较多，可以 standalone 模式和集成模式。
  • Zookeeper ZXID overflow 问题，HouseKeeper 没有该问题。
  • HouseKeeper 读写性能均有提升，支持读写线性一致性，关于一致性的级别参见Consistency Models in Distributed System - Random Notes。
  • HouseKeeper 代码与 CK 统一，自主闭环可控。未来可扩展能力强，可以基于此做 MetaServer 的设计开发。主流的的 MetaServer 基本都是 Raft+rocksDB 的组合，可以借助该 codebase 进行开发。

Zookeeper Client

  • Zookeeper Client 完全不需要修改，HouseKeeper 完全适配 Zookeeper 的协议。
  • Zookeeper Client 由 CK 自己开发，放弃使用 libZookeeper（是一个bad smell代码库），CK 自己从 TCP 层进行封装遵循 Zookeeper Protocol。

架构图

  • 3种部署模式，推荐第一种 standalone 方式，可以选择小机型 SSD 磁盘，最大程度发挥 Keeper 的性能。

image.png

image.png

image.png

核心流程图梳理

类图关系

image.png

  • 入口 main 函数，主要做2件事：
  • 初始化 Poco::Net::TCPServer，定义处理请求的 KeeperTCPHandler。
  • 实例化 keeper_storage_dispatcher，并且调用 KeeperStorageDispatcher->initialize()。该函数主要作用是以下几个：
  • 实例化类图中的几个 Threads，以及相关的 ThreadSafeQueue，保证不同线程间同步数据。
  • 实例化 KeeperServer 对象，该对象是核心数据结构，是整个 Raft 的最重要部分。KeeperServer 主要由 state_machine，state_manager，raft_instance，log_store（间接）组合成，他们分别继承了 nuraft 库中的父类。一般来说，所有 raft based 应用均应该实现这几个类。
  • 调用 KeeperServer::startup()，主要是初始化 state_machine，state_manager。启动过程中会调用 state_machine->init(), state_manager->loadLogStore(...)，分别进行 snapshot 和 log 的加载。从最新的 raft snapshot 中恢复到最新提交的 latest_log_index，并形成内存数据结构（最关键是 Container 数据结构，即KeeperStorage::SnapshotableHashTable），然后再继续加载 raft log 文件中的每一条记录至 logs (即数据结构 std::unordered_map)，这两个粗体的唯二的数据结构，是整个 HouseKeeper 的核心，也是内存大户，后边会提及。
  • KeeperTCPHandler 主循环是读取 socket 请求，将请求 dispatcher->putRequest(req) 交给 requests_queue，然后通过 responses.tryPop(res) 从中读到 response，最终写 socket 将 response 返回给客户端。主要经历以下几个步骤：
  • 确认整个集群是否有 leader，如果有，sendHandshake。注意：HouseKeeper利用了 naraft 的 auto_forwarding 选项，所以如果接受请求的是非 leader，会承担 proxy 的作用，将请求 forward 到 leader，读写请求都会经过 proxy。
  • 获得请求的 session_id。新来的 connection 获取 session_id 的过程是服务端 keeper_dispatcher->internal_session_id_counter 自增的过程。
  • keeper_dispatcher->registerSession(session_id，response_callback)，将对应的 session_id 和回调函数绑定。
  • 将请求 keeper_dispatcher->putRequest(req) 交给 requests_queue。
  • 通过循环 responses.tryPop(res) 从中读到 response，最终写 socket 将 response 返回给客户端。

处理请求的线程模型

image.png

  • 从 TCPHandler 线程开始经历顺序图中的不同线程调用，完成全链路的请求处理。
  • 读请求直接由 requests_thread 调用 state_machine->processReadRequest 处理，在该函数中，调用 storage->processRequest(...) 接口。
  • 写请求通过 raft_instance->append_entries(entries) 这个 nuraft 库的 User API 进行 log 写入。达成 consensus 之后，通过 nuraft 库内部线程调用 commit 接口，执行 storage->processRequest(...) 接口。
  • Nuraft 库的 normal log replication 处理流程如下图：

image.png

  • Nuraft 库内部维护两个核心线程（或线程池），分别是：
  • raft_server::append_entries_in_bg，leader 角色负责查看 log_store 中是否有新的 entries，对 follower 进行 replication。
  • raft_server::commit_in_bg，所有角色（role，follower）查看自己的状态机 sm_commit_index 是否落后于 leader 的 leader_commit_index，如果是，则 apply_entries 到状态机中。

内部代码流程梳理

总体上nuraft实现了一个编程框架，需要对类图中标红的几个class进行实现。

LogStore与Snapshot

  • LogStore 负责持久化 logs，继承自 nuraft::log_store，这一系列接口中比较重要的是：
  • 写：包括顺序写 KeeperLogStore::append(entry)，覆盖写（截断写） KeeperLogStore::write_at(index, entry)，批量写 KeeperLogStore::apply_pack(index, pack)等。
  • 读：last_entry()，entry_at(index) 等。
  • 合并后清理：KeeperLogStore::compact(last_log_index)，主要会在 snapshot 之后进行调用。当 KeeperStateMachine::create_snapshot(last_log_idx) 调用时，当所有的 snapshot 将数据序列化到磁盘后，会调用 log_store_->compact(compact_upto)，其中 compact_upto = new_snp->get_last_log_idx() - params->reserved_log_items_。这是一个小坑， compact 的 compact_upto index 不是已经做过 snapshot 的最新 index，需要有一部分的保留，对应的配置是 reserved_log_items。
  • ChangeLog 是 LogStore 的 pimpl，提供了所有的 LogStore/nuraft::log_store 的接口。ChangeLog 主要是由 current_wirter（log file writer）和 logs（内存std::unordered_map数据结构）组成。
  • 每插入一条 log，会将 log 序列化到 file buffer 中，并且插入到内存 logs 中。所以可以确定，在未做 snapshot 之前，logs 占用内存会一直增加。
  • 当做完 snaphost 之后，会把已经序列化磁盘中的 compact_upto 的 index 从内存 logs 中 erase 掉。所以，我们需要 trade off 两个配置项 snapshot_distance 和 reserved_log_items。目前两个配置项缺省值都是10w条，容易大量占用内存，推荐值是：
  • 10000
  • 5000
  • KeeperSnapshotManager 提供了一系列 ser/deser 的接口：
  • KeeperStorageSnapshot 主要是提供了 KeeperStorage 和 file buffer 互相 ser/deser 的操作。
  • 初始化时，直接通过 Snapshot 文件进行 deser 操作，恢复到文件指示的 index（如 snapshot_200000.bin，指示的 index 为200000）所对应的 KeeperStorage 数据结构。
  • KeeperStateMachine::create_snapshot 时，根据提供的 snapshot 元数据（index，term等），执行 ser 操作，将 KeeperStorage 数据结构序列化到磁盘。
  • Nuraft 库中提供的 snapshot transmission：当新加入的 follower 节点或者 follower 节点的日志落后很多（已经落后于最新一次 log compaction upto_index），leader 会主动发起 InstallSnapshot 流程，如下图：

image.png

  • Nuraft 库针对 InstallSnapshot 流程提供了几个接口。KeeperStateMachine 对此进行了简单的实现：
  • read_logical_snp_obj(...)，leader 直接将内存中最新的快照 latest_snapshot_buf 发送。
  • save_logical_snp_obj(...)，follower 接收并序列化落盘，更新自身的 latest_snapshot_buf。
  • apply_snapshot(...)，将最新的快照 latest_snapshot_buf，生成最新版本的 storage。

KeeperStorage

这个类用来模拟与 Zookeeper 对等的功能。

  • 最核心的数据结构是 Zookeeper 的 Znode 存储：
  • using Container = SnapshotableHashTable，由 std::unordered_map 和 std::list 组合来实现一种无锁数据结构。key 为 Zookeeper path，value 为 Zookeeper Znode（包括存储 Znode 的 stat 元数据），Node 定义为：
  struct Node{String data;uint64_t acl_id = 0; /// 0 -- no ACL by defaultbool is_sequental = false;Coordination::Stat stat{};int32_t seq_num = 0;ChildrenSet children{};};
  • SnapshotableHashTable 结构中的 map 总是保存最新的数据结构，用来满足读需求。list 提供两段数据结构，保障新插入的数据不影响正在做 snapshot 的数据。实现很简单，具体见：https://github.com/ClickHouse/ClickHouse/blob/v21.8.12.29-lts/src/Coordination/SnapshotableHashTable.h
  • 提供了 ephemerals，sessions_and_watchers，session_and_timeout，acl_map，watches 等数据结构，实现都很简单，就不一一介绍了。
  • 所有的 Request 都实现自 KeeperStorageRequest 父类，包括下图的所有子类，每一个 Request 实现了纯虚函数，用来对 KeeperStorage 的内存数据结构进行操作。
virtual std::pair<Coordination::ZooKeeperResponsePtr, Undo> process(KeeperStorage & storage, int64_t zxid, int64_t session_id) const = 0;

image.png

Nuraft 关键配置排坑

  • 阿里云 EMR ECS 机器对应的操作系统版本比较老（新版本已经解决），对于 ipv6 支持不好，server 启动不了。workaround 方法是先将 nuraft 库 hard coding 的 tcp port 改成 ipv4。
  • 做5轮 zookeeper 压测，发现内存一直上涨，现象接近内存泄露。结论是：不是内存泄露，需要调整参数，使 logs 内存数据结构不占用过多内存。
  • 每一轮先创建500w个 Znode，每个 Znode 数据是256，再删除500w Znode。具体过程是：利用 ZookeeperClient 的 multi 模式，每一轮发起5000次请求，每个请求 transaction 创建1000个 Znode，达到500w个 Znode 后，再发起5000次请求，每个请求删除1000个 Znode，这样保证每一轮所有的 Znode 全部删除。这样即每一轮插入10000条 logEntry。
  • 过程中发现每一轮内存都会上涨，经过5轮之后内存上涨到20G以上，怀疑是内存泄露。
  • 加入代码 profile 打印 showStatus 之后，发现每一轮 ChangeLog::logs 数据结构一直增长，而 KeeperStorage::Container 数据结构会随着 Znode 数量而周期变化，最终回归0。结论是：由于 snapshot_distance 默认配置是10w条，所以，一直没有发生 create_snapshot，也即没有发生 compact logs，ChangeLog::logs 内存占用会越来越多。所以建议配置为：
  • 10000
  • 5000
  • 通过配置 auto_forwarding，可以让 leader 把请求转发给 follower，对 ZookeeperClient 是透明实现。但是这个配置 nuraft 不推荐，后续版本应该会改善该做法。

结论

  • 去掉 Zookeeper 依赖会让 ClickHouse 不再依赖外部组件，无论从稳定性和性能都向前迈进了一大步，为逐渐走向云原生化提供了前提。
  • 基于该 codebase，后续将会逐步衍生出基于 Raft 的 MetaServer，为支持存算分离、支持分布式 Join 的 MPP 架构等方向提供了前提。

关于我们

计算平台开源大数据团队致力于开源引擎的内核研发工作，OLAP 方向包括 ClickHouse，Starrocks，Trino(PrestoDB) 等。

原文链接
本文为阿里云原创内容，未经允许不得转载。 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/511765.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

pidof -x 不管用_专业摄影师最佳助手富士X-T200评测

pidof -x 不管用_专业摄影师最佳助手富士X-T200评测

作为X-T100的升级款&#xff0c;X-T200可谓是一经发布就受到了众多关注。相对来说&#xff0c;前作X-T100我们认为已经足够出色&#xff0c;而这次的富士X-T200又有多方面的提升&#xff0c;尤其是视频及视频对焦性能。关于这款机器实际的表现究竟如何我们接下去看。富士X-T200…
阅读更多...
Oracle数据到MaxCompute乱码问题详解

Oracle数据到MaxCompute乱码问题详解

简介&#xff1a;集成Oracle数据到MaxCompute&#xff0c;乱码问题分析&#xff1b; 为什么&#xff0c;在oracle数据不乱码&#xff0c;集成到MaxCompute就乱码了? 问题在哪里&#xff1f; 1.1 乱码现象 DataWorks的数据离线集成(DataX)集成Oracle数据到MaxCompute的数据有…
阅读更多...
Gartner：2022年全球半导体收入预计将增长13.6%

Gartner：2022年全球半导体收入预计将增长13.6%

半导体元件供应链所受到的限制预计将在2022年逐步缓解 根据Gartner的预测&#xff0c;2022年全球半导体收入预计将达到6760亿美元&#xff0c;相比2021年增长13.6%。 Gartner研究副总裁Alan Priestley表示&#xff1a; “由于芯片短缺而引发的半导体平均销售价格&#xff08;AS…
阅读更多...
V8 编译浅谈

V8 编译浅谈

简介&#xff1a;本文是一个 V8 编译原理知识的介绍文章&#xff0c;旨在让大家感性的了解 JavaScript 在 V8 中的解析过程。 作者 | 子弈 来源 | 阿里技术公众号 一 简介 本文是一个 V8 编译原理知识的介绍文章&#xff0c;旨在让大家感性的了解 JavaScript 在 V8 中的解析过…
阅读更多...
rabbitmq接收不到消息 防火墙_用PHP+RabbitMQ实现消息的发送和接收

rabbitmq接收不到消息 防火墙_用PHP+RabbitMQ实现消息的发送和接收

消费者&#xff1a;接收消息逻辑&#xff1a;创建连接-->创建channel-->创建交换机-->创建队列-->绑定交换机/队列/路由键-->接收消息<?php /************************************* * PHP amqp(RabbitMQ) Demo - consumer * Author: Linvo * Date: 2018/7/…
阅读更多...
斩获大奖｜阿里云PolarDB-X引领云原生分布式数据库新时代

斩获大奖｜阿里云PolarDB-X引领云原生分布式数据库新时代

简介&#xff1a;阿里云原生分布式数据库PolarDB-X荣获“2021年度最佳分布式数据库”。 12月15-16日&#xff0c;以“引领分布式云变革 助力湾区数字经济”为主题的全球分布式云大会在深圳隆重召开&#xff0c;本届大会由全球分布式云联盟、深圳科技交流服务中心、深圳市通信学…
阅读更多...
Gartner：2022年中国IT支出预计将突破5.5亿美元

Gartner：2022年中国IT支出预计将突破5.5亿美元

2022年全球IT支出预计将达到4.4万亿美元&#xff0c;2022年中国IT支出预计将突破5.5亿美元&#xff0c;相比2021年增长7.76% 分析、云计算、无缝客户体验和安全等领域将成为首席信息官的重点采购和投资领域 根据Gartner的最新预测&#xff0c;2022年全球IT支出预计将达到4.4万亿…
阅读更多...
深度 | 从DevOps到BizDevOps, 研发效能提升的系统方法

深度 | 从DevOps到BizDevOps, 研发效能提升的系统方法

简介&#xff1a;研发效能提升不知从何下手、一头雾水&#xff1f;阿里资深技术专家一文为你揭秘研发效能提升的系统方法。 注&#xff1a;本文是对云栖大会何勉分享内容的整理 这几年“研发效能”一直是热词&#xff0c;很多组织都会启动研发效能提升专项。我与其中的很多有过…
阅读更多...
mac mysql 链接_mac上搭建mysql环境配置和Navicat连接mysql

mac mysql 链接_mac上搭建mysql环境配置和Navicat连接mysql

mac上搭建mysql环境配置注意&#xff1a;mysql版本要和你的MAC版本保持一致2、一路傻瓜式点击下一步此处选择“Use Legacy Password Encryption”&#xff0c;否则使用navicat连接mysql的时候&#xff0c;会报无法加载身份验证的错误。3、环境配置打开终端&#xff0c;输入&…
阅读更多...
io_uring vs epoll ，谁在网络编程领域更胜一筹？

io_uring vs epoll ，谁在网络编程领域更胜一筹？

简介&#xff1a;从定量分析的角度&#xff0c;通过量化 io_uring 和 epoll 两种编程框架下的相关操作的耗时&#xff0c;来分析二者的性能差异。 本文作者&#xff1a;王小光&#xff0c;「高性能存储技术SIG」核心成员。 背景 io_uring 在传统存储 io 场景已经证明其价值&a…
阅读更多...
Redis 为何使用近似 LRU 算法淘汰数据，而不是真实 LRU？

Redis 为何使用近似 LRU 算法淘汰数据，而不是真实 LRU？

作者 | 码哥呀来源 | CSDN博客在《Redis 数据缓存满了怎么办&#xff1f;》我们知道 Redis 缓存满了之后能通过淘汰策略删除数据腾出空间给新数据。淘汰策略如下所示&#xff1a;redis内存淘汰设置过期时间的 keyvolatile-ttl、volatile-random、volatile-lru、volatile-lfu 这…
阅读更多...
量化感知训练实践：实现精度无损的模型压缩和推理加速

量化感知训练实践：实现精度无损的模型压缩和推理加速

简介&#xff1a;本文以近期流行的YOLOX[8]目标检测模型为例&#xff0c;介绍量化感知训练的原理流程&#xff0c;讨论如何实现精度无损的实践经验&#xff0c;并展示了量化后的模型能够做到精度不低于原始浮点模型&#xff0c;模型压缩4X、推理加速最高2.3X的优化效果。 1. 概…
阅读更多...
此表单只能填写一次_暴雪战网国服账号修改邮箱只能填写表单申请

此表单只能填写一次_暴雪战网国服账号修改邮箱只能填写表单申请

暴雪战网国服账号只认身份信息&#xff0c;注册必须实名&#xff0c;而且实名信息千万不要乱填&#xff0c;不然账号出现问题&#xff0c;需要上传证件图片的&#xff0c;客服会核实与注册实名内容是否一致&#xff0c;不然无法帮助玩家解决一些问题。国服账号邮箱没有什么权限…
阅读更多...
贾扬清演讲实录：一个AI开发者的奇幻漂流

贾扬清演讲实录：一个AI开发者的奇幻漂流

简介&#xff1a;2021阿里灵杰AI工程化峰会&#xff0c;贾扬清深度解读阿里灵杰大数据和AI一体化平台。 演讲人&#xff1a;贾扬清 演讲主题&#xff1a;一个AI开发者的奇幻漂流 活动&#xff1a;2021阿里灵杰AI工程化峰会 对于绝大多数人来说&#xff0c;这一波AI浪潮兴许…
阅读更多...
上云避坑指南100篇｜「云」上玩法虽多，小心水土不服

上云避坑指南100篇｜「云」上玩法虽多，小心水土不服

商业智能BI发展至今&#xff0c;从市场增速来看&#xff0c;我国已进入 BI 及 DA&#xff08;数据分析&#xff09;领域的第一方阵&#xff0c;并成为发展最快的国家之一。 IDC 数据显示&#xff0c;2020 年中国商业智能软件市场规模为 5.8 亿美元&#xff0c;同比增长 17.1%&a…
阅读更多...
如何基于LSM-tree架构实现一写多读

如何基于LSM-tree架构实现一写多读

简介&#xff1a;传统MySQL基于binlog复制的主备架构有它的局限性&#xff0c;包括存储空间有限&#xff0c;备份恢复慢&#xff0c;主备复制延迟等问题&#xff0c;为了解决用户对于云上RDS(X-Engine)大容量存储&#xff0c;以及弹性伸缩的诉求&#xff0c;PolarDB推出了历史库…
阅读更多...
Dubbo-go v3.0 正式发布 ——打造国内一流开源 Go 服务框架

Dubbo-go v3.0 正式发布 ——打造国内一流开源 Go 服务框架

简介&#xff1a;Dubbo-go 是常新的&#xff0c;每年都在不断进化。介绍 Dubbo-go 3.0 工作之前&#xff0c;先回顾其过往 6 年的发展历程&#xff0c;以明晰未来的方向。 作者 | 李志信 来源 | 阿里技术公众号 作者介绍&#xff1a; 李志信&#xff08;github laurencelizhix…
阅读更多...
谁还没经历过死锁呢？

谁还没经历过死锁呢？

作者 | 敖丙来源 | 敖丙之前刚学习多线程时&#xff0c;由于各种锁的操作不当&#xff0c;经常不经意间程序写了代码就发生了死锁&#xff0c;不是在灰度测试的时候被测出来&#xff0c;就是在代码review的时候被提前发现。这种死锁的经历不知道大家有没有&#xff0c;不过怎么…
阅读更多...
阿里巴巴超大规模Kubernetes基础设施运维体系解读

阿里巴巴超大规模Kubernetes基础设施运维体系解读

简介&#xff1a;ASI&#xff1a;Alibaba Serverless infrastructure&#xff0c;阿里巴巴针对云原生应用设计的统一基础设施。ASI 基于阿里云公共云容器服务 ACK之上&#xff0c;支撑集团应用云原生化和云产品的Serverless化的基础设施平台。 作者 | 仔仁、墨封、光南 来源 | …
阅读更多...
搜索NLP行业模型和轻量化客户定制

搜索NLP行业模型和轻量化客户定制

简介&#xff1a;开放搜索NLP行业模型和轻量化客户定制方案&#xff0c;解决减少客户标注成本、完全无标注或少量简单标注的等问题&#xff0c;让搜索领域扩展更易用。 特邀嘉宾&#xff1a; 徐光伟&#xff08;昆卡&#xff09;--阿里巴巴算法专家 搜索NLP算法 搜索链路 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023