clickhouse分布式之弹性扩缩容的故事

现状

社区不支持喔,以后也不会有了。曾经尝试过,难道是是太难了,无法实现吗?因为他们企业版支持了,可能是利益相关吧,谁知道呢,毕竟开源也要赚钱,谁乐意一直付出没有回报呢。

社区之前有个"残废"的 Zero-copy replication特性,本质就是为了做弹性扩缩容的。该特性一直半推半就,直到现在官方都说不稳定,bug多,不推荐使用。推荐使用云原生企业版SharedMergeTree,建议你花钱。

Zero-copy replication

从名字看,是个零拷贝复制。原理如图:

原理图

  1. server-1收到插入业务数据请求
  2. server-1把业务数据写入到远端的对象存储中
  3. server-1在本地磁盘记录业务数据的元数据(例如,业务数据存储在对象存储中的位置)
  4. server-1通过clickhouse-keeper (zoo-keeper) 通知server-2和server-3,自己有新的元数据
  5. server-2和server-3从server-1下载对应的元数据,写入到本地磁盘

这种改变,对于clickhouse来说,数据不需要“再均衡”,弹性扩缩容变得很容易。同时也带来了如下几个问题:

  • 需要分布式引用计数。当删除数据时,首先要确保所有节点上,关于该数据的元数据都被删除后,才能真的删除该数据。
  • 需要分布式锁。合并和变更同时只能一个节点去做。
  • 元数据仍然与计算节点耦合,本地磁盘是附加的故障点。
  • 很难用于大规模集群。大量节点之间的元数据同步和锁的竞争,会拖垮整个集群。

SharedMergeTree

这个就是企业版中弹性扩缩容的依仗。既然是企业版,那么就意味着代码没有开源。

从名字看,
首先是共享,也必然是shared storage架构,只有这样才能做到快速的弹性扩缩容,而不影响集群数据的完整性。

然后是MergeTree,依然是MergeTree家族系列。意味着你也可以继承MergeTree从而实现自己的SharedMergeTree。

原理如图:

在这里插入图片描述

  1. server-1收到插入业务数据请求
  2. server-1把业务数据写入到远端的对象存储中
  3. server-1在本地磁盘和keeper中记录业务数据的元数据(例如,业务数据存储在对象存储中的位置)
  4. server-1向查询者确认插入
  5. server-2和server-3从keeper中收到元数据变更通知,更新元数据到本地磁盘

这种改动使得集群间的节点之间不需要再同步元数据,keeper充当集群的协调者。
新增一个节点,该节点只需要从keeper中同步完元数据后,即可参与数据处理。
移除一个节点,该节点从keeper中注销自己,即可优雅下线。

其实很多细节官方都没有描述出来,
比如数据的merge和update问题,节点越多,速度越快。节点间的merge和update协调如何做的?
再比如对一个单一查询,节点越多,速度越快。怎么做的任务切分和最终聚合?

如何既要又要

那么如何做到既要分布式弹性伸缩,又要不花钱?

自己二次开发

就像上面说的,自己继承MergeTree,实现自己的SharedMergeTree。比较考验技术水平,同时需要的时间和精力比较多。

参考 redis cluster

redis3.0官方出的cluster方案,仔细分析就会发现,服务端其实没多少复杂改动,工作量基本都push到了客户端。但是并不妨碍这种集群方案的流行。
回归到clickhouse呢?相比较redis的客户端,clickhouse的客户端工作量要少一半,对于读取,分布式查询clickhouse天然支持的很完美,那么关注点只需要在写入上就可以了。

实现方案

下图演示如何针对clickhous集群做节点的扩缩容。此处写入用的是本地表,这也是官方建议的。写分布式表意味着集群越大,性能越差。

在这里插入图片描述

  1. 由于加入/移除分片shard3,需要在clickhouse管理平台上添加节点的信息,生成新的配置文件后,由管理平台分发到集群的6个节点上(如果是移除,则是4个节点)覆盖老的配置文件。无需重启服务,配置文件会被热加载。
  2. 把集群信息 全量/增量写入keeper中(此处复用集群的keeper)
  3. 业务系统收到集群信息变更后
  4. 如果是移除节点,则需要针对分片3的数据做再平衡。从节点3读取数据,均衡写入到分片1和2,完成此操作后,通知clickhouse管理平台,节点缩容成功。虽然缩容过程可能较为耗时,但是在非云服务环境下,缩容场景本身就不常见,此处只是给出一个可行方案。
    此时,数据写入因为分片3被移除,所以需要动态调整写入。数据读取因为分布式查询无需做任何改动。
    如果是添加节点,业务系统则需要对分片3的2个节点创建分布式表。此时数据写入因为分片3的新增,所以需要动态调整写入。数据读取因为分布式查询无需做任何改动。

总结

集群的变动带来的工作量基本都push到了客户端。缩容时,读取数据再平衡写入到其他分片。扩容时候,写入数据动态平衡。

这种replicateMergeTree+分片的架构,和sharedMergeTree在某些方面比较相似:

  1. 单个查询加速,节点越多速度越快,因为数据是分片的,每个分片都计算处理自己的数据,相互不干扰,最终聚合。
  2. merge和update也都是分片独立处理自己的数据

与sharedMergeTree在某些方面也有不同之处:

  1. 节点移除时,数据需要再均衡,需要时间
  2. 分片之间的副本需要同步数据,也会降低一些性能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/152381.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Mistral 7B 比Llama 2更好的开源大模型 (四)

Mistral 7B在平衡高性能和保持大型语言模型高效的目标方面迈出了重要的一步。通过我们的工作,我们的目标是帮助社区创建更实惠、更高效、更高性能的语言模型,这些模型可以在广泛的现实世界应用程序中使用。 Mistral 7B在实践中,对于16K和W=4096的序列长度,对FlashAttentio…

【多线程 - 11、死锁】

死锁 1、介绍 在 Java 中使用多线程,就会有可能导致死锁问题。死锁会让程序一直卡住,程序不再往下执行。只能通过中止并重启的方式来让程序重新执行。要尽可能避免死锁的情况发生 2、造成死锁的原因 互斥条件: 同一资源同时只能由一个线程读…

Python-----PyInstaller的简单使用

PyInstaller简介 PyInstaller是一个Python库,可以将Python应用程序转换为独立的可执行文件。PyInstaller支持跨平台,可以在Windows、Linux和MacOS上生成可执行文件。 PyInstaller会分析Python程序,并将程序打包成一个完整的可执行文件&…

Springboot和Vue+MYSQL项目(基本介绍+前后端结合初步项目)+maven+mybatis

一、基本知识 当我们谈论全栈开发时,通常指的是一个开发者能够处理整个应用程序的开发,包括前端(Front-End)和后端(Back-End)的所有层面。这三个基本的领域是: 前端开发(Front-End …

复杂数据统计与R语言程序设计实验一

1.下载并安装R语言软件,熟悉基本操作的命令及操作界面,掌握软件的使用方法(提供学号加姓名的截图)。 2.下载并安装Rstudio, (提供运行代码及运行结果的截图)。 3.下载并安装R包DT,…

uniapp小程序定位;解决调试可以,发布不行的问题

遇见这个问题;一般情况就两种 1、域名配置问题; 2、隐私协议问题 当然,如果你的微信小程序定位接口没开启;定位也会有问题; 第一种,小程序一般是腾讯地图;所以一般都会用https://apis.map.qq.co…

聊聊logback的LevelFilter

序 本文主要研究一下logback的LevelFilter AbstractMatcherFilter ch/qos/logback/core/filter/AbstractMatcherFilter.java public abstract class AbstractMatcherFilter<E> extends Filter<E> {protected FilterReply onMatch FilterReply.NEUTRAL;protect…

【Java】volatile-内存可见性问题

1、什么是内存可见性问题&#xff1f; &#xff08;1&#xff09;实例 要明白什么是内存可见性&#xff0c;我们首先来看一段代码 public class demo1 {public static int isQuit 0;public static void main(String[] args) {Thread thread1 new Thread(()->{while (is…

Redis高级特性和应用(发布 订阅、Stream)

目录 发布和订阅 操作命令 发布消息 订阅消息 查询订阅情况 查看活跃的频道 查看频道订阅数 使用场景和缺点 Redis Stream Stream总述 常用操作命令 生产端 消费端 单消费者 消费组 创建消费组 消息消费 在Redis中实现消息队列 基于pub/sub 基于Stream Re…

Element Plus框架快速上手详解(一)

Element Plus框架快速上手详解 1、Element Plus1.1、安装 2、Button3、Link链接4、Layout布局5、Container布局容器6、Radio单选框6.1、单选框组6.2、事件 7、Checkbox多选框7.1、多选框组7.2、事件 8、Input输入框组件8.1、事件8.2、方法 9、Select选择器9.1、基础多选9.2、事…

pytho你-opencv划痕检测

pytho你-opencv划痕检测 这次实验&#xff0c;我们将对如下图片进行划痕检测&#xff0c;其实这个比较有难度&#xff0c;因为清晰度太差了。 我们做法如下&#xff1a; &#xff08;1&#xff09;读取图像为灰度图像&#xff0c;进行自适应直方图均衡化处理&#xff0c;增强…

ClickHouse的 MaterializeMySQL引擎

1 概述 MySQL 的用户群体很大&#xff0c;为了能够增强数据的实时性&#xff0c;很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件&#xff0c;我们需要用到类似 canal 这样的第三方中间件&#xff0c;这无疑增加了系统的复杂度。 ClickHouse 20.…

python爬虫SHA案例:某直播大数据分析平台

声明&#xff1a; 该文章为学习使用&#xff0c;严禁用于商业用途和非法用途&#xff0c;违者后果自负&#xff0c;由此产生的一切后果均与作者无关 一、找出需要加密的参数 js运行 atob(‘aHR0cDovL3d3dy5oaDEwMjQuY29tLyMvc2VhcmNoL3NlYXJjaA’) 拿到网址&#xff0c;F12打…

【MySQL】如何编写 LEFT JOIN 减去 INNER JOIN 的 SQL 语句

数据模拟 员工表&#xff08;employee&#xff09; id (主键ID)name (姓名)1小明2小红3小兰4小刚5小强 员工对应信息表&#xff08;employee_info&#xff09; id (主键ID)employee_id (外键&#xff0c;用户表ID)sex (性别)age (年龄)12女1823女1535男16 目的 查询出员工…

WPF 控件的缩放和移动

WPF 控件的缩放和移动 1.页面代码 <ContentControl ClipToBounds"True" Cursor"SizeAll"><Viewboxx:Name"viewbox"MouseDown"viewbox_MouseDown"MouseMove"viewbox_MouseMove"MouseWheel"Viewbox_MouseWhee…

Vue中动态Class实战

效果展示 需求 想实现一个假如有5个div块&#xff0c;默认都是灰色&#xff0c;鼠标悬浮到哪个div上&#xff0c;那个div就显示为黑色。 具体的实现业务逻辑可根据这个进行演变 设计 通过动态 class 类名来实现&#xff0c;实现鼠标悬浮到div时动态绑定class 版本 Vue 3.…

10个令人惊叹的Go语言技巧,让你的代码更加优雅

关注公众号【爱发白日梦的后端】分享技术干货、读书笔记、开源项目、实战经验、高效开发工具等&#xff0c;您的关注将是我的更新动力&#xff01; 在开发生产项目的过程中&#xff0c;我注意到经常会发现自己在重复编写代码&#xff0c;使用某些技巧时没有意识到&#xff0c;直…

基于安卓android微信小程序的个人管理小程序

运行环境 开发语言&#xff1a;Java 框架&#xff1a;ssm JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09; 数据库工具&#xff1a;Navicat11 开发软件&#xff1a;eclipse/myeclipse/idea Maven包&a…

记录一次较为完整的Jenkins发布流程

文章目录 1. Jenkins安装1.1 Jenkins Docker安装1.2 Jenkins apt-get install安装 2. 关联github/gitee服务与webhook2.1 配置ssh2.2 Jenkins关联2.3 WebHook 3. 前后端关联发布 1. Jenkins安装 1.1 Jenkins Docker安装 Docker很好&#xff0c;但是我没有玩明白如何使用Docke…

EI论文程序:Adaboost-BP神经网络的回归预测算法,可作为深度学习对比预测模型,丰富实验内容,自带数据集,直接运行!

适用平台&#xff1a;Matlab 2021及以上 本程序参考中文EI期刊《基于Adaboost的BP神经网络改进算法在短期风速预测中的应用》&#xff0c;程序注释清晰&#xff0c;干货满满&#xff0c;下面对文章和程序做简要介绍。 为了提高短期风速预测的准确性&#xff0c;论文提出了使用…