clickhouse高可用可拓展部署

clickhouse高可用&可拓展部署

1.部署架构

1.1高可用架构

1.2硬件资源

部署服务

节点名称

节点ip

核数

内存

磁盘

zookeeper

zk-01

/

4c

8G

100G

zk-02

/

4c

8G

100G

zk-03

/

4c

8G

100G

clikehouse

ck-01

/

32c

128G

2T

ck-02

/

32c

128G

2T

ck-03

/

32c

128G

2T

ck-04

/

32c

128G

2T

1.3扩容

1.3.1节点扩容

新增一个分片,2个副本,扩容后的架构图如下:

1.3.2资源扩容

Cpu和内存直接在云平台上扩容,磁盘使用lvm扩容数据目录大小

1.4 混合部署

1.5 负载均衡&读写分离

采用chproxy来做负载均衡和读写分离,具体架构如下:

2.安装部署

2.1部署规划

采用1.4混合部署方式,3台虚拟机,每个节点部署2个clickhouse实例和一个zookeeper。另外增加一台虚拟机用来部署chproxy,用做负载均衡和读写分离。具体部署规划如下:

部署服务

实例名称

节点ip

端口

备注

zookeeper

zk-01

10.9.135.37

2181

zk-02

10.9.135.133

2181

zk-03

10.9.135.36

2181

clikehouse

ck-01

10.9.135.37

8123

分片1副本1

ck-02

10.9.135.133

8123

分片2副本1

ck-03

10.9.135.36

8123

分片3副本1

ck-04

10.9.135.133

8223

分片1副本2

ck-05

10.9.135.36

8223

分片2副本2

ck-06

10.9.135.37

8223

分片3副本2

chproxy

chproxy

10.9.135.60

9090

2.2准备工作

  1. --修改hostname  
  2. sudo hostnamectl set-hostname ck01  
  3. sudo hostnamectl set-hostname ck02  
  4. sudo hostnamectl set-hostname ck03  
  5.   
  6. --hosts配置  
  7. 10.9.135.37 ck01  
  8. 10.9.135.133 ck02  
  9. 10.9.135.36 ck03  
  10.   
  11. --关闭防火墙  
  12. # 1.关闭防火墙   
  13. service iptables stop   
  14. chkconfig iptables off  
  15. chkconfig ip6tables off  
  16.    
  17. # 2.关闭selinux  
  18. vi /etc/sysconfig/selinux  
  19. 修改内容:【SELINUX=disabled】  
  20.       
  21. --免密登录  
  22. 1、在原机器生成RSA密钥和公钥  
  23. ssh-keygen -q -t rsa  -N "" -f  ~/.ssh/id_rsa  
  24. 2、然后将~/.ssh/id_rsa.pub内容粘贴到目标机器的~/.ssh/authorized_keys  

2.3jdk安装部署

  1. --安装包解压并修改配置文件:  
  2. export JAVA_HOME=/usr/java/jdk1.8  
  3. export JRE_HOME=$JAVA_HOME/jre  
  4. export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH  
  5. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 

2.4zookeeper安装部署

  1. --安装zk  
  2. wget http://archive.apache.org/dist/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz  
  3. mv /data/apache-zookeeper-3.6.0-bin /usr/local/zookeeper  
  4. --创建目录:  
  5. mkdir -p /data/zookeeper/data  
  6. mkdir -p /data/zookeeper/logs  
  7. 机器1指定节点号1,以此类推:  
  8. echo '1' > /data/zookeeper/data/myid  
  9. 修改zoo.cfg文件,内容如下:  
  10. --------------------------------------------------  
  11. # 基本时间单位, 毫秒值  
  12. tickTime=2000  
  13.   
  14. # tickTime的倍数,follower和leader之间的最长心跳时间  
  15. initLimit=30000  
  16.   
  17. # tickTime的倍数,leader和follower之间发送消息, 请求和应答的最大时间  
  18. syncLimit=10  
  19. # 数据目录  
  20. dataDir=/data/zookeeper/data  
  21.   
  22. # 日志目录,如果没设定,默认和dataDir相同  
  23. dataLogDir=/data/zookeeper/logs  
  24.   
  25. # 监听client连接的端口号  
  26. clientPort=2181  
  27.   
  28. # zookeeper最大连接  
  29. maxClientCnxns=2000  
  30.   
  31. # 最大的会话超时时间  
  32. maxSessionTimeout=60000000  
  33.   
  34. # 保留的文件数目,默认3个  
  35. autopurge.snapRetainCount=10  
  36.   
  37. # 自动清理snapshot和事务日志,清理频率,单位是小时  
  38. autopurge.purgeInterval=1  
  39.   
  40. # 等待处理的最大请求数量  
  41. globalOutstandingLimit=200  
  42.   
  43. # 日志文件大小Kb,切换快照生成日志  
  44. preAllocSize=131072  
  45.   
  46. #两次事务快照之间可执行事务的次数,默认的配置值为100000  
  47. snapCount=3000000  
  48.   
  49. # leader是否接受client请求,默认为yes即leader可以接受client的连接,当节点数为>3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/42169.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[Qt] 控件的QSizePolicy属性选项

在Qt中,QSizePolicy是一个非常重要的枚举类,它定义了控件(widgets)在布局管理(layout management)中的大小调整策略。这些策略决定了当控件的父布局或窗口大小发生变化时,控件应该如何调整自身的…

java wait, notify, notifyAll三个方法

wait(), notify(), 和 notifyAll() 是 Java 中用于线程间通信和同步的方法,它们都是 Object 类中的方法,而非 Thread 类的方法。这些方法通常与 synchronized 关键字一起使用,用于实现线程之间的协作和互斥访问共享资源。 关于生产者-消…

PsQuerySystemDllInfo逆向

typedef struct _SYSTEM_DLL_ENTRY {ULONG64 type;UNICODE_STRING FullName;PVOID ImageBase;PWCHAR BaseName;PWCHAR StaticUnicodeBuffer; }SYSTEM_DLL_ENTRY, * PSYSTEM_DLL_ENTRY; 返回值为上面的结构体指针 验证 type: fullname inagebase: pwchar basename PWCHAR …

C# 工厂模式(Factory Pattern)

工厂模式用于创建对象而不将具体类的代码与客户端代码混合在一起,从而使一个类的实例化延迟到其子类。 示例代码: // 抽象产品 public interface IProduct { void Use(); } // 具体产品A public class ConcreteProductA : IProduct { pub…

Linux常用面试题

系统部分 1、在linux系统中,获取命令帮助的方法有哪些? man (查看手册页) help(查看内部命令) --help(查看外部命令) 2、列举find命令的用法?&#xff08…

QTableWidget表头添加全选框

前言 QTableWidget表头不能直接设置复选框,setCheckState不适用,所以直接使用设置图片的方法最方便快捷,准备两个图片,分别为选中状态和未选中状态。 1.设置复选框列 设置第一列为复选框列,其他列正常显示内容&…

大模型实战:RAG的应用探索

自chatgpt卷过来,我们‘打开’了视野,发现‘什么都想要’成为了可能。但是随着国内开源大模型的开放,越来越多人觉得通用LLM的价值很低(可能是商业利益的驱使)。大家对技术的追逐有变成了应用变现的需求。好吧&#xf…

日常的网络杂记

网络杂记 vlan 交换机配到一个vlan下面就可以互通,用来做物理上的网段隔离可以 ①access模式只能承载一个vlan的流量。如果两个交换机上只有一个vlan,那么两个交换机之间肯定能通信。 ②即使两个交换机上有2个或2个以上的valn,但你把交换机…

Windows 11文件资源管理器选项卡的4个高级用法,肯定有你喜欢的

作为一个每天使用文件资源管理器来管理我的工作流程的人,选项卡帮助我为处于不同完成阶段的工作创建了不同的文件夹。以下是我使用选项卡提高工作效率的最佳技巧。 打开和关闭选项卡 假设你的计算机上安装了Windows 11的最新更新,请按Ctrl+E打开文件资源管理器。在我发现“…

WordPress的性能优化有哪些方法?

WordPress的性能优化方法主要包括以下几个方面: 1. 使用缓存插件:缓存插件可以降低服务器负载,提高网站加载速度。常用的缓存插件有WP Rocket、WP Fastest Cache和Cache Enabler等。 2. 代码压缩和整合:通过压缩JavaScript、CSS…

可验证算法在招投标领域的专家“盲抽”中的标段识别码加密应用研究

摘要 在招投标过程中,标段(包)识别码的安全性至关重要。本文提出了一种基于可验证算法的标段识别码加密方法,以确保其在专家“盲抽”过程中的保密性和可信性。通过对不同表的标段识别码进行全量加密,并通过匹配验证其…

烟草企业如何在数字化转型中实现从“传统”到“智能”的跨越?

在数字化浪潮的席卷下,各行各业都在经历着深刻的变革。作为国民经济的重要组成部分,烟草行业正处于高质量发展的重要阶段,加快信息系统国产化升级,对于提升行业竞争力、强化信息安全保障具有重要战略意义。 达梦数据积极助力烟草行…

FPGA_GTX:简要版

1. GTX介绍 Xilinx FPGA的GT意思是Gigabyte Transceiver。通常称呼为Serdes、高速收发器。GT在xilinx不同系列有着不同的产品,从7系列到UltraScale系列分别有GTP、GTX、GTZ、GTH、GTY和GTM。不同GT整体结构上类似,为了支持越来越高的line rate&#xff…

PostgreSQL主从复制:打造高可用数据库架构的秘籍

PostgreSQL主从复制:打造高可用数据库架构的秘籍 在当今的数字化时代,数据的安全性和可靠性是企业最为关注的问题之一。PostgreSQL作为一种强大的开源关系型数据库管理系统,提供了多种高可用性解决方案,其中主从复制是最为常用的…

嵌入式Linux系统编程 — 7.2 进程的环境变量

目录 1 什么是进程的环境变量 2 环境变量的作用 3 应用程序中获取环境变量 3.1 environ全局变量 3.2 获取指定环境变量 getenv 4 添加/删除/修改环境变量 4.1 putenv()函数添加环境变量 4.2 setenv()函数 4.3 unsetenv()函数 1 什么是进程的环境变量 每一个进程都有一…

Android触摸事件分发关键点【笔记摘要】

触摸事件分发:就是一个为了解决触摸事件冲突而设置的机制 1.事件类型 ACTION_DOWN -> ACTION_UP / ACTION_CANCEL ACTION_DOWN -> ACTION_MOVE -> ACTION_MOVE -> ACTION_MOVE -> ACTION_UP / ACTION_CANCEL 这个取消事件ACTION_CANCEL它是一种特殊…

Hack The Box -- Blazorized

一、准备工作 端口扫描 详细扫描 Starting Nmap 7.94SVN ( https://nmap.org ) at 2024-06-30 21:39 EDT Nmap scan report for 10.10.11.22 Host is up (0.26s latency).PORT STATE SERVICE VERSION 53/tcp open domain Simple DNS Plus 80/tcp op…

Java后端开发(十三)-- Java8 stream的 orElse(null) 和 orElseGet(null)

orElse(null)表示如果一个都没找到返回null。【orElse()中可以塞默认值。如果找不到就会返回orElse中你自己设置的默认值。】 orElseGet(null)表示如果一个都没找到返回null。【orElseGet()中可以塞默认值。如果找不到就会返回orElseGet中你自己设置的默认值。】 区别就…

MyBatisPlus Service接口的继承

介绍 Service接口 接口基础了接口 IService&#xff0c;实现类实现就需要实现IService里的方法&#xff0c;但是MyBatisplus已经帮我们写好了实现类&#xff0c;给我们的实现类继承即可。 public interface IEmpService extends IService<Emp> { //其他业务方法.... }…

web学习笔记(八十)

目录 1.小程序实现微信一键登录 2. 小程序的授权流程 3.小程序配置vant库 4.小程序配置分包 5.小程序配置独立分包 6.小程序分包预下载 1.小程序实现微信一键登录 要先实现小程序一键登录首先我们需要给按钮设置一个绑定事件&#xff0c;然后在绑定事件内部通过wx.login…