简介

ClickHouse入门
ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。
ClickHouse的特点
行式存储如图-1所示：

图-1 行式存储
列式存储如图-2所示：

图-2 列式存储
列式储存的好处
1)对于列的聚合，计数，求和等统计操作优于行式存储。
2)由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重。
3)由于数据压缩比更好，一方面节省了磁盘空间，另一方面对于 cache 也有了更大的发挥空间。
Clickhouse的特点
1)DBMS的功能：几乎覆盖了标准SQL的大部分语法，包括DDL和DML，以及配套的各种函数，用户管理及权限管理，数据的备份与恢复。
2)多样化引擎：ClickHouse和MySQL类似，把表级的存储引擎插件化，根据表的不同需求可以设定不同的存储引擎。目前包括合并树、日志、接口和其他四大类20多种引擎。
3)高吞吐写入能力：ClickHouse采用类LSM Tree的结构，数据写入后定期在后台Compaction。通过类LSM tree的结构，ClickHouse在数据导入时全部是顺序append写，写入后数据段不可更改，在后台compaction时也是多个段merge sort后顺序写回磁盘。顺序写的特性，充分利用了磁盘的吞吐能力，即便在HDD上也有着优异的写入性能。
官方公开benchmark测试显示能够达到50MB/s~200MB/s的写入吞吐能力，按照每行100Byte估算，大约相当于50W-200W条/s的写入速度。
4)数据分区与线程级并行：ClickHouse将数据划分为多个partition，每个partition再进一步划分为多个index granularity(索引粒度)，然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。在这种设计下，单条Query就能利用整机所有CPU。极致的并行处理能力，极大的降低了查询延时。
对于大量数据的查询，ClickHouse能够将查询任务分割成多个小任务，实现并行处理，从而提高查询效率。这种能力使得ClickHouse在处理大规模数据时表现出色。然而，ClickHouse在处理高并发的低延迟查询方面可能存在一些挑战。
一项弊端是，如果单个查询需要利用多个CPU核心，这可能会降低ClickHouse同时处理多个查询的能力。由于ClickHouse会优先为单个查询分配多个CPU核心，这可能导致在高并发情况下效率下降，因为无法同时处理多个查询。
因此，对于高QPS（Query Per Second）的查询业务，ClickHouse可能并非最佳选择。在这种情况下，可能需要考虑其他针对高并发低延迟查询优化的解决方案。性能对比
某网站精华帖，中对几款数据库做了性能对比。
1)单表查询如图-3所示：

图-3 单表查询
2)关联查询如图-4所示：

图-4 关联查询
结论:ClickHouse像很多OLAP数 据库一样，单表查询速度优于关联查询，而且ClickHouse的两者差距更为明显。
ClickHouse 的安装
c
1)确定防火墙处于关闭状态。
2)CentOS 取消打开文件数限制。
在hadoop101的/etc/security/limits.conf文件的末尾加入以下内容：

vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

在hadoop101的/etc/security/limits.d/20-nproc.conf文件的末尾加入以下内容：

vim /etc/security/limits.d/20-nproc.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

3)执行同步操作。

xsync /etc/security/limits.conf
Xsync /etc/security/limits.d/20-nproc.conf

4)安装依赖。

yum install -y libtool
yum install -y *unixODBC*

在hadoop102、hadoop103上执行以上操作。
5)CentOS取消SELINUX。
修改/etc/selinux/config中的SELINUX=disabled：

vim /etc/selinux/config
SELINUX=disabled

6)执行同步操作。

xsync /etc/selinux/config

7)重启三台服务器。
单机安装

官网：https://clickhouse.tech/

下载地址：https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/
1)在hadoop101的/opt/software下创建clickhouse目录。

mkdir clickhouse

2)将资料/ClickHouse下4个文件上传到hadoop101的software/clickhouse目录下，如图-5所示：

图-5 资料目录
3)将安装文件同步到hadoop102、hadoop103。

xsync clickhouse

4)分别在三台机子上安装这4个rpm文件。

rpm -ivh *.rpm

5)查看安装情况。

rpm -qa|grep clickhouse

6)修改配置文件。

vim /etc/clickhouse-server/config.xml

把<listen_host>::</listen_host> 的注释打开，这样的话才能让 ClickHouse 被除本机以外的服务器访问，如图-6所示：

图-6 单机模式
7)分发配置文件。

xsync /etc/clickhouse-server/config.xml

在这个文件中，有ClickHouse 的一些默认路径配置，比较重要的数据文件路径：

/var/lib/clickhouse/

。
日志文件路径：

/var/log/clickhouse-server/clickhouse-server.log

8)启动Server。

systemctl start clickhouse-server

9)三台机器上关闭开机自启。

systemctl disable clickhouse-server

10)使用client连接server，如图-7所示。

clickhouse-client -m

图-7 连接客户端
-m:可以在命令窗口输入多行命令。