Clickhouse学习笔记（3）—— Clickhouse表引擎

前言：

有关Clickhouse的前置知识详见：

1.ClickHouse的安装启动_clickhouse后台启动_THE WHY的博客-CSDN博客

2.ClickHouse目录结构_clickhouse 目录结构-CSDN博客

Cickhouse创建表时必须指定表引擎

表引擎（即表的类型）决定了：

  • 数据的存储方式和位置，写到哪里以及从哪里读取数据

数据一般存储在本地，默认路径是/var/lib/clickhouse/

除此之外也可以集成一些外部的数据库，如Hive，MySQL等

  • 支持哪些查询以及如何支持

数组在mergetree引擎中无法使用

  • 并发数据访问
  • 索引的使用（如果存在）
  • 是否可以执行多线程请求
  • 数据复制参数

TinyLog

以列文件的形式保存在磁盘上，不支持索引，没有并发控制。一般保存少量数据的小表，生产环境上作用有限。可以用于平时练习测试用

Memory

内存引擎，数据以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失。读写操作不会相互阻塞，不支持索引。简单查询下有非常非常高的性能表现（超过 10G/s）。

一般用到它的地方不多，除了用来测试，就是在需要非常高的性能，同时数据量又不太大（上限大概 1 亿行）的场景

MergeTree*（合并树）

MergeTree支持索引和分区

建表语句如下：

create table t_order_mt(id UInt32,　sku_id String,　total_amount Decimal(16,2),　create_time Datetime)engine = MergeTree　partition by toYYYYMMDD(create_time)　primary key(id)　order by (id,sku_id);

需要注意的是，clickhouse中主键会自动创建索引，但并不唯一；

而且order by设置的排序是在分区内排序

插入数据 

insert into t_order_mt values \
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,\
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),\
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',600.00,'2020-06-02 12:00:00');

进行查询：

可以看到通过命令行查询出的数据可以明显观察到分区

语法知识

MergeTree | ClickHouse Docs

可以看到，primary key 和 partition by字段都不是必须的，但order by字段是必须的

分区合并

分区的目的主要是降低扫描的范围，优化查询速度

在hive中，分区是通过HDFS中分目录实现的；clickhouse中也是通过分目录实现的，只不过是在本地磁盘

MergeTree 是以列文件+索引文件+表定义文件组成的，但是如果设定了分区那么这些文件就会保存到不同的分区目录中

具体操作

向表中插入数据：

在本地按分区存储数据：

再次插入数据：

可以看到数据并没有纳入任何分区，这是因为任何一个批次的数据写入都会产生一个临时分区，不会纳入任何一个已有的分区；写入后的某个时刻（大概 10-15 分钟后），ClickHouse 会自动执行合并操作

也可以手动通过 optimize 执行，把临时分区的数据，合并到已有分区中：

optimize table xxxx final

详细语法见：OPTIMIZE Statement | ClickHouse Docs

查看数据文件可以看到合并后的分区数据：

可以看到最小分区块编号、最大分区块编号和合并层级都发生了变化

需要注意：手动执行分区合并后会生成新的数据文件，但过期数据不会立即删除

等到自动合并操作执行后，过期数据就会被删除了；因此过一段时间再去查看：

除此之外，optimize还可以指定要合并的分区：

optimize table xxxx PARTITION partition final;

示例：

插入一些数据，目前的分区如下：

接下来只合并分区id为20200601的数据：

optimize table t_order_mt partition '20200601' final;

合并结果如下：

primary key

MergeTree | ClickHouse Docs

  • 只提供了数据的一级索引，但是却不是唯一约束
  • 主键的设定主要依据是查询语句中的 where 条件，根据条件通过对主键进行某种形式的二分查找，能够定位到对应的 index granularity避免了全表扫描

index granularity：索引粒度；也就是在稀疏索引中两个相邻索引对应数据的间隔。ClickHouse 中的 MergeTree 默认是 8192；官方不建议修改这个值，除非该列存在大量重复值，比如在一个分区中几万行才有一个不同数据

稀疏索引的好处就是可以用很少的索引数据，定位更多的数据，代价就是只能定位到索引粒度的第一行，然后再进行进行一点扫描

order by

  • order by进行分区内排序，是必须设置的（因为clickhouse使用稀疏索引，如果数据无序，无法根据索引来进行定位）
  • 主键必须是 order by 字段的前缀字段

比如 order by 字段是 (id,sku_id) 那么主键必须是 id 或者(id,sku_id)

假如主键是sku_id，那么可以发现数据在主键维度上是无序的，索引依然无法定位

二级索引

clickhouse从v20.1.2.4 开始全面支持二级索引

创建二级索引的语法：

INDEX a total_amount TYPE minmax GRANULARITY 5

索引名 对应的列 二级索引的类型 粒度

注意：这里的粒度指的是二级索引相对于一级索引的粒度

测试

建表

create table t_order_mt2( \id UInt32,\sku_id String,\total_amount Decimal(16,2),\create_time Datetime,\
INDEX a total_amount TYPE minmax GRANULARITY 5\
) engine =MergeTree\partition by toYYYYMMDD(create_time)\primary key (id)\order by (id, sku_id);

插入数据：

insert into t_order_mt2 values \
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,\
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),\
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',600.00,'2020-06-02 12:00:00');

测试二级索引是否发挥作用：

clickhouse-client --send_logs_level=trace <<< 'select * from t_order_mt2 where total_amount > toDecimal32(900., 2)';

可以看到：

index a在查询过程中起到了粒度划分的作用；

TTL

MergeTree | ClickHouse Docs

TTL 即 Time To Live，MergeTree 提供了可以管理数据表或者列的生命周期的功能

对于表和列都可以指定TTL；

指定列的TTL（建表时）

TTL time_column + interval

建表测试：

create table t_order_mt3(\id UInt32,\sku_id String,\total_amount Decimal(16,2) TTL create_time+interval 10 SECOND,\create_time Datetime \
) engine =MergeTree\
partition by toYYYYMMDD(create_time)\primary key (id)\order by (id, sku_id);

对total_amount列设置了TTL

插入数据：

insert into t_order_mt3 values \
(106,'sku_001',1000.00,'2023-07-31 20:45:10'),\
(107,'sku_002',2000.00,'2023-07-31 20:45:10'),\
(110,'sku_003',600.00,'2023-07-31 20:45:10');

插入完成后可以正常查询到数据：

等待到20:45:20之后再次查询：

发现依然能查询到数据：

可能是因为尚未合并导致的，因此手动合并：

optimize table t_order_mt3 final

发现字段值已经清空：


如果没有反应，可以尝试重启以下clickhouse的服务器，因为TTL操作是单独开启一个进程去完成的，如果机器资源较少，可能出现应答不及时的情况；

修改列的TTL

语法：

通过MODIFY COLUMN实现，简单来说就是重新定义一下这个列；

指定表的TTL

语法：

就是在ORDER BY后面设置TTL即可

官网给出了TTL到达后的三种策略

DELETE：删除对应数据

TO DISK 'aaa'：将数据移动到磁盘'aaa'

TO VOLUME 'bbb'：将数据移动到磁盘'bbb'

修改表的TTL

语法：

ReplacingMergeTree（去重）

ReplacingMergeTree 是 MergeTree 的一个变种，它存储特性完全继承 MergeTree，只是

多了一个去重的功能（根据order by字段进行去重，而不是主键）

去重时机：数据的去重只会在合并的过程中出现（合并会在未知的时间在后台进行，所以你无法预先作出计划。有一些数据可能仍未被处理）

在新版本中插入数据时会先进行一次去重

去重范围：分区内去重，无法跨分区去重

测试

创建表，指定引擎为ReplacingMergeTree

create table t_order_rmt(\id UInt32,\sku_id String,\total_amount Decimal(16,2) ,\create_time Datetime \
) engine =ReplacingMergeTree(create_time)\partition by toYYYYMMDD(create_time)\primary key (id)\order by (id, sku_id);

ReplacingMergeTree() 填入的参数为版本字段，重复数据保留版本字段值最大的

如果不填版本字段，默认按照插入顺序保留最后一条

插入数据：

insert into t_order_rmt values\
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,\
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),\
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',600.00,'2020-06-02 12:00:00');

查询结果如下：

与下图对比可知在插入数据时已经进行了去重

注意到有两条数据的版本字段相同：

最终保留的数据是：

因此可以看到，但版本字段相同时，按照插入顺序保留最后一条

接下来再次插入数据，查询结果如下：

可以看到同一分区内的数据并未进行去重

因此手动执行合并后再查询：

可以看到已经进行了去重；

SummingMergeTree（聚合）

适用于不查询明细，只关心以维度进行汇总聚合结果的场景，可以避免因临时聚合而带来的开销

测试

创建表，指定引擎为SummingMergeTree

create table t_order_smt(\id UInt32,\sku_id String,\total_amount Decimal(16,2) ,\create_time Datetime \
) engine =SummingMergeTree(total_amount)\partition by toYYYYMMDD(create_time)\primary key (id)\order by (id,sku_id );

注意，SummingMergeTree()中的字段为聚合字段，即在哪一维度上进行聚合，这里指定的是total_amount，也可以指定多个字段，但必须是数值类型；

如果不填，以所有非维度列且为数字列的字段为汇总数据列

插入数据：

insert into t_order_smt values\
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),\
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),\
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),\
(102,'sku_002',600.00,'2020-06-02 12:00:00');

查询结果如下：

首先可以发现，SummingMergeTree是以order by的列作为维度列进行聚合的，而且是分区内聚合；

同时可以看到，同一分区内的相应数据已经进行了聚合：

                                                                        👇

除了维度列和聚合字段之外，create_time这一列保留最早插入的一行；

再次插入数据进行测试：
可以看到并未进行聚合：

这是因为SummingMergeTree和ReplacingMergeTree一样，都是只有在同一批次插入(新版本)或分片合并时才会进行聚合

因此手动执行合并：optimize table t_order_smt final

可以看到成功聚合：

根据聚合表的特性，在实际开发中设计聚合表时，唯一键值、流水号可以去掉，所有字段全部是维度、度量或者时间戳

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/139241.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据库安全：Hadoop 未授权访问-命令执行漏洞.

数据库安全：Hadoop 未授权访问-命令执行漏洞.

数据库安全&#xff1a;Hadoop 未授权访问-命令执行漏洞. Hadoop 未授权访问主要是因为 Hadoop YARN 资源管理系统配置不当&#xff0c;导致可以未经授权进行访问&#xff0c;从而被攻击者恶意利用。攻击者无需认证即可通过 RESTAPI 部署任务来执行任意指令&#xff0c;最终完…
阅读更多...
Transmit ：macOS 好用的 Ftp/SFtp 工具

Transmit ：macOS 好用的 Ftp/SFtp 工具

Transmit 是一种功能强大的 FTP/SFTP/WebDAV 客户端软件&#xff0c;是一个 Mac OS X 平台上设计的文件传输软件。它由 Panic&#xff08;一家以软件工具为主的公司&#xff09;开发和维护&#xff0c;是一款非常受欢迎且易于使用的软件&#xff0c;而且被广泛认为是 Mac OS X …
阅读更多...
SpringCloudGateway--Sentinel限流、熔断降级

SpringCloudGateway--Sentinel限流、熔断降级

目录 一、概览 二、安装Sentinel 三、微服务整合sentinel 四、限流 1、流控模式 ①直接 ②关联 ③链路 2、流控效果 ①快速失败 ②Warm Up ③排队等待 五、熔断降级 1、慢调用比例 2、异常比例 3、异常数 一、概览 SpringCloudGateway是一个基于SpringBoot2.x的…
阅读更多...
机器学习模板代码（期末考试复习）自用存档

机器学习模板代码（期末考试复习）自用存档

机器学习复习代码 利用sklearn实现knn import numpy as np import pandas as pd from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import GridSearchCVdef model_selection(x_train, y_train):## 第一个是网格搜索## p是选择查找方式:1是欧…
阅读更多...
CS224W5.3——信念传播

CS224W5.3——信念传播

此文中&#xff0c;我们介绍信念传播&#xff0c;这是一种回答图中概率查询的动态规划方法。通过迭代传递消息给邻居节点&#xff0c;如果达成共识&#xff0c;则计算最终的信念值。然后&#xff0c;我们通过示例和泛化树结构展示消息传递。最后讨论了循环信念传播算法及其优缺…
阅读更多...
ROS话题(Topic)通信：通信模型、Hello World与拓展

ROS话题(Topic)通信：通信模型、Hello World与拓展

文章目录 一、话题通讯模型二、Topic Hello World2.1 创建并初始化功能包2.2 确定Topic名称及消息格式2.3 实现发布者与订阅者&#xff08;C版&#xff09;2.4 实现发布者与订阅者&#xff08;Python版&#xff09;2.5 关于Topic Hello World的注意 拓展1&#xff1a;devel下其…
阅读更多...
计算机网络——物理层-传输方式（串行传输、并行传输，同步传输、异步传输，单工、半双工和全双工通信）

计算机网络——物理层-传输方式（串行传输、并行传输，同步传输、异步传输，单工、半双工和全双工通信）

目录 串行传输和并行传输 同步传输和异步传输 单工、半双工和全双工通信 串行传输和并行传输 串行传输是指数据是一个比特一个比特依次发送的。因此在发送端和接收端之间&#xff0c;只需要一条数据传输线路即可。 并行传输是指一次发送n个比特&#xff0c;而不是一个比特&…
阅读更多...
11.7加减计数器，可置位~，数字钟分秒，串转并，串累加转并，24位串并128，流水乘法器，一些乘法器

11.7加减计数器，可置位~，数字钟分秒，串转并，串累加转并，24位串并128，流水乘法器，一些乘法器

信号发生器 方波&#xff0c;就是一段时间内都输出相同的信号 锯齿波就是递增 三角波就是先增后减 加减计数器 当mode为1则加&#xff0c;Mode为0则减&#xff1b;只要为0就输出zero 这样会出问题&#xff0c;因为要求是十进制&#xff0c;但是这里并没有考虑到9之后怎么办&a…
阅读更多...
测试用例的设计方法（黑盒）

测试用例的设计方法（黑盒）

1.基于需求的设计方法 比如针对网易邮箱进行测试&#xff1a;分为功能相关和非功能相关两大类 但是这么设计的话&#xff0c;有无数多个测试用例&#xff0c;我们现在看到的只是一些大概的测试用例&#xff0c;要想设计具体的测试用例&#xff0c;需要用到下面测试用例的方法…
阅读更多...
password game

password game

目录 password game &#xff08;1-2&#xff09; &#xff08;3&#xff09; &#xff08;4&#xff09; &#xff08;5&#xff09; &#xff08;6&#xff09; &#xff08;7&#xff09; &#xff08;8&#xff09; &#xff08;9&#xff09; &#xff08;10&am…
阅读更多...
css3文字环绕旋转

css3文字环绕旋转

目录 固定数量文字环绕旋转不固定数量文字环绕旋转效果图 固定数量文字环绕旋转 <!-- 文字旋转测试 --> <template><div class"page"><div><div v-for"(item, index) in [...Array(20).keys()]" :key"index" style&…
阅读更多...
desc相关注入

desc相关注入

desc相关注入 补充
阅读更多...
HBuilderX vue项目打包上传到服务器

HBuilderX vue项目打包上传到服务器

完成后有个’dist’目录,把真个目录通过FTP 上传到服务器,Mac电脑使用cyberduck 上传 服务器使用‘宝塔’进行一件部署,基本上就是傻瓜式的点击下一步
阅读更多...
建行广东江门分行：科技赋能，数据助力纠“四风”

建行广东江门分行：科技赋能，数据助力纠“四风”

为进一步深化落实中央八项规定精神&#xff0c;持续加大“四风”问题查处力度&#xff0c;建行驻江门市分行纪检组根据《广东省分行贯彻落实中央八项规定精神持之以恒纠治“四风”实施方案》&#xff08;建粤党发〔2023〕1号&#xff09;安排&#xff0c;对驻在市分行开展“四风…
阅读更多...
Vue项目中强制刷新页面的方法

Vue项目中强制刷新页面的方法

我们在动态切换组件的过程中&#xff0c;导航栏和底栏不动&#xff0c;动态切换中间区域的情况&#xff0c;在首页可以进行跳转任意组件&#xff0c;在组件与组件之间不能相互跳转&#xff0c;路由发生了变化&#xff0c;但是页面未改变&#xff0c;这时我们就需要强制刷新页面…
阅读更多...
如何用sklearn对随机森林调参

如何用sklearn对随机森林调参

文章目录 一、概述二、实操1、导入相关包2、导入乳腺癌数据集&#xff0c;建立模型3、调参 三、总结 Link&#xff1a;https://zhuanlan.zhihu.com/p/126288078 Author&#xff1a;陈罐头 一、概述 sklearn是目前python中十分流行的用来实现机器学习的第三方包&#xff0c;其中…
阅读更多...
凯美瑞 vs 太空船：Web3 游戏生长的两条路径

凯美瑞 vs 太空船：Web3 游戏生长的两条路径

撰文&#xff1a;Teng Yan&#xff08;0xPrismatic&#xff09;&#xff0c;Delphi Digital 研究员 编译&#xff1a;TinTinLand 来源&#xff1a;https://0xprismatic.substack.com/p/my-short-web3-gaming-thesis 经常有人问我关于 Web3 游戏的看法&#xff0c;所以我想以这…
阅读更多...
什么是数据库事务、事务的ACID、怎么设置/禁止自动提交？

什么是数据库事务、事务的ACID、怎么设置/禁止自动提交？

数据库事务及ACID 数据库事务是指作为单个逻辑工作单元执行的一组操作。这组操作要么全部成功地执行&#xff0c;要么全部不执行&#xff0c;不允许出现部分执行的情况。数据库事务通常需要满足ACID属性&#xff0c;即原子性&#xff08;Atomicity&#xff09;、一致性&#x…
阅读更多...
某城高速综合管控大数据大屏可视化【可视化项目案例-04】

某城高速综合管控大数据大屏可视化【可视化项目案例-04】

🎉🎊🎉 你的技术旅程将在这里启航！ 🚀🚀 本文选自专栏：可视化技术专栏100例 可视化技术专栏100例，包括但不限于大屏可视化、图表可视化等等。订阅专栏用户在文章底部可下载对应案例源码以供大家深入的学习研究。 🎓 每一个案例都会提供完整代码和详细的讲解，不…
阅读更多...
Python开源项目PGDiff——人脸重建（Face Restoration），模糊清晰、划痕修复及黑白上色的实践

Python开源项目PGDiff——人脸重建（Face Restoration），模糊清晰、划痕修复及黑白上色的实践

python ansconda 等的下载、安装等请参阅&#xff1a; Python开源项目CodeFormer——人脸重建&#xff08;Face Restoration&#xff09;&#xff0c;模糊清晰、划痕修复及黑白上色的实践https://blog.csdn.net/beijinghorn/article/details/134334021 友情提示&#xff1a; …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023