详解 ClickHouse 的 MaterializeMySQL 引擎

注意与 ClickHouse 的 MySQL 表引擎区分开

一、概述

ClickHouse 20.8.2.3 版本新增加了 MaterializeMySQL 的 database 引擎,该 database 能映射到 MySQL 中的某个 database , 并自动在 ClickHouse 中创建对应的 ReplacingMergeTree。ClickHouse 服务做为 MySQL 的副本,读取 Binlog 并执行 DDL 和 DML 请求,实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。

1. 特点

  • MaterializeMySQL 同时支持全量和增量同步,在 database 创建之初会全量同步 MySQL 中的表和数据,之后则会通过 binlog 进行增量同步
  • MaterializeMySQL 的 database 为其所创建的每张 ReplacingMergeTree 表自动增加了 _sign_version 字段。其中,_version 用作 ReplacingMergeTree 的版本参数,每当监听到 insert、update 和 delete 事件时,在 databse 内全局自增。而 _sign 则用于标记是否被删除,取值 1 或者 -1
  • 目前 MaterializeMySQL 支持如下几种 binlog 事件:
    • MYSQL_WRITE_ROWS_EVENT: _sign = 1,_version ++
    • MYSQL_DELETE_ROWS_EVENT: _sign = -1,_version ++
    • MYSQL_UPDATE_ROWS_EVENT: 新数据,sign = 1,_version ++
    • MYSQL_QUERY_EVENT: 支持 CREATE TABLE 、DROP TABLE 、RENAME TABLE 等

2. 使用细则

  • DDL 查询:MySQL DDL 查询被转换成相应的 ClickHouse DDL 查询(ALTER, CREATE, DROP, RENAME),如果 ClickHouse 不能解析某些 DDL 查询,该查询将被忽略
  • 数据复制:MaterializeMySQL 不支持直接插入、删除和更新查询,而是将 DDL 语句进行相应转换:
    • MySQL INSERT 查询被转换为 INSERT with _sign=1
    • MySQL DELETE 查询被转换为 INSERT with _sign=-1
    • MySQL UPDATE 查询被转换成 INSERT with _sign=1 和 INSERT with _sign=-1
  • SELECT 查询:如果在 SELECT 查询中没有指定 _version,则使用 FINAL 修饰符,返回 _version 的最大值对应的数据,即最新版本的数据。如果在 SELECT 查询中没有指定 _sign,则默认使用 WHERE _sign=1,即返回未删除状态的数据
  • 索引转换:ClickHouse 数据库表会自动将 MySQL 主键和索引子句转换为 ORDER BY 元组。ClickHouse 只有一个物理顺序,由 ORDER BY 子句决定。如果需要创建新的物理顺序,请使用物化视图。

二、案例实操

1. Mysql 配置

sudo vim /etc/my.cnf#开启 binlog,且格式必须为 ROW 
server-id=1
log-bin=mysql-bin
binlog_format=ROW#开启 GTID 模式,可以保证主从切换时的数据同步一致性
gtid-mode=on
enforce-gtid-consistency=1 #设置为主从强一致性
log-slave-updates=1 #记录日志#GTID 是 MySQL 复制增强版,从 MySQL 5.6 版本开始支持,目前已经是 MySQL 主流复制模式。它为每个 event 分配一个全局唯一 ID 和序号,我们可以不用关心 MySQL 集群主从拓扑结构,直接告知 MySQL 这个 GTID 即可sudo systemctl restart mysqld

2. Mysql 数据准备

CREATE DATABASE testck;CREATE TABLE `testck`.`t_organization` (`id` int(11) NOT NULL AUTO_INCREMENT,`code` int NOT NULL,`name` text DEFAULT NULL,`updatetime` datetime DEFAULT NULL,PRIMARY KEY (`id`),UNIQUE KEY (`code`)
) ENGINE=InnoDB;INSERT INTO testck.t_organization (code, name,updatetime) VALUES(1000,'Realinsight',NOW());
INSERT INTO testck.t_organization (code, name,updatetime)
VALUES(1001, 'Realindex',NOW());
INSERT INTO testck.t_organization (code, name,updatetime)
VALUES(1002,'EDT',NOW());CREATE TABLE `testck`.`t_user` (`id` int(11) NOT NULL AUTO_INCREMENT,`code` int,PRIMARY KEY (`id`)
) ENGINE=InnoDB;INSERT INTO testck.t_user (code) VALUES(1);

3. 开启 MaterializeMySQL 引擎

--clickhouse client
set allow_experimental_database_materialize_mysql=1;

4. 创建复制管道

--ClickHouse 中创建 MaterializeMySQL 数据库
CREATE DATABASE test_binlog ENGINE = MaterializeMySQL('hadoop1:3306','testck','root','000000');
--4 个参数分别是 MySQL 地址、databse、username 和 password。--查看该数据库的数据
use test_binlog;show tables;select * from t_organization;
select * from t_user;

5. 修改数据

  • 在 MySQL 中修改数据

    update t_organization set name = CONCAT(name,'-v1') where id = 1;
    
  • 在 ClickHouse 中查询对应表的数据

    select * from t_organization; --对于修改的数据,会自动重写 SQL,为其增加 FINAL 修饰符--查看版本号和删除标记,原数据还是存在
    select *,_sign,_version from t_organization order by _sign desc,_version desc;
    

6. 删除数据

  • 在 MySQL 中删除数据

    DELETE FROM t_organization where id = 2;
    
  • 在 ClickHouse 中查询对应表的数据

    select * from t_organization; --对于已经被删除的数据,_sign=-1,会自动重写 SQL,将 _sign=-1 的数据过滤掉--查看版本号和删除标记,数据没有被真正删除
    select *,_sign,_version from t_organization order by _sign desc,_version desc;

7. 删除表

  • 将 Mysql 中的表删除

    drop table t_user;
    
  • 在 ClickHouse 中查看表

    show tables; --表也被同步删除
    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/34930.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Verilog的逻辑系统及数据类型(一):四值逻辑系统

目录 1. Verilog采用的四值逻辑系统2.主要数据类型2.1 net(线网)2.2 寄存器类 (register)2.3 Verilog中net和register声明语法2.3.1 net声明2.3.2 寄存器声明 2.4 选择正确的数据类型2.5 选择数据类型时常犯的错误2.5.1 信号类型确定方法总结…

【嵌入式DIY实例】-Nokia 5110显示BME280传感器数据

Nokia 5110显示BME280传感器数据 文章目录 Nokia 5110显示BME280传感器数据1、硬件准备与接线2、代码实现本文将介绍如何使用 ESP8266 NodeMCU 板(ESP12-E 模块)和 BME280 气压、温度和湿度传感器构建一个简单的本地气象站。 NodeMCU 从 BME280 传感器读取温度、湿度和压力值…

2024广东省职业技能大赛云计算赛项实战——集群部署GitLab Runner

集群部署GitLab Runner 前言 题目如下: 部署GitLab Runner 将GitLab Runner部署到gitlab-ci命名空间下,Release名称为gitlab-runner,为GitLab Runner创建持久化构建缓存目录/home/gitlab-runner/ci-build-cache以加速构建速度,并将其注册到…

【算法与数据结构】【字符串篇】【String的常见函数】

系列文章 本人系列文章-CSDN博客https://blog.csdn.net/handsomethefirst/article/details/138226266?spm1001.2014.3001.5502 1.string基本概念 string是C风格的字符串,而string本质上是一个类。 string和char * 区别: char * 是一个指针 string是一…

Linux操作系统:从入门到精通

前言 Linux操作系统是当今计算机世界中的重要一环。它不仅在服务器和企业级应用中广泛使用,同时也是许多开发者和技术爱好者的首选。本文将带你全面了解Linux操作系统的基础知识、常用命令及其在不同领域的应用。 一、Linux简介 1.1 什么是Linux? Li…

Java常用类2

StringBuffer和StringBuilder StringBuffer与StringBuilder类介绍 StringBuffer是String的对等类,提供了许多字符串功能。您可能知道,String表示长度固定、不可修改的字符序列。与之相对应,StringBuffer表示可增长、可写入的字符序列。Stri…

重写equals为什么要重写hashCode???

当你在Java中重写了equals()方法后,通常建议你也应该重写hashCode()方法。这是基于Java集合框架的设计原则,具体来说是基于Object类中的equals()和hashCode()方法之间的约定。以下是为什么需要这样做的一些关键原因: 一致性原则:…

[Redis]缓存常见问题解决(缓存穿透、击穿、雪崩一文解决!通俗易懂、代码实战!手把手教你解决缓存问题三兄弟!)

Redis常见问题解决 要求 只用一种缓存技术,从实验点中挑一些试验进行试验原理。 1.缓存原理 目标:理解缓存的基本原理和工作机制。 实验步骤: 阅读各缓存技术机制的文档和官方资料。实现一个简单的应用程序,模拟数据的读写和…

音视频入门基础:H.264专题(4)——NALU Header:forbidden_zero_bit、nal_ref_idc、nal_unit_type简介

音视频入门基础:H.264专题系列文章: 音视频入门基础:H.264专题(1)——H.264官方文档下载 音视频入门基础:H.264专题(2)——使用FFmpeg命令生成H.264裸流文件 音视频入门基础&…

试析C#编程语言的特点及功能

行步骤,而不必创建新方法。其声明方法是在实例化委托基础上,加一对花括号以代表执行范围,再加一个分号终止语句。 2.3.3 工作原理 C#编译器在“匿名”委托时会自动把执行代码转换成惟一命名类里的惟一命名函数。再对存储代码块的委托进行设…

【C语言】16 位的值,通过几种不同的方式将其拆分为高 8 位和低 8 位

当我们想要将一个16位的 Register_Value 拆分成高8位和低8位,并存储到 Send_Data_Uart5 数组中时,有几种常见的方法可以实现。让我们逐一优化和详细分析每种方法: 方法 1: 使用位移和位掩码(常用方法) Send_Data_Uar…

Erlang 在处理高并发实时通信场景时,相比其他编程语言有哪些独特的优势和局限性?

Erlang 在处理高并发实时通信场景时具有以下独特的优势: 轻量级进程模型:Erlang 使用轻量级进程模型,每个 Erlang 进程占用非常少的内存,并且可以创建数百万个进程,使得系统可以支持大规模的并发连接。 纯函数式语言&…

最热门的智能猫砂盆好不好用?这期统统告诉你!

身为上班族的我们,常常被工作和出差填满日程。忘记给猫咪铲屎也不是一次两次了。但我们必须意识到,不及时清理猫砂盆不仅会让猫咪感到不适,还可能引发泌尿系统感染、皮肤疾病等健康问题。为了解决这个问题,越来越多的铲屎官开始将…

快速上手golang(持续更新)

由于项目需要,我不得不快速掌握go语言来帮助我进行项目的开发。时间紧迫到我来不及去了解语言的特性就直接项目上手了。我决定就先熟悉一个主流的go框架和go语言的一些日常用法,之后就得滑着这只破船摇摇晃晃上路了。 1 基础命令 就说几个用的多的&…

【Linux】使用信号进行进程间通信

🔥博客主页: 我要成为C领域大神🎥系列专栏:【C核心编程】 【计算机网络】 【Linux编程】 【操作系统】 ❤️感谢大家点赞👍收藏⭐评论✍️ 本博客致力于知识分享,与更多的人进行学习交流 ​ ​ 实现原理&a…

[机器学习]-2 经典机器学习算法

一 线性模型 线性模型是机器学习中最基本和最常用的一类模型,假设输出变量是输入变量的线性组合。线性模型在许多实际应用中表现良好,并且为更复杂的模型(如非线性模型、深度学习模型)奠定了理论基础;优点是简单易懂&…

江苏隆昌化工上线隆道平台 采购管理迎来全面升级

当前,传统产业与数字产业深度加速融合,大数据、云计算、人工智能等新技术推动产业深刻变革,能源化工行业迎来战略转型加速期。数字化转型已成为能源化工企业提升运营效率、控制运营成本、提高产品质量、打造竞争优势的强大引擎。为实现传统采…

在C#中使用事务

文章目录 一、概述1、事务ACID特性2、.NET开发者用到的5种事务机制:二、数据库事务1、不同数据库的事务规则2、数据库事务的优势和限制三、ADO.Net事务四、System.EnterpriseServices自动事务处理五、System.Transactions事务1、显式事务(Explicit Transaction)2、Transacti…

数据库管理-第213期 HaloDB-Oracle兼容性测试03(20240625)

数据库管理213期 2024-06-25 数据库管理-第213期 HaloDB-Oracle兼容性测试03(20240625)1 索引1.1 B-Tree索引1.2 Hash索引1.3 复合索引1.4 唯一索引1.5 表达式索引1.6 部分索引 2 视图3 表连接3.1 内连接3.2 左/右外连接3.3 全连接清理环境: …