Debezium日常分享系列之:设置MySQL数据库以支持数据实时采集

Debezium日常分享系列之:设置MySQL数据库以支持数据实时采集

  • 一、创建用户
  • 二、启用二进制日志
  • 三、启用 GTID
  • 四、配置会话超时
  • 五、启用查询日志事件
  • 六、验证二进制日志行值选项
  • 七、Debezium技术总结

在安装和运行 Debezium 连接器之前,需要执行一些 MySQL 设置任务。

一、创建用户

Debezium MySQL 连接器需要 MySQL 用户帐户。此 MySQL 用户必须对 Debezium MySQL 连接器捕获更改的所有数据库拥有适当的权限。

先决条件

  • MySQL 服务器。
  • SQL 命令的基本知识。

程序

  1. 创建MySQL用户:
mysql> CREATE USER 'user'@'localhost' IDENTIFIED BY 'password';

2.向用户授予所需的权限:

mysql> GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user' IDENTIFIED BY 'password';

下表描述了权限。

重要的:

  • 如果使用不允许全局读锁的托管选项(例如 Amazon RDS 或 Amazon Aurora),则使用表级锁来创建一致快照。在这种情况下,您还需要向您创建的用户授予 LOCK TABLES 权限。

3.最终确定用户的权限:

mysql> FLUSH PRIVILEGES;

表 20. 用户权限说明

字段描述
SELECT使连接器能够从数据库的表中选择行。仅在执行快照时使用。
RELOAD允许连接器使用 FLUSH 语句来清除或重新加载内部缓存、刷新表或获取锁。仅在执行快照时使用。
SHOW DATABASES使连接器能够通过发出 SHOW DATABASE 语句来查看数据库名称。仅在执行快照时使用。
REPLICATION SLAVE使连接器能够连接并读取 MySQL 服务器二进制日志。
REPLICATION CLIENT允许连接器使用以下语句:SHOW MASTER STATUS、SHOW SLAVE STATUS、SHOW BINARY LOGS 连接器总是需要这个。
ON标识权限应用到的数据库。
TO ‘user’指定要授予权限的用户。
IDENTIFIED BY ‘password’指定用户的 MySQL 密码。

二、启用二进制日志

您必须为 MySQL 复制启用二进制日志记录。二进制日志记录复制工具的事务更新以传播更改。

先决条件

  • MySQL 服务器。
  • 适当的 MySQL 用户权限。

程序

  • 1.检查log-bin选项是否已经打开:
// for MySql 5.x
mysql> SELECT variable_value as "BINARY LOGGING STATUS (log-bin) ::"
FROM information_schema.global_variables WHERE variable_name='log_bin';
// for MySql 8.x
mysql> SELECT variable_value as "BINARY LOGGING STATUS (log-bin) ::"
FROM performance_schema.global_variables WHERE variable_name='log_bin';
  • 2.如果为 OFF,请使用以下属性配置 MySQL 服务器配置文件,如下表所述:
server-id         = 223344 # Querying variable is called server_id, e.g. SELECT variable_value FROM information_schema.global_variables WHERE variable_name='server_id';
log_bin                     = mysql-bin
binlog_format               = ROW
binlog_row_image            = FULL
binlog_expire_logs_seconds  = 864000
  • 3.通过再次检查 binlog 状态来确认您的更改:
// for MySql 5.x
mysql> SELECT variable_value as "BINARY LOGGING STATUS (log-bin) ::"
FROM information_schema.global_variables WHERE variable_name='log_bin';
// for MySql 8.x
mysql> SELECT variable_value as "BINARY LOGGING STATUS (log-bin) ::"
FROM performance_schema.global_variables WHERE variable_name='log_bin';
  • 4.如果您在 Amazon RDS 上运行 MySQL,则必须为数据库实例启用自动备份才能进行二进制日志记录。如果数据库实例未配置为执行自动备份,则即使您应用前面步骤中描述的设置,二进制日志也会被禁用。

表 21. MySQL binlog 配置属性的描述

属性描述
server-id对于 MySQL 集群中的每个服务器和复制客户端,server-id 的值必须是唯一的。在 MySQL 连接器设置期间,Debezium 会为连接器分配一个唯一的服务器 ID。
log_binlog_bin 的值是 binlog 文件序列的基本名称。
binlog_formatbinlog-format 必须设置为 ROW 或 row。
binlog_row_imagebinlog_row_image 必须设置为 FULL 或 full。
binlog_expire_logs_secondsbinlog_expire_logs_seconds 对应于已弃用的系统变量expire_logs_days。这是自动删除 binlog 文件的秒数。默认值为 2592000,等于 30 天。设置该值以匹配您的环境的需求。

三、启用 GTID

全局事务标识符 (GTID) 唯一标识集群内服务器上发生的事务。虽然 Debezium MySQL 连接器不需要,但使用 GTID 可以简化复制,并使您能够更轻松地确认主服务器和副本服务器是否一致。

GTID 在 MySQL 5.6.5 及更高版本中可用。

先决条件

  • MySQL 服务器。
  • SQL 命令的基本知识。
  • 访问 MySQL 配置文件。

程序

  • 1.启用gtid_模式:
mysql> gtid_mode=ON
  • 2.启用enforce_gtid_consistency:
mysql> enforce_gtid_consistency=ON
  • 3.确认更改:
mysql> show global variables like '%GTID%';

结果

+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| enforce_gtid_consistency | ON    |
| gtid_mode                | ON    |
+--------------------------+-------+

表 22. GTID 选项说明

属性描述
gtid_mode布尔值,指定是否启用 MySQL 服务器的 GTID 模式。ON = enabled,OFF = disabled
enforce_gtid_consistency布尔值,指定服务器是否通过允许执行可以事务安全方式记录的语句来强制 GTID 一致性。使用 GTID 时必需。ON = enabled,OFF = disabled

四、配置会话超时

当为大型数据库创建初始一致快照时,您建立的连接可能会在读取表时超时。您可以通过在 MySQL 配置文件中配置 Interactive_timeout 和 wait_timeout 来防止此行为。

先决条件

  • MySQL 服务器。
  • SQL 命令的基本知识。
  • 访问 MySQL 配置文件。

程序

  • 1.配置interactive_timeout:
mysql> interactive_timeout=<duration-in-seconds>
  • 2.配置wait_timeout:
mysql> wait_timeout=<duration-in-seconds>

表 23. MySQL 会话超时选项说明

属性描述
interactive_timeout服务器在关闭交互连接之前等待交互连接上的活动的秒数。
wait_timeout服务器在关闭非交互式连接之前等待该连接上的活动的秒数。

五、启用查询日志事件

您可能希望查看每个二进制日志事件的原始 SQL 语句。在 MySQL 配置中启用 binlog_rows_query_log_events 选项或在 MariaDB 配置文件中启用 binlog_annotate_row_events 可以让您执行此操作。

此选项在 MySQL 5.6 及更高版本中可用。

先决条件

  • MySQL 服务器。
  • SQL 命令的基本知识。
  • 访问 MySQL 配置文件。

程序

  • 在 MySQL 中启用 binlog_rows_query_log_events 或在 MariaDB 中启用 binlog_annotate_row_events:
mysql> binlog_rows_query_log_events=ON
mariadb> binlog_annotate_row_events=ON

binlog_rows_query_log_events 或 binlog_annotate_row_events 设置为启用/禁用对在 binlog 条目中包含原始 SQL 语句的支持的值。

  • ON = enabled
  • OFF = disabled

六、验证二进制日志行值选项

MySQL的binlog_row_value_options参数是用于配置二进制日志(binlog)记录的行事件(row-based events)的选项。这些选项决定了binlog中记录的行事件的详细程度。

具体来说,binlog_row_value_options参数有以下取值:

  • minimal:只记录被修改的列的值,以及主键列的值(如果有主键)。

  • no_image:只记录被修改的列的值,不记录主键列的值。

  • full:记录所有列的值,包括未被修改的列的值。

这些选项的不同取值会影响binlog的大小和性能。通常情况下,使用minimal选项就可以满足大部分的需求,因为它可以记录被修改的列的值,同时又不会产生过多的日志记录。但是,在某些情况下,需要使用full选项来记录所有列的值,以便进行数据恢复或者审计操作。

检查 binlog_row_value_options 变量,并确保该值未设置为 PARTIAL_JSON,因为在这种情况下连接器可能无法使用 UPDATE 事件。

先决条件

  • MySQL 服务器。
  • SQL 命令的基本知识。
  • 访问 MySQL 配置文件。

程序

  • 1.检查当前变量值
mysql> show global variables where variable_name = 'binlog_row_value_options';
  • 2.结果
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| binlog_row_value_options |       |
+--------------------------+-------+
  • 3.如果值为 PARTIAL_JSON,请通过以下方式取消设置此变量:
mysql> set @@global.binlog_row_value_options="" ;

七、Debezium技术总结

更多Debezium技术请参考:

  • Debezium技术专栏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/768398.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vscode按键占用问题解决

Vscode按键占用 在使用vscode的过程中&#xff0c;官方按键 Ctrl . 按键可以提示修复代码中的问题&#xff0c;但是发现按了没有反应。 解决问题 首先确认vscode中是否设置了这个按键&#xff0c;默认设置了的系统输入法中是否有按键冲突了&#xff0c;打开输入法设置检查 …

es同义词配置规则

同义词配置有两种: 1,a>b: 通俗的来讲,就是尽管用户输入的是a,但是es在查询的是会转成b去搜索,">"左边的词全部会被右边的词替换。 2,a,b:通俗的来讲,就是不管用户输入的是a还是b,es在查询的是用a,或者b搜索.比如 保温杯,杯子,用户输入的是"保温杯"…

学习java第二十二天

IOC 容器具有依赖注入功能的容器&#xff0c;它可以创建对象&#xff0c;IOC 容器负责实例化、定位、配置应用程序中的对象及建立这些对象间的依赖。通常new一个实例&#xff0c;控制权由程序员控制&#xff0c;而"控制反转"是指new实例工作不由程序员来做而是交给Sp…

DNS服务器的分布式架构和集中式架构的区别

DNS服务器是域名系统的核心组件之一&#xff0c;用于解析域名和IP地址之间的映射关系。DNS服务器的架构形式有分布式和集中式两种模式。下面德迅云安全给您介绍DNS服务器的分布式架构和集中式架构的区别。 DNS服务器的分布式架构和集中式架构有什么区别&#xff1f; 1.分布式架…

[iOS]GCD(一)

[iOS]GCD(一) 文章目录 [iOS]GCD(一)GCD的概要GCD的APIDispatch Queuedispatch_queue_createMain Dispatch_set_target_queuedispatch_afterDispatch Groupdispatch_barrier_asyncdispatch_applydispatch_applydispatch_suspend/dispatch_resumeDispatch Semaphoredispatch_onc…

MQ高级篇---消息可靠性

MQ的一些常见问题 后面内容基于springboot 2.3.9.RELEASE 消息可靠性 生产者确认机制 在publisher微服务中application.yml中添加 spring:rabbitmq:publisher-confirm-type: correlatedpublisher-returns: truetemplate:mandatory: true每个RabbitTemplate只能配置一个Return…

【计算机网络】启程

&#x1f4dd;本文介绍 本文为计算机网路系列的开始篇&#xff0c;会介绍一下使用的书籍和自己做的思维导图。 &#x1f44b;作者简介&#xff1a;一个正在积极探索的本科生 &#x1f4f1;联系方式&#xff1a;943641266(QQ) &#x1f6aa;Github地址&#xff1a;https://githu…

Rust下载安装、卸载、版本切换、创建项目(包含指定版本的)

先声名一下&#xff0c;下面所说的版本号为xxxxx-x86_64-unknown-linux-gnu中xxxxx的部分。 下载安装 下载最新版本的Rust&#xff1a; curl --proto https --tlsv1.2 -sSf https://sh.rustup.rs | sh info: downloading installer重启shell 或者 按照提示 执行命令让环境变…

esp8266通讯与控制的思考

一、场景 定时将小灯的开关状态上传给公网服务器。公网服务器充当服务端角色&#xff0c;接收ESP8266发送的信息&#xff08;将小灯或温度传感器信息记录到MySql数据库中&#xff09;&#xff0c;并根据需要生成JSON指令来控制小灯或温度器的开关状态&#xff08;1表示高电平&…

每日一练:LeeCode-561、 数组拆分【数组+排序】

给定长度为 2n 的整数数组 nums &#xff0c;你的任务是将这些数分成 n 对, 例如 (a1, b1), (a2, b2), ..., (an, bn) &#xff0c;使得从 1 到 n 的 min(ai, bi) 总和最大。 返回该 最大总和 。 示例 1&#xff1a; 输入&#xff1a;nums [1,4,3,2] 输出&#xff1a;4 解释…

codeTop:二叉树最大深度

属于二叉树遍历的变形&#xff0c;这里使用DFS的递归方式 最大深度就是 max(左子树最大深度 ,右子树最大深度) 1&#xff0c; 而计算左/右子树最大深度可以用相同的算法。 public int maxDepth(TreeNode root) { if(root null){return 0; } int lh maxDepth(root.left); in…

ConcurrentHashMap 为什么是线程安全的?

1、典型回答 ConcurrentHashMap 在不同JDK 版本中&#xff0c;保证线程安全的手段是不同的&#xff0c;它主要分为以下两种情况&#xff1a; JDK 1.7 之前(包含JDK 1.7)&#xff0c;ConcurrentHashMap 主要是通过分段锁 (Segment Lock) 来保证线程安全的。而在JDK 1.8 之后(包…

【数据结构和算法初阶(C语言)】二叉树的链式结构--前、中、后序遍历实现详解,节点数目计算及oj题目详解---二叉树学习日记③

1.二叉树的链式存储 二叉树的链式存储结构是指&#xff0c;用链表来表示一棵二叉树&#xff0c;即用链来指示元素的逻辑关系。 通常的方法是 链表中每个结点由三个域组成&#xff0c;数据域和左右指针域&#xff0c;左右指针分别用来给出该结点左孩子和右孩子所 在的链结点的存…

Qt——2D画图

基础画图函数 矩形 painter.drawRect(50,50,200,100); 圆角矩形 painter.drawRoundRect(50,50,200,200,50,50); xRadius和yRadius分别以矩形宽度和高度的一半的百分比指定&#xff0c;并且应该在0.0到100.0的范围内 弧线 painter.drawArc(50,50,200,200, -90*16, 90*16);…

web渗透测试漏洞流程:红队攻防流程详细大纲

web渗透测试漏洞流程 红队攻防文章跳转大纲前期准备漏洞分析内网阶段内网域渗透持续控制数据收集报告与总结&#xff1a; 红队攻防文章跳转大纲 前期准备 确定目标 明确攻击的目标系统和范围&#xff0c;包括其网络拓扑结构、IP 地址段、域名信息等。 收集信息 通过多种手…

ubuntu18安装opensips3.4,开启ws/wss/http接口模块

、如果是centos 7安装则使用yum 命令。 添加库地址注意系统类型&#xff0c;选择对应的系统类型和版本 curl https://apt.opensips.org/opensips-org.gpg -o /usr/share/keyrings/opensips-org.gpg echo "deb [signed-by/usr/share/keyrings/opensips-org.gpg] https:/…

git-gitlab ssh key配置成功后,使用ssh clone仓库时提示需要输入密码

本文仅记录自己遇到的问题及解决方案 问题现象&#xff1a;使用http或者ssh clone仓库时&#xff0c;总是提示ssl或者需要输入密码的问题&#xff0c;报错如下&#xff1a; git clone http://10.21.2.177/metaworks/metaworks-digitalhuman.git 正克隆到 metaworks-digitalhu…

C++中拷贝对象时编译器做出的一些优化

目录 拷贝对象时编译器做出的一些优化 参数传递优化 返回值优化 拷贝对象时编译器做出的一些优化 &#x1f4cc; 下面的优化结果由编译器决定&#xff0c;不同的编译器优化结果可能不同&#xff0c;视具体情况而定 参数传递优化 在前面的explicit关键字部分提到过编译器…

neo4j所有关系只显示RELATION,而不显示具体的关系

当看r时&#xff0c;真正的关系在properties中的type里&#xff0c;而type为“RELATION” 造成这个的原因是&#xff1a; 在创建关系时&#xff0c;需要指定关系的类型&#xff0c;这是固定的&#xff0c;不能像属性那样从CSV文件的一个字段动态赋值。标准的Cypher查询语言不支…

人工智能之Tensorflow变量作用域

在TensoFlow中有两个作用域&#xff08;Scope&#xff09;&#xff0c;一个时name_scope ,另一个是variable_scope。variable_scope主要给variable_name加前缀&#xff0c;也可以给op_name加前缀&#xff1b;name_scope给op_name加前缀。 variable_scope 通过所给的名字创建或…