体验OceanBase 的binlog service

OceanBase对MySQL具备很好的兼容性。目前，已经发布了开源版的binlog service工具，该工具能够将OceanBase特有的clog模式转换成binlog模式，以便下游工具如canal、flink cdc等使用。今天，我们就来简单体验一下这个binlog service的功能，并利用mysql binlog工具进行解析，看看转换是否准确无误。

binlog service 依赖oblogproxy，是 oblogproxy 提供的一种服务模式，当 binlog_mode = true 时，则提供兼容原生 mysql binlog 的服务，包含相关sql、binlog文件生成及binlog dump服务，因此想要使用binlog service功能，需要下载oblogproxy，可在OceanBase官网进行下载：下载中心，找到 OceanBase日志代理服务 (OBLogProxy)

关于binlog service相关文档可以先在github上查看：binlog service文档

相关介绍

  • obproxy: ob 代理服务，sql 和 binlog 都将通过 obproxy 作为统一入口来访问 ob，其中的 binlog 包含了 binlog 相关的命令（如：show binlog events;）、binlog replication（即binlog复制协议）
  • oblogproxy: ob 日志代理服务，提供了 mysql binlog 的兼容能力(包含了 binlog 相关命令和 binlog replication)
  • bc: oblogproxy 中 binlog converter 子进程，通过 libobcdc 拉取和解析 clog，转换为 binlog 文件
  • bd: oblogproxy 中 binlog dumper 子进程，对下游（canal or flinkcdc or ...） binlog dump 请求提供 binlog events 订阅服务
  • bcm: oblogproxy 中 bc 进程的管理模块
  • bdm: oblogproxy 中 bd 进程的管理模块

整个架构图如下：oblogproxy通过连接集群的obproxy，获取集群日志信息，通过oblogproxy将其转换为binlog模式。下游的canal、flink cdc等，也是通过连接obproxy组件来消费binlog。

1702608197

相关限制

  • 目前binlog service功能，要求observer版本至少 >= 4.2.1，obproxy >= 4.2.1；
  • OB针对enum、set所实现的拓展语义不支持，比如set定义数支持超过64个、支持重复、enum支持插入未定义数据(比如'')等
  • varchar(65536)定义不支持
  • 不支持gis类型
  • 另外对于MySQL的一些DDL，存在一定的差异，可能导致解析出的binlog在MySQL不兼容，不过为解决这种问题observer做了兼容性支持，建议obproxy设置 init_sql 开启 _show_ddl_in_compat_mode ，开启后observer show create table输出会完全兼容mysql的语法，建议设置为租户级别

环境介绍

这里总共4台机器，分别安装一套3节点OceanBase集群，1个oblogproxy服务

IP角色
172.24.255.54oblogproxy
172.24.255.56OBServer、OBProxy
172.24.255.57OBServer
172.24.255.58OBServer

安装及配置

OBProxy配置

从上面的基本架构图可以看出，不论是oblogproxy还是canal、flink cdc，都是与obproxy进行交互，canal、flink cdc等不感知 oblogproxy（即真正提供的 binlog service 服务的组件），下游的请求是由 obproxy 转发给 observer 或 oblogproxy，

因此在 obproxy 上需要配置 oblogproxy 的服务地址。

# 连接到obproxy上，通过obproxy连接集群或者直连obproxy
[root@OB1 ~]# obclient -h172.24.255.56 -P2883 -uroot@sys#myoceanbase -pxxx -Doceanbase -A# 查询binlog server 地址，当前为空
obclient [oceanbase]> show proxyconfig like 'binlog_service_ip';
+-------------------+-------+-----------------------------------------+-------------+---------------+
| name              | value | info                                    | need_reboot | visible_level |
+-------------------+-------+-----------------------------------------+-------------+---------------+
| binlog_service_ip |       | binlog service ip, format ip1:sql_port1 | false       | SYS           |
+-------------------+-------+-----------------------------------------+-------------+---------------+
1 row in set (0.001 sec)# 配置binlog server 地址,地址形式为ip:port
obclient [oceanbase]> alter proxyconfig set binlog_service_ip="172.24.255.54:2983";
Query OK, 0 rows affected (0.004 sec)# 开启binlog服务的转发
obclient [oceanbase]> alter proxyconfig set enable_binlog_service='True';# 设置init_sql,可以设置通过该obproxy的session链接都在session级别设置一些系统变量
obclient [oceanbase]> alter proxyconfig set init_sql='set _show_ddl_in_compat_mode = 1;';
binlog service安装及启动

下载安装包，上传到服务器上，执行安装

[root@OB2 ~]# rpm -ivh oblogproxy-2.0.0-100000012023111521.el7.x86_64.rpm

默认安装家目录会在 /usr/local/oblogproxy

修改配置文件，配置文件为家目录下conf/conf.json

[root@OB2 ~]# cd /usr/local/oblogproxy
[root@OB2 oblogproxy]# vim conf/conf.json
# 主要修改下面几项内容，打开binlog，然后修改几个路径为绝对路径
"binlog_mode": true
"oblogreader_path": "/usr/local/oblogproxy/run"
"bin_path": "/usr/local/oblogproxy/bin"
"oblogreader_obcdc_ce_path_template": "/usr/local/oblogproxy/obcdc/obcdc-ce-%d.x-access/libobcdc.so"
"binlog_log_bin_basename": "/usr/local/oblogproxy/run"
"binlog_obcdc_ce_path_template": "/usr/local/oblogproxy/obcdc/obcdc-ce-%d.x-access/libobcdc.so"

其他相关配置内容，可参考binlog service文档

配置账户，这里因为账户和密码都需要加密，在配置文件中不能直接明文填写，所以需要调用config_sys函数，来对用户名和密码加密并替换conf.json文件中的ob_sys_username，ob_sys_password

[root@OB2 oblogproxy]# ./run.sh config_sys ${sys_usr} ${sys_pwd}
# 这里会提示要更新conf.json文件中的ob_sys_username，ob_sys_password，填y即可
DEPLOY_PATH : /usr/local/oblogproxy!!DANGER!! About to update logproxy conf/conf.json, Please confirm? [Y/n] y

注意，这里填写的用户名、密码，必须是sys租户的，例如root@sys#cluster_name，填写时需要用双引号将用户名密码括起来。

启动binlog service

# start 启动 oblogproxy 服务进程
[root@OB2 oblogproxy]# ./run.sh start

查看日志，看下是否有报错，日志在log目录下

[root@OB2 oblogproxy]# cat log/logproxy.log
[2023-12-06 15:51:34] [info] environmental.cpp(27): Max file descriptors: 655350
[2023-12-06 15:51:34] [info] environmental.cpp(34): Max processes/threads: 655360
[2023-12-06 15:51:34] [info] environmental.cpp(41): Core dump size: 18446744073709551615
[2023-12-06 15:51:34] [info] environmental.cpp(48): Maximum number of pending signals: 252872
[2023-12-06 15:51:34] [info] binlog_server.cpp(66): Start pull up all BC processes
[2023-12-06 15:51:34] [info] binlog_server.cpp(76): The current binlog converter [myoceanbase,obtest]is alive and the pull action is terminated
[2023-12-06 15:51:34] [info] binlog_server.cpp(76): The current binlog converter [myoceanbase,obtest]is alive and the pull action is terminated
[2023-12-06 15:51:34] [info] binlog_server.cpp(89): Finish to pull up 1 BC processes
[2023-12-06 15:51:34] [info] event_wrapper.cpp(43): Succeed to listen socket with port: 2983
[2023-12-06 15:51:34] [info] binlog_server.cpp(47): Start OceanBase binlog server on port 2983

配置binlog service

目前binlog service已经启动成功，但是需要指定获取哪个租户的binlog，需要登录到oblogproxy上，创建binlog订阅子进程，官网给出的具体语法如下：

CREATE BINLOG [IF NOT EXISTS] FOR TENANT `cluster`.`tenant` [TO USER `user` PASSWORD `pwd`] [FROM <timestamp>] WITH CLUSTER URL `<cluster url>`[, INITIAL_TRX_XID `ob_txn_id`, INITIAL_TRX_GTID_SEQ `gtid_seq`];-- 支持对binlog服务指定账户名与密码(用于订阅OB日志，4.x可以指定为业务租户)
[TO USER `user` PASSWORD `pwd`]-- 支持指定oceanbase的事务id与binlog的gitd做映射
-- INITIAL_TRX_XID: ob的事务id
-- INITIAL_TRX_GTID_SEQ: 映射的gitd seq
[, INITIAL_TRX_XID `ob_txn_id`, INITIAL_TRX_GTID_SEQ `gtid_seq`]-- 示例:
CREATE BINLOG FOR TENANT `cluster`.`tenant` TO USER `user` PASSWORD `pwd` FROM 1668339370000000 WITH CLUSTER URL 'cluster_url', SERVER UUID '2340778c-7464-11ed-a721-7cd30abc99b4', INITIAL_TRX_XID '97984179', INITIAL_TRX_GTID_SEQ '31';

上面几个参数的获取方式，连接到目标observer集群，执行：

timestamp：select time_to_usec(NOW());

clustet_url：show parameters like '%url%'

SERVER UUID: show global variables like '%uuid';

INITIAL_TRX_XID: select * from GV$OB_TRANSACTION_PARTICIPANTS;

INITIAL_TRX_GTID_SEQ: 1 # 第一次启动的话，这里可以随意指定一个数字

在第一次启动的时候，也可以不用指定时间戳、INITIAL_TRX_XID和INITIAL_TRX_GTID_SEQ，系统会自动进行配置，这里我执行启动的命令，并查看状态：

[root@OB2 oblogproxy]# mysql -A -c -h 127.0.0.1 -P 2983
MySQL [(none)]> CREATE BINLOG FOR TENANT `myoceanbase`.`obtest` TO USER `root` PASSWORD `xxxx` WITH CLUSTER URL 'http://172.24.255.53:8080/services?Action=ObRootServiceInfo&User_ID=alibaba&UID=ocpmaster&ObRegion=myoceanbase', SERVER UUID 'xxxx-xxx-xx-xx-xxxxxx';
MySQL [(none)]> SHOW BINLOG STATUS\G;
*************************** 1. row ***************************
cluster: myoceanbasetenant: obteststatus: {"binlog_files" :[{"binlog_name" : "mysql-bin.000001","binlog_size" : 178}],"client_id" : "/usr/local/oblogproxy/run/myoceanbase/obtest","cpu_status" :{"cpu_count" : 16,"cpu_used_ratio" : 0.12666244804859161},"disk_status" :{"disk_total_size_mb" : 503837,"disk_usage_size_process_mb" : 0,"disk_used_ratio" : 0.45975583791732788,"disk_used_size_mb" : 231642},"memory_status" :{"mem_total_size_mb" : 63238,"mem_used_ratio" : 0.0,"mem_used_size_mb" : 735},"network_status" :{"network_rx_bytes" : 0,"network_wx_bytes" : 0},"pid" : 7605
}
1 row in set (0.00 sec)

启动之后，可以看到订阅的子进程binlog_converter已经开启

1702608225

此时，在家目录下的run/myoceanbase/obtest/data/下面，就会自动生成mysql-bin文件

1702608245

至此，整个配置启动过程就已经完毕，源OceanBase集群的增删改查都可以抓取到，并写入到mysql-bin文件中

解析binlog

最后一步，我们尝试在源集群中写入数据，使用mysqlbinlog工具进行解析，看下是否解析正常

这里要求mysqlbinlog版本为Ver 3.4版本，对应的mysql版本大概为5.7.9

1702608266

这里在源端执行一个建表和插入数据，看下是否能解析出来

1702608280

解析结果

1702608301

以上是对OceanBase 的 binlog service做的一个简单测试，大家有兴趣的话，可以下载下来，实际测试和使用，有问题的话，也可以直接给官方提issue，其他相关命令，在github上也可以查到，后续在官网也会推出binlog service的文档。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/787890.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

RA8889/RA8876显示自定义ASCII字符方法

RA8889/RA8876显示自定义ASCII字符方法

本文介绍用户自己生成的ASCII字库如何通过RA8889/RA8876显示到液晶屏上。 先上一张实例效果图&#xff1a; 再上程序代码&#xff1a; int main(void) {unsigned short x,y;/* System Clocks Configuration */RCC_Configuration(); delay_init(72); GPIO_Configuration(); …
阅读更多...
转圈游戏（acwing）

转圈游戏（acwing）

题目描述&#xff1a; n 个小伙伴&#xff08;编号从 0 到 n−1&#xff09;围坐一圈玩游戏。 按照顺时针方向给 n 个位置编号&#xff0c;从 0 到 n−1。 最初&#xff0c;第 0 号小伙伴在第 0 号位置&#xff0c;第 1 号小伙伴在第 1 号位置&#xff0c;…
阅读更多...
Redis面试题10道

Redis面试题10道

1、什么是 Redis&#xff1f;简述它的优缺点&#xff1f; Redis 的全称是&#xff1a;Remote Dictionary.Server&#xff0c;本质上是一个 Key-Value 类型的内存数据库&#xff0c;很像 memcached&#xff0c;整个数据库统统加载在内存当中进行操作&#xff0c;定期通过异步操作…
阅读更多...
前端学习＜二＞CSS基础——17-CSS3的常见边框汇总

前端学习＜二＞CSS基础——17-CSS3的常见边框汇总

CSS3 常见边框汇总 <!DOCTYPE html><html lang"en"><head><meta charset"UTF-8"><title>CSS3 边框</title><style>body, ul, li, dl, dt, dd, h1, h2, h3, h4, h5 {margin: 0;padding: 0;}​body {background-c…
阅读更多...
治愈风景视频素材在哪找？日落风景、伤感风景、江南风景这里都有

治愈风景视频素材在哪找？日落风景、伤感风景、江南风景这里都有

在这个视频内容为王的时代&#xff0c;做个爆款视频好比烹饪一道米其林三星级大餐&#xff0c;少了那么一点儿神秘的调料&#xff0c;总觉得差了点味道。我&#xff0c;一个在视频剪辑战场上摸爬滚打多年的老兵&#xff0c;今天就来跟大家分享几个找素材的秘密武器&#xff0c;…
阅读更多...
C++_Vector的学习

C++_Vector的学习

1.概述 1. vector 是表示可变大小数组的序列容器。 2. vector 采用的连续存储空间来存储元素&#xff0c;可以采用下标对 vector 的元素进行访问&#xff0c;它的大小是可以动态改变的&#xff0c;而且它的大小会被容器自动处理。 3. vector使用动态分配数组来存储它的元素。…
阅读更多...
STM32应用开发——使用PWM+DMA驱动WS2812

STM32应用开发——使用PWM+DMA驱动WS2812

STM32应用开发——使用PWMDMA驱动WS2812 目录 STM32应用开发——使用PWMDMA驱动WS2812前言1 硬件介绍1.1 WS2812介绍1.1.1 芯片简介1.1.2 引脚描述1.1.3 工作原理1.1.4 时序1.1.5 传输协议 1.2 电路设计 2 软件编程2.1 软件原理2.2 测试代码2.2.1 底层驱动2.2.2 灯效应用 2.3 运…
阅读更多...
leetcode二叉树相关题目

leetcode二叉树相关题目

目录 二叉树的建立整数数组转二叉树Object数组转二叉树 二叉树的遍历leetcode94.二叉树的中序遍历leetcode144.二叉树的前序遍历 二叉树的建立 整数数组转二叉树 下面只是一个简单的示例&#xff0c;没考虑某个子树为空的情况。把{1, 2, 3, 21, 22, 31, 32} 转变为一个二叉树…
阅读更多...
新兴AI技术及其创业机会

新兴AI技术及其创业机会

量子计算与AI 量子计算是未来计算技术的前沿&#xff0c;它通过量子比特进行信息处理&#xff0c;相较于传统计算机&#xff0c;量子计算在处理复杂问题上有着天然的优势。将量子计算与AI结合&#xff0c;可以极大提升AI模型训练的效率和处理数据的能力。 创业机会&#xff1a…
阅读更多...
基于NXP的ISELED开发环境搭建

基于NXP的ISELED开发环境搭建

目录 前言一、获取S32K SDK ISELED driver二、安装S32K SDK ISELED driverISELED文件说明三、ISELED工程介绍方案框图：图形化界面配置注意事项前言 NXP S32K ISELED 32位Arm Cortex-M微控制器 (MCU) 包括一种全新的通信协议 (ISELED)，用于控制汽车和工业照明应用中的静态和动…
阅读更多...
简述前端开发全景：从基础到未来的语言与趋势解析

简述前端开发全景：从基础到未来的语言与趋势解析

前端开发概述 前端开发指的是创建网站或应用程序中用户可以直接看到和与之交互的部分。前端开发的主要目标是通过编写代码来制作用户界面&#xff0c;确保信息以易于理解和互动的方式展示给用户。 HTML和CSS HTML&#xff1a;HTML是构建网页的基础&#xff0c;负责定义网页的…
阅读更多...
系统IO函数接口

系统IO函数接口

目录 前言 一. man手册 1.1 man手册如何查询 1.2 man手册基础 二.系统IO函数接口 三.open打开文件夹 3.1 例1 open打开文件 3.2 open打开文件代码 3.3 例2 创建文件 四.write写文件 4.1 write写文件 五. read读文件 5.1 read读文件与偏移 5.2 偏移细节 5.3 read读文件代码 六.复…
阅读更多...
3.5网安学习第三阶段第五周回顾(个人学习记录使用)

3.5网安学习第三阶段第五周回顾(个人学习记录使用)

本周重点 ①SSRF服务器端请求伪造 ②序列化和反序列化 ③Vaudit代码审计 本周主要内容 ①SSRF服务器端请求伪造 一、概述 SSRF: server site request forgery (服务器端请求伪造)。 SSR: 服务端请求&#xff0c;A服务器通过函数向B服务器发送请求。 SSRF发生的前提条件…
阅读更多...
Flutter动画笔记---总结

Flutter动画笔记---总结

三种情况&#xff1a;第一种情况&#xff1a;隐式动画&#xff0c;全自动动画&#xff08;属于内部封装好了&#xff0c;只需要几行代码&#xff0c;就可以实现非常强大的效果&#xff09;第二种情况&#xff1a;显示动画&#xff0c;手动控制的动画&#xff08;提供自定义选择…
阅读更多...
【ARM 嵌入式 C 字符串系列 23 -- 返回从父字符串找到相同子字符串的个数】

【ARM 嵌入式 C 字符串系列 23 -- 返回从父字符串找到相同子字符串的个数】

请阅读【嵌入式开发学习必备专栏 】 文章目录 返回从父字符串找到相同子字符串的个数 返回从父字符串找到相同子字符串的个数 在 C 语言中&#xff0c;可以编写一个自定义函数来计算一个父字符串&#xff08;haystack&#xff09;中相同子字符串&#xff08;needle&#xff09…
阅读更多...
蓝桥杯备考随手记: practise04

蓝桥杯备考随手记: practise04

问题描述: 小明被不明势力劫持。后莫名其妙被扔到 X 星站再无问津。小明得知每天都有飞船飞往地球&#xff0c;但需要 1 元的船票&#xff0c;而他却身无分文。他决定在 X 星站打工。好心的老板答应包食宿&#xff0c;第 1 天给他 1 元钱。并且&#xff0c;以后的每一天都比前…
阅读更多...
《QT实用小工具·三》偏3D风格的异型窗体

《QT实用小工具·三》偏3D风格的异型窗体

1、概述 源码放在文章末尾 可以在窗体中点击鼠标左键进行图片切换&#xff0c;项目提供了一些图片素材&#xff0c;整体风格偏向于3D类型&#xff0c;也可以根据需求自己放置不同的图片。 下面是demo演示&#xff1a; 项目部分代码如下所示&#xff1a; 头文件部分&#xff…
阅读更多...
Linux安装Tomcat保姆级教程

Linux安装Tomcat保姆级教程

文章目录 前言一、安装JDK二、Tomcat下载三、Tomcat安装1.创建Tomcat的安装目录2.切换到Tomcat的安装目录3.上传Tomcat安装包4.解压缩5.切换到安装好的tomcat的bin目录6.启动tomcat7.网络请求测试 四、外部电脑访问nginx设置方法一&#xff1a;关闭防火墙方法二&#xff1a;添加…
阅读更多...
Java反射系列(3)：从spring反射工具ReflectionUtils说起

Java反射系列(3)：从spring反射工具ReflectionUtils说起

目录 传送门 兼容性引发的"血案" ReflectionUtils的原理 目的有三 ReflectionUtils的API使用 Method getAllDeclaredMethods findMethod invokeMethod Field getDeclaredFields findField getField makeAccessible Constructor accessibleConstructo…
阅读更多...
Spring IoCDI(2)

Spring IoCDI(2)

IoC详解 通过上面的案例, 我们已经知道了IoC和DI的基本操作, 接下来我们来系统地学习Spring IoC和DI的操作. 前面我们提到的IoC控制反转, 就是将对象的控制权交给Spring的IoC容器, 由IoC容器创建及管理对象. (也就是Bean的存储). Bean的存储 我们之前只讲到了Component注解…
阅读更多...
最新文章

Copyright @ 2022~2023