体验OceanBase 的binlog service

OceanBase对MySQL具备很好的兼容性。目前，已经发布了开源版的binlog service工具，该工具能够将OceanBase特有的clog模式转换成binlog模式，以便下游工具如canal、flink cdc等使用。今天，我们就来简单体验一下这个binlog service的功能，并利用mysql binlog工具进行解析，看看转换是否准确无误。

binlog service 依赖oblogproxy，是 oblogproxy 提供的一种服务模式，当 binlog_mode = true 时，则提供兼容原生 mysql binlog 的服务，包含相关sql、binlog文件生成及binlog dump服务，因此想要使用binlog service功能，需要下载oblogproxy，可在OceanBase官网进行下载：下载中心，找到 OceanBase日志代理服务 (OBLogProxy)

关于binlog service相关文档可以先在github上查看：binlog service文档

相关介绍

  • obproxy: ob 代理服务，sql 和 binlog 都将通过 obproxy 作为统一入口来访问 ob，其中的 binlog 包含了 binlog 相关的命令（如：show binlog events;）、binlog replication（即binlog复制协议）
  • oblogproxy: ob 日志代理服务，提供了 mysql binlog 的兼容能力(包含了 binlog 相关命令和 binlog replication)
  • bc: oblogproxy 中 binlog converter 子进程，通过 libobcdc 拉取和解析 clog，转换为 binlog 文件
  • bd: oblogproxy 中 binlog dumper 子进程，对下游（canal or flinkcdc or ...） binlog dump 请求提供 binlog events 订阅服务
  • bcm: oblogproxy 中 bc 进程的管理模块
  • bdm: oblogproxy 中 bd 进程的管理模块

整个架构图如下：oblogproxy通过连接集群的obproxy，获取集群日志信息，通过oblogproxy将其转换为binlog模式。下游的canal、flink cdc等，也是通过连接obproxy组件来消费binlog。

1702608197

相关限制

  • 目前binlog service功能，要求observer版本至少 >= 4.2.1，obproxy >= 4.2.1；
  • OB针对enum、set所实现的拓展语义不支持，比如set定义数支持超过64个、支持重复、enum支持插入未定义数据(比如'')等
  • varchar(65536)定义不支持
  • 不支持gis类型
  • 另外对于MySQL的一些DDL，存在一定的差异，可能导致解析出的binlog在MySQL不兼容，不过为解决这种问题observer做了兼容性支持，建议obproxy设置 init_sql 开启 _show_ddl_in_compat_mode ，开启后observer show create table输出会完全兼容mysql的语法，建议设置为租户级别

环境介绍

这里总共4台机器，分别安装一套3节点OceanBase集群，1个oblogproxy服务

IP角色
172.24.255.54oblogproxy
172.24.255.56OBServer、OBProxy
172.24.255.57OBServer
172.24.255.58OBServer

安装及配置

OBProxy配置

从上面的基本架构图可以看出，不论是oblogproxy还是canal、flink cdc，都是与obproxy进行交互，canal、flink cdc等不感知 oblogproxy（即真正提供的 binlog service 服务的组件），下游的请求是由 obproxy 转发给 observer 或 oblogproxy，

因此在 obproxy 上需要配置 oblogproxy 的服务地址。

# 连接到obproxy上，通过obproxy连接集群或者直连obproxy
[root@OB1 ~]# obclient -h172.24.255.56 -P2883 -uroot@sys#myoceanbase -pxxx -Doceanbase -A# 查询binlog server 地址，当前为空
obclient [oceanbase]> show proxyconfig like 'binlog_service_ip';
+-------------------+-------+-----------------------------------------+-------------+---------------+
| name              | value | info                                    | need_reboot | visible_level |
+-------------------+-------+-----------------------------------------+-------------+---------------+
| binlog_service_ip |       | binlog service ip, format ip1:sql_port1 | false       | SYS           |
+-------------------+-------+-----------------------------------------+-------------+---------------+
1 row in set (0.001 sec)# 配置binlog server 地址,地址形式为ip:port
obclient [oceanbase]> alter proxyconfig set binlog_service_ip="172.24.255.54:2983";
Query OK, 0 rows affected (0.004 sec)# 开启binlog服务的转发
obclient [oceanbase]> alter proxyconfig set enable_binlog_service='True';# 设置init_sql,可以设置通过该obproxy的session链接都在session级别设置一些系统变量
obclient [oceanbase]> alter proxyconfig set init_sql='set _show_ddl_in_compat_mode = 1;';
binlog service安装及启动

下载安装包，上传到服务器上，执行安装

[root@OB2 ~]# rpm -ivh oblogproxy-2.0.0-100000012023111521.el7.x86_64.rpm

默认安装家目录会在 /usr/local/oblogproxy

修改配置文件，配置文件为家目录下conf/conf.json

[root@OB2 ~]# cd /usr/local/oblogproxy
[root@OB2 oblogproxy]# vim conf/conf.json
# 主要修改下面几项内容，打开binlog，然后修改几个路径为绝对路径
"binlog_mode": true
"oblogreader_path": "/usr/local/oblogproxy/run"
"bin_path": "/usr/local/oblogproxy/bin"
"oblogreader_obcdc_ce_path_template": "/usr/local/oblogproxy/obcdc/obcdc-ce-%d.x-access/libobcdc.so"
"binlog_log_bin_basename": "/usr/local/oblogproxy/run"
"binlog_obcdc_ce_path_template": "/usr/local/oblogproxy/obcdc/obcdc-ce-%d.x-access/libobcdc.so"

其他相关配置内容，可参考binlog service文档

配置账户，这里因为账户和密码都需要加密，在配置文件中不能直接明文填写，所以需要调用config_sys函数，来对用户名和密码加密并替换conf.json文件中的ob_sys_username，ob_sys_password

[root@OB2 oblogproxy]# ./run.sh config_sys ${sys_usr} ${sys_pwd}
# 这里会提示要更新conf.json文件中的ob_sys_username，ob_sys_password，填y即可
DEPLOY_PATH : /usr/local/oblogproxy!!DANGER!! About to update logproxy conf/conf.json, Please confirm? [Y/n] y

注意，这里填写的用户名、密码，必须是sys租户的，例如root@sys#cluster_name，填写时需要用双引号将用户名密码括起来。

启动binlog service

# start 启动 oblogproxy 服务进程
[root@OB2 oblogproxy]# ./run.sh start

查看日志，看下是否有报错，日志在log目录下

[root@OB2 oblogproxy]# cat log/logproxy.log
[2023-12-06 15:51:34] [info] environmental.cpp(27): Max file descriptors: 655350
[2023-12-06 15:51:34] [info] environmental.cpp(34): Max processes/threads: 655360
[2023-12-06 15:51:34] [info] environmental.cpp(41): Core dump size: 18446744073709551615
[2023-12-06 15:51:34] [info] environmental.cpp(48): Maximum number of pending signals: 252872
[2023-12-06 15:51:34] [info] binlog_server.cpp(66): Start pull up all BC processes
[2023-12-06 15:51:34] [info] binlog_server.cpp(76): The current binlog converter [myoceanbase,obtest]is alive and the pull action is terminated
[2023-12-06 15:51:34] [info] binlog_server.cpp(76): The current binlog converter [myoceanbase,obtest]is alive and the pull action is terminated
[2023-12-06 15:51:34] [info] binlog_server.cpp(89): Finish to pull up 1 BC processes
[2023-12-06 15:51:34] [info] event_wrapper.cpp(43): Succeed to listen socket with port: 2983
[2023-12-06 15:51:34] [info] binlog_server.cpp(47): Start OceanBase binlog server on port 2983

配置binlog service

目前binlog service已经启动成功，但是需要指定获取哪个租户的binlog，需要登录到oblogproxy上，创建binlog订阅子进程，官网给出的具体语法如下：

CREATE BINLOG [IF NOT EXISTS] FOR TENANT `cluster`.`tenant` [TO USER `user` PASSWORD `pwd`] [FROM <timestamp>] WITH CLUSTER URL `<cluster url>`[, INITIAL_TRX_XID `ob_txn_id`, INITIAL_TRX_GTID_SEQ `gtid_seq`];-- 支持对binlog服务指定账户名与密码(用于订阅OB日志，4.x可以指定为业务租户)
[TO USER `user` PASSWORD `pwd`]-- 支持指定oceanbase的事务id与binlog的gitd做映射
-- INITIAL_TRX_XID: ob的事务id
-- INITIAL_TRX_GTID_SEQ: 映射的gitd seq
[, INITIAL_TRX_XID `ob_txn_id`, INITIAL_TRX_GTID_SEQ `gtid_seq`]-- 示例:
CREATE BINLOG FOR TENANT `cluster`.`tenant` TO USER `user` PASSWORD `pwd` FROM 1668339370000000 WITH CLUSTER URL 'cluster_url', SERVER UUID '2340778c-7464-11ed-a721-7cd30abc99b4', INITIAL_TRX_XID '97984179', INITIAL_TRX_GTID_SEQ '31';

上面几个参数的获取方式，连接到目标observer集群，执行：

timestamp：select time_to_usec(NOW());

clustet_url：show parameters like '%url%'

SERVER UUID: show global variables like '%uuid';

INITIAL_TRX_XID: select * from GV$OB_TRANSACTION_PARTICIPANTS;

INITIAL_TRX_GTID_SEQ: 1 # 第一次启动的话，这里可以随意指定一个数字

在第一次启动的时候，也可以不用指定时间戳、INITIAL_TRX_XID和INITIAL_TRX_GTID_SEQ，系统会自动进行配置，这里我执行启动的命令，并查看状态：

[root@OB2 oblogproxy]# mysql -A -c -h 127.0.0.1 -P 2983
MySQL [(none)]> CREATE BINLOG FOR TENANT `myoceanbase`.`obtest` TO USER `root` PASSWORD `xxxx` WITH CLUSTER URL 'http://172.24.255.53:8080/services?Action=ObRootServiceInfo&User_ID=alibaba&UID=ocpmaster&ObRegion=myoceanbase', SERVER UUID 'xxxx-xxx-xx-xx-xxxxxx';
MySQL [(none)]> SHOW BINLOG STATUS\G;
*************************** 1. row ***************************
cluster: myoceanbasetenant: obteststatus: {"binlog_files" :[{"binlog_name" : "mysql-bin.000001","binlog_size" : 178}],"client_id" : "/usr/local/oblogproxy/run/myoceanbase/obtest","cpu_status" :{"cpu_count" : 16,"cpu_used_ratio" : 0.12666244804859161},"disk_status" :{"disk_total_size_mb" : 503837,"disk_usage_size_process_mb" : 0,"disk_used_ratio" : 0.45975583791732788,"disk_used_size_mb" : 231642},"memory_status" :{"mem_total_size_mb" : 63238,"mem_used_ratio" : 0.0,"mem_used_size_mb" : 735},"network_status" :{"network_rx_bytes" : 0,"network_wx_bytes" : 0},"pid" : 7605
}
1 row in set (0.00 sec)

启动之后，可以看到订阅的子进程binlog_converter已经开启

1702608225

此时，在家目录下的run/myoceanbase/obtest/data/下面，就会自动生成mysql-bin文件

1702608245

至此，整个配置启动过程就已经完毕，源OceanBase集群的增删改查都可以抓取到，并写入到mysql-bin文件中

解析binlog

最后一步，我们尝试在源集群中写入数据，使用mysqlbinlog工具进行解析，看下是否解析正常

这里要求mysqlbinlog版本为Ver 3.4版本，对应的mysql版本大概为5.7.9

1702608266

这里在源端执行一个建表和插入数据，看下是否能解析出来

1702608280

解析结果

1702608301

以上是对OceanBase 的 binlog service做的一个简单测试，大家有兴趣的话，可以下载下来，实际测试和使用，有问题的话，也可以直接给官方提issue，其他相关命令，在github上也可以查到，后续在官网也会推出binlog service的文档。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/787890.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

RA8889/RA8876显示自定义ASCII字符方法

RA8889/RA8876显示自定义ASCII字符方法

本文介绍用户自己生成的ASCII字库如何通过RA8889/RA8876显示到液晶屏上。 先上一张实例效果图&#xff1a; 再上程序代码&#xff1a; int main(void) {unsigned short x,y;/* System Clocks Configuration */RCC_Configuration(); delay_init(72); GPIO_Configuration(); …
阅读更多...
转圈游戏（acwing）

转圈游戏（acwing）

题目描述&#xff1a; n 个小伙伴&#xff08;编号从 0 到 n−1&#xff09;围坐一圈玩游戏。 按照顺时针方向给 n 个位置编号&#xff0c;从 0 到 n−1。 最初&#xff0c;第 0 号小伙伴在第 0 号位置&#xff0c;第 1 号小伙伴在第 1 号位置&#xff0c;…
阅读更多...
前端学习＜二＞CSS基础——17-CSS3的常见边框汇总

前端学习＜二＞CSS基础——17-CSS3的常见边框汇总

CSS3 常见边框汇总 <!DOCTYPE html><html lang"en"><head><meta charset"UTF-8"><title>CSS3 边框</title><style>body, ul, li, dl, dt, dd, h1, h2, h3, h4, h5 {margin: 0;padding: 0;}​body {background-c…
阅读更多...
治愈风景视频素材在哪找？日落风景、伤感风景、江南风景这里都有

治愈风景视频素材在哪找？日落风景、伤感风景、江南风景这里都有

在这个视频内容为王的时代&#xff0c;做个爆款视频好比烹饪一道米其林三星级大餐&#xff0c;少了那么一点儿神秘的调料&#xff0c;总觉得差了点味道。我&#xff0c;一个在视频剪辑战场上摸爬滚打多年的老兵&#xff0c;今天就来跟大家分享几个找素材的秘密武器&#xff0c;…
阅读更多...
STM32应用开发——使用PWM+DMA驱动WS2812

STM32应用开发——使用PWM+DMA驱动WS2812

STM32应用开发——使用PWMDMA驱动WS2812 目录 STM32应用开发——使用PWMDMA驱动WS2812前言1 硬件介绍1.1 WS2812介绍1.1.1 芯片简介1.1.2 引脚描述1.1.3 工作原理1.1.4 时序1.1.5 传输协议 1.2 电路设计 2 软件编程2.1 软件原理2.2 测试代码2.2.1 底层驱动2.2.2 灯效应用 2.3 运…
阅读更多...
leetcode二叉树相关题目

leetcode二叉树相关题目

目录 二叉树的建立整数数组转二叉树Object数组转二叉树 二叉树的遍历leetcode94.二叉树的中序遍历leetcode144.二叉树的前序遍历 二叉树的建立 整数数组转二叉树 下面只是一个简单的示例&#xff0c;没考虑某个子树为空的情况。把{1, 2, 3, 21, 22, 31, 32} 转变为一个二叉树…
阅读更多...
系统IO函数接口

系统IO函数接口

目录 前言 一. man手册 1.1 man手册如何查询 1.2 man手册基础 二.系统IO函数接口 三.open打开文件夹 3.1 例1 open打开文件 3.2 open打开文件代码 3.3 例2 创建文件 四.write写文件 4.1 write写文件 五. read读文件 5.1 read读文件与偏移 5.2 偏移细节 5.3 read读文件代码 六.复…
阅读更多...
3.5网安学习第三阶段第五周回顾(个人学习记录使用)

3.5网安学习第三阶段第五周回顾(个人学习记录使用)

本周重点 ①SSRF服务器端请求伪造 ②序列化和反序列化 ③Vaudit代码审计 本周主要内容 ①SSRF服务器端请求伪造 一、概述 SSRF: server site request forgery (服务器端请求伪造)。 SSR: 服务端请求&#xff0c;A服务器通过函数向B服务器发送请求。 SSRF发生的前提条件…
阅读更多...
《QT实用小工具·三》偏3D风格的异型窗体

《QT实用小工具·三》偏3D风格的异型窗体

1、概述 源码放在文章末尾 可以在窗体中点击鼠标左键进行图片切换&#xff0c;项目提供了一些图片素材&#xff0c;整体风格偏向于3D类型&#xff0c;也可以根据需求自己放置不同的图片。 下面是demo演示&#xff1a; 项目部分代码如下所示&#xff1a; 头文件部分&#xff…
阅读更多...
Linux安装Tomcat保姆级教程

Linux安装Tomcat保姆级教程

文章目录 前言一、安装JDK二、Tomcat下载三、Tomcat安装1.创建Tomcat的安装目录2.切换到Tomcat的安装目录3.上传Tomcat安装包4.解压缩5.切换到安装好的tomcat的bin目录6.启动tomcat7.网络请求测试 四、外部电脑访问nginx设置方法一&#xff1a;关闭防火墙方法二&#xff1a;添加…
阅读更多...
Java反射系列(3)：从spring反射工具ReflectionUtils说起

Java反射系列(3)：从spring反射工具ReflectionUtils说起

目录 传送门 兼容性引发的"血案" ReflectionUtils的原理 目的有三 ReflectionUtils的API使用 Method getAllDeclaredMethods findMethod invokeMethod Field getDeclaredFields findField getField makeAccessible Constructor accessibleConstructo…
阅读更多...
Spring IoCDI(2)

Spring IoCDI(2)

IoC详解 通过上面的案例, 我们已经知道了IoC和DI的基本操作, 接下来我们来系统地学习Spring IoC和DI的操作. 前面我们提到的IoC控制反转, 就是将对象的控制权交给Spring的IoC容器, 由IoC容器创建及管理对象. (也就是Bean的存储). Bean的存储 我们之前只讲到了Component注解…
阅读更多...
vscode安装

vscode安装

&#x1f308;个人主页&#xff1a;Rookie Maker &#x1f3c6;&#x1f3c6;关注博主&#xff0c;随时获取更多关于IT的优质内容&#xff01;&#x1f3c6;&#x1f3c6; &#x1f600;欢迎来到小田代码世界~ &#x1f601; 喜欢的小伙伴记得一键三连哦 ૮(˶ᵔ ᵕ ᵔ˶)ა …
阅读更多...
商场促销--策略模式

商场促销--策略模式

1.1 商场收银软件 package com.lhx.design.pattern.test;import java.util.Scanner;public class Test {public static void main(String[] args){System.out.println("**********************************************"); System.out.println("《大话设计模式…
阅读更多...
vue3鼠标向下滑动，导航条改变背景颜色和logo的封装

vue3鼠标向下滑动，导航条改变背景颜色和logo的封装

代码中使用了element-plus组件&#xff0c;需先安装 向下滑动前 向下滑动后&#xff08;改变了logo 字体 背景颜色&#xff09; <script lang"ts" setup> import router from /router; import { ArrowDown } from element-plus/icons-vue import { ref, …
阅读更多...
【tensorflow框架神经网络实现鸢尾花分类—优化器】

【tensorflow框架神经网络实现鸢尾花分类—优化器】

文章目录 1、前言2、神经网络参数优化器2.1、SGD2.2、SGDM2.3、Adagrad2.4、RMSProp2.5、Adam 3、实验对比不同优化器4、结果对比 1、前言 此前&#xff0c;在【tensorflow框架神经网络实现鸢尾花分类】一文中使用梯度下降算法SGD&#xff0c;对权重 w w w和偏置 b b b进行更新…
阅读更多...
3.写一个char类型的字符数组，对该数组访问越界时抛出异常，并做处理。

3.写一个char类型的字符数组，对该数组访问越界时抛出异常，并做处理。

#include <iostream>using namespace std;char arr[10]"12345678"; void show(int i) {if(i>10){throw int(2);}cout << arr[i] <<endl; } int main() {int i;cin >> i;try {show(i);} catch (int) {cout << "越界" <…
阅读更多...
【Web】记录Polar靶场＜困难＞难度题一遍过

【Web】记录Polar靶场＜困难＞难度题一遍过

目录 上传 PHP是世界上最好的语言 非常好绕的命令执行 这又是一个上传 网站被黑 flask_pin veryphp 毒鸡汤 upload tutu Unserialize_Escape 自由的文件上传系统​​​​​​​ ezjava 苦海 你想逃也逃不掉 safe_include CB链 phar PHP_Deserializatio…
阅读更多...
Centos7环境下安装MySQL8详细教程

Centos7环境下安装MySQL8详细教程

1、下载mysql安装包 2、检查是否安装过mysql ps:因为以前用yum安装过&#xff0c;所以先用yum卸载。如果不是此方式或者没安装过则跳过 [rootlocalhost ~]# yum remove mysql 已加载插件&#xff1a;fastestmirror 参数 mysql 没有匹配 不删除任何软件包 查看是否有mysql依赖 …
阅读更多...
[顶级思维] 冥冥之中一切都有定数！

[顶级思维] 冥冥之中一切都有定数！

阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023