springboot3 连接 oceanbase + logproxy数据同步到redis

我这用的是 社区版的 单机, rocky liunx 安装oceanbase

注意事项:

logproxy 是 CDC 模式 ,   springboot 可以直接订阅

canal 是 binlog模式,   canal 订阅 logproxy, springboot 订阅 canal

logproxy 也可以转  binlog

大数据量跟高频率推荐  binlog

1: oceanbase 下载地址:

OceanBase分布式数据库-海量数据 笔笔算数

2: 安装 obd web 界面安装

 文档地址:

OceanBase分布式数据库-海量数据 笔笔算数

tar -xzf oceanbase-all-in-one-*.tar.gz
cd oceanbase-all-in-one/bin/
./install.sh
source ~/.oceanbase-all-in-one/bin/env.sh
obd web

obd 集群命令
https://www.oceanbase.com/docs/community-obd-cn-10000000001690699

# 查看集群列表
obd cluster list

# 查看集群状态,以部署名为 demo为例
obd cluster display demo

# 停止运行中的集群,以部署名为 demo为例
obd cluster stop demo

# 销毁已部署的集群,以部署名为 demo 为例
obd cluster destroy demo

启动 ob  demo = 名称
obd cluster restart demo

3: 下载 logproxy

   Releases · oceanbase/oblogproxy · GitHub

4: 安装 logproxy

文档地址OceanBase分布式数据库-海量数据 笔笔算数

下载完成后,通过如下命令进行安装:

rpm -i oblogproxy-{version}.{arch}.rpm

项目安装默认为 /usr/local/oblogproxy

5: 配置和启动 logproxy

 注意这里配置的用户, sys下新建租户, 有 且必须具备 sys 租户下 OceanBase 数据库的读权限。就是sys下新建租户, 授权OceanBase  的读权限给这个新建的租户

先配置执行 sys 新建的 用户名密码 

sh run.sh config_sys  sys passwd

cd /usr/local/oblogproxy/

./run.sh start / stop

   

6: 代码实现:

OceanBase分布式数据库-海量数据 笔笔算数

<dependency>
  <groupId>com.oceanbase.logclient</groupId>
  <artifactId>logproxy-client</artifactId>
  <version>1.1.0</version>
</dependency>
 

ObReaderConfig config = new ObReaderConfig();
// 设置OceanBase root server 地址列表,格式为(可以支持多个,用';'分隔):ip1:rpc_port1:sql_port1;ip2:rpc_port2:sql_port2
config.setRsList("xxx.xxx.xxx.1:2882:2881;xxx.xxx.xxx.2:2882:2881");
// 设置用户名和密码(非系统租户)
config.setUsername("r***");  这里可以直接用数据库的租户和密码
config.setPassword("****");
// 设置启动位点(UNIX时间戳,单位s), 0表示从当前时间启动。
config.setStartTimestamp(0L);
// 设置订阅表白名单,格式为:tenant.db.table, '*'表示通配.
config.setTableWhiteList("sys.*.*");  sys是租户,一般会自己新建一个租户存放数据库如 demo.*.*// 指定oblogproxy服务地址,创建实例.
LogProxyClient client = new LogProxyClient("xxx.xxx.xxx.1", 2983, config);
// 添加 RecordListener
client.addListener(new RecordListener() {@Overridepublic void notify(LogMessage message){// 处理消息if(StringUtils.isBlank(message.getTableName())){return;}if(!tableName.contains(message.getTableName())){return;}// 处理消息switch (message.getOpt()) {case INSERT:insertSql(message.getFieldList(), message.getTableName());break;case UPDATE:updateSql(message.getFieldList(), message.getTableName());break;case DELETE:deleteSql(message.getFieldList(), message.getTableName());break;default:break;}}@Overridepublic void onException(LogProxyClientException e) {// 处理错误if (e.needStop()) {// 不可恢复异常,需要停止Clientclient.stop();}}
});// 启动
client.start();
client.join();//新增的SQLprivate void insertSql(List<DataMessage.Record.Field> list, String tableName) {if (CollectionUtils.isEmpty(list)) {return;}list 就是行数据, 可以查看对象看看具体的信息getFieldname() 字段名getValue().toString(CommonConstant.UTF8MB4)  字段值}

7: 程序启动后 可以观察 程序的打印:

 fail  auth  就是 logproxy 的 sh run.sh config_sys sys passwd 这个命令配置的 用户名密码不对

如下表示连接和 订阅成功

logproxy 日志打印:

cd /usr/local/oblogproxy/

tail -f log/logproxy.log 

只要

1: sh run.sh config_sys sys passwd 这里是 sys下新建的租户 用户名和密码正确

2:config.setUsername("r***");  这里可以直接用数据库的租户和密码
config.setPassword("****");

就没问题了

sys 系统租户,

ocp 管理用的

demo 自己新建的, 用来创建数据库 的  , (新建数据库,用户名,密码)

config.setUsername("r***") 就是这个数据库的用户名和密码

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/34436.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

嵌入式实验---实验七 SPI通信实验

一、实验目的 1、掌握STM32F103SPI通信程序设计流程&#xff1b; 2、熟悉STM32固件库的基本使用。 二、实验原理 1、使用STM32F103R6通过74HC595控制一位LID数码管&#xff0c;实现以下两个要求&#xff1a; &#xff08;1&#xff09;数码管从0到9循环显示&#xff1b; …

无人机巡检小羊仿真

详细视频地址 仿真效果 可视化三维仿真 gazebo物理仿真 px4 飞控仿真 仿qgc简易地面站 详细视频地址

2024.06.22【读书笔记】丨生物信息学与功能基因组学(第十八章 人类疾病 第一部分)【AI测试版】

第一部分:人类遗传疾病的分子基础 章节标题:【读书笔记】丨生物信息学与功能基因组学(第十八章 人类疾病 第一部分) 摘要: 第十八章深入探讨了人类遗传疾病的分子基础,强调了DNA变异在疾病发生中的核心作用。疾病的分子机制不仅与个体的适应性有关,而且与进化过程紧密…

Feign Client超时时间设置不生效问题

在使用Feign Client时&#xff0c;可以通过两种方式来设置超时时间&#xff1a; 针对整个Feign Client设置超时时间 可以在Feign Client的配置类中通过修改Request.Options对象来设置超时时间。Request.Options对象有两个属性&#xff0c;connectTimeoutMillis用于设置连接超…

计算机组成原理 | CPU子系统(1)基本概述

基本结构模型 运算与缓存部件 数据寄存部件 PSW不是很清楚 存储器是什么&#xff1f;属于那个结构里&#xff1f; 时序处理部件 cpu是大脑&#xff0c;控制器是神经元 ①通过硬件产生控制信号 ②通过软件产生控制信号 外频&#xff08;系统时钟信号&#xff09;&#xff0c;…

我是如何在markdown编辑器中完成视频的插入和播放的

如果你有更好用的编辑器组件&#xff0c;请一定推荐给我!!!&#xff08;最好附带使用说明&#x1f913;️&#xff09; 介绍 在开发一个社区页面的时候&#xff0c;需要完成发帖、浏览帖子的能力。这里考虑接入markdown编辑器进行开发&#xff0c;也符合大多数用户的习惯。 …

板凳--------第20章-信号:基本概念1

tlpi_hdr.h头文件使用及设置 liao__ran 于 2020-09-29 15:12:01 发布 阅读量1.6k 收藏 5 点赞数 1 分类专栏&#xff1a; linux系统编程手册 版权 linux系统编程手册 专栏收录该内容 7 篇文章 1 订阅 订阅专栏 使用的头文件&#xff0c;主要如下&#xff1a; ename.c.inc erro…

7.XSS获取键盘记录(存储型xss)

什么是跨域 http:// www . xyz.com : 8080 / script/test.js 协议 子域名 主域名 端口 资源地址 当协议、主机&#xff08;主域名&#xff0c;子域名&#xff09;、端口中的任意一个不相同时&#xff0c;称为不同域 我们把不同的域之间请求数据的操作&#xff0c;成为跨域操作…

MOC和MCS通讯流程分析

半导体行业-SECS/GEM协议 半导体设备通讯SECS协议是由国际半导体设备与材料协会&#xff08;SEMI&#xff09;的会员一起构建的连接性标准。它最初是为了在半导体/电子行业的自动化中实现设备与主机系统之间的通信而制定的。 SECS/GEM不仅允许客户查看设备的功能&#xff0c;…

React 自定义 Hook

假如有两个组件都需要获取网络状态&#xff0c;我们可以取逻辑到自定义 Hook 中&#xff0c;避免代码重复 import { useOnlineStatus } from ./useOnlineStatus.js;function StatusBar() {const isOnline useOnlineStatus();return <h1>{isOnline ? ✅ Online : ❌ Dis…

【栈与队列】前k个高频元素

题目&#xff1a;给你一个整数数组 nums 和一个整数 k &#xff0c;请你返回其中出现频率前 k 高的元素。你可以按 任意顺序 返回答案。 分析&#xff1a;首先我们需要计算数组中元素出现的频率&#xff0c;前几篇文章讲解了哈希表的应用&#xff0c;所以这里我们很容易想到用…

GandCrab5.2勒索病毒复现

GandCrab第一代勒索病毒首次出现于2018年1月&#xff0c;后面经历了五个大版本的更新迭代&#xff0c;该系列病毒特征是采用RSAAES加密算法&#xff0c;从算法上分析解密难度较大&#xff0c;会将系统中的大部分文件加密为随机后缀名的文件&#xff0c;然后对用户进行勒索。本实…

8.12 矢量图层面要素单一符号使用六(SVG填充)

文章目录 前言SVG填充&#xff08;SVG fill&#xff09;QGis设置面符号为SVG填充&#xff08;SVG fill&#xff09;SVG填充&#xff08;SVG fill&#xff09; 总结 前言 本章介绍矢量图层线要素单一符号中使用SVG填充&#xff08;SVG fill&#xff09;的使用说明&#xff1a;文…

ARM相关理论知识

一、计算机的组成 1.输入设备&#xff1a;将数据与程序转换成计算机能够识别&#xff0c;存储&#xff0c;运算的形式&#xff0c;输送到计算机中。 2.输出设备&#xff1a;将计算机对程序和数据的运算结果输送到计算机外部设备 3.控制器&#xff1a;由程序技术器&#xff0…

SpringMVC系列十: 中文乱码处理与JSON处理

文章目录 中文乱码处理自定义中文乱码过滤器Spring提供的过滤器处理中文 处理json和HttpMessageConverter<T>处理JSON-ResponseBody处理JSON-RequestBody处理JSON-注意事项和细节HttpMessageConverter<T\>文件下载-ResponseEntity<T\>作业布置 上一讲, 我们学…

nginx配置代理ws协议

要在 Nginx 中配置 WebSocket 代理&#xff08;ws 协议&#xff09;&#xff0c;你需要确保 Nginx 的版本至少是1.3.13&#xff0c;因为较早的版本不支持 WebSocket。以下是一个基本的 Nginx 配置示例&#xff0c;用于代理 WebSocket 连接&#xff1a; http {upstream websock…

圆的面积并三角形面积并

三角形面积并 #include<iostream> #include<cstring> #include<algorithm> #include<cmath> #include<vector> using namespace std; const int maxn 110; #define x first #define y second typedef pair<double, double> PDD; const d…

9. proxy sql实现读写分离

proxy sql实现读写分离 一、proxysql介绍二、proxysql实现读写分离1、环境描述2、两台数据库配置读写分离&#xff0c;从库添加read_only参数3、安装proxysql3.1 proxysql内置库说明3.2 main库中主要的表说明 4、在后端主库创建允许proxysql连接的用户5、在proxysql上添加后端服…

假冒国企现形记:股权变更视角下的甄别分析

启信慧眼-启信宝企业版 假冒国企公告2024-06-07&#xff0c;中粮集团有限公司官网发布《关于冒名中粮企业名单公告》。公告显示&#xff0c;”有不法分子通过伪造相关材料等方式&#xff0c;以我集团子公司名义开展业务&#xff0c;进行虚假宣传。经核实&#xff0c;上述公司假…

伸展树(数据结构篇)

数据结构之伸展树 伸展树 概念&#xff1a; 伸展树是一颗对任意一个节点被访问后&#xff0c;就经过一系列的AVL树的旋转操作将该节点放到根上的特殊二叉查找树。伸展树能保证对树操作M次的时间复杂度为O(MlogN)&#xff0c;而当一个查找树的一个节点刚好处于查找树最坏的情…