docker安装单机版canal和使用

说明：我安装的组件架构如下：
在这里插入图片描述

1、准备一台虚拟机，192.168.2.223，我安装的时候，docker只支持canal1.1.6版本，1.1.7无法使用docker安装.还有一点要补充，就是1.1.6好像不支持es8.0以上版本（官网说的是1.7版本才有es8.0以上.）。
2、登录数据库的主机，修改数据库的配置

#修改mysql的配置文件，在[mysqld]下添加以下内容
server_id=1
# 开启binlog
log_bin = mysql-bin
# 选择row模式
binlog_format = ROW

#查看开启命令拓展，这个用于和instance配置的数据库进行使用，安装canal-admin的数据库可以不开启blog，但是同步到数据库需要开启
show variables like 'log_bin';
show variables like 'binlog_format';
show variables like '%server_id%';

3、获取安装包和准备数据

mkdir -p /root/canal
cd /root/canal
#下载文件包
wget https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.admin-1.1.6.tar.gz
mkdir canal-admin
tar -zxvf canal.admin-1.1.6.tar.gz -C canal-admin
#把cat的回显记录下来，拿到自己准备的mysql上去创建需要的数据表。因为容器部署不支持source命令，所以手动记录下来进行执行
cat /root/canal/conf/canal_manager.sql#去到安装mysql的主机，登录mysql
mysql -u 用户名 -p 密码
create database canal_manager;
grant all privileges on canal_manager.* to canal@'%' identified by 'canal'
flush privileges;
exit
mysql -ucanal -pcanal
use canal_manager; 
#执行cat的内容

下载的cana .admin-1.1.6.tar.gz安装包太慢的话，1.1.7本部也适用的，因为我后续需要安装1.7版本，所以提供1.7版本，可以通过我百度云进行下载：
链接：https://pan.baidu.com/s/1FDAcyTiFEZEITX0gAXOnmw
提取码：70j9
4、部署安装

#执行安装，账号密码可以自定义
docker run  --privileged -p 8089:8089 -v /opt/canal-admin/conf:/root/canal/conf -v /opt/canal-admin/logs:/root/canal/logs  --name canal-admin -e spring.datasource.address="数据库的ip:端口/canal_manager?allowMultiQueries=true&useUnicod=true&charac terEncodin=utf-8&serverTimezone=CTT&allowPublicKeyRetrieval=true&useSSL= false" -e spring.datasource.username=canal -e spring.datasource.password=canal -e canal.adminPasswd=123456 -d canal/canal-admin:v1.1.7
#登录canal-admin，ip为安装主机ip,端口为8089,用户为admin，密码为123456
#注：canal_manager.sql 提供的脚本中，canal_user 表提供的默认⽤户名为： canal，密码为：6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9，也就是 SELECT PASSWORD('123456'); 的值
所以登陆 canal-admin 管理平台的⽤户名就是 admin/123456

在这里插入图片描述
5、安装canal-server

#安装,这些账号密码可以自定义
docker run  -p 11111:11111 --name canal-server01 -e canal.admin.register.auto=true  -e canal.admin.register.name=canal-server01 -e canal.admin.manager=192.168.2.223:8089 -e canal.admin.port=11110 -e canal.admin.user=admin -e canal.admin.passwd=6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9  -d canal/canal-server:v1.1.6

部署完成就可以看到server了,这里的serverip是容器的ip，我们不需要进行修改，修改会导致异常的。当我们需要使用的时候直接填写宿主机ip即可。
在这里插入图片描述
在操作配置中可以根据自己服务进行自定义和填写，这里就不说明了。
在这里插入图片描述

6、创建instance，在Instance 管理里点击新建，输入名称，和选择server

#输入
# mysql集群配置中的serverId概念，需要保证和当前mysql集群中id唯⼀ (v1.1.x版本之后c anal会⾃动⽣成，不需要⼿⼯指定) 
# canal.instance.mysql.slaveId=0 
# mysql主库链接地址 
canal.instance.master.address=mysql地址:port端口
# mysql主库链接时起始的binlog⽂件 
canal.instance.master.journal.name= 
# mysql主库链接时起始的binlog偏移量 
canal.instance.master.position= 
# mysql主库链接时起始的binlog的时间戳 
canal.instance.master.timestamp= 
# mysql数据库帐号(此处的⽤户名和密码为 安装canal#mysql配置相关#创建canal⽤户 这⼀步 创建的⽤户名和密码) 
canal.instance.dbUsername=root 
# mysql数据库密码 
canal.instance.dbPassword=123456
# mysql 数据解析编码 
canal.instance.connectionCharset=UTF-8 
# mysql 数据解析关注的表，Perl正则表达式，即我们需要关注那些库和那些表的binlog数据， 也可以在canal client api中⼿动覆盖 
canal.instance.filter.regex=.*\\..* 
# table black regex 
# mysql 数据解析表的⿊名单，表达式规则⻅⽩名单的规则 ,这里我过滤掉了BASE TABLE，不然启动会报错
canal.instance.filter.black.regex=mysql\\.slave_.*,.*BASE TABLE

在这里插入图片描述

7、新建sringboot项目，idea默认创建的是高版本，我调整了配置如下，然后下一步，下一步进行添加搜索和添加一些必要的依赖。熟悉的也可以通过pom文件自定义添加

https://start.aliyun.com/

在这里插入图片描述
在这里插入图片描述

8、创建和启动验证，具体业务需要自己去自定义

在pom文件中添加依赖
<dependency><groupId>com.alibaba.otter</groupId><artifactId>canal.client</artifactId><version>1.1.0</version></dependency>

创建测试类SimpleCanalClientExample

package com.example.demo;import java.net.InetSocketAddress;
import java.util.List;import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;public class SimpleCanalClientExample {public static void main(String args[]) {// 创建链接CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("192.168.2.223",11111), "test", "", "");int batchSize = 1000;int emptyCount = 0;try {connector.connect();connector.subscribe(".*\\..*");connector.rollback();int totalEmptyCount = 120;while (emptyCount < totalEmptyCount) {Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据long batchId = message.getId();int size = message.getEntries().size();if (batchId == -1 || size == 0) {emptyCount++;System.out.println("empty count : " + emptyCount);try {Thread.sleep(1000);} catch (InterruptedException e) {}} else {emptyCount = 0;// System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);printEntry(message.getEntries());}connector.ack(batchId); // 提交确认// connector.rollback(batchId); // 处理失败, 回滚数据}System.out.println("empty too many times, exit");} finally {connector.disconnect();}}private static void printEntry(List<Entry> entrys) {for (Entry entry : entrys) {if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {continue;}RowChange rowChage = null;try {rowChage = RowChange.parseFrom(entry.getStoreValue());} catch (Exception e) {throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),e);}EventType eventType = rowChage.getEventType();System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),eventType));for (RowData rowData : rowChage.getRowDatasList()) {if (eventType == EventType.DELETE) {printColumn(rowData.getBeforeColumnsList());} else if (eventType == EventType.INSERT) {printColumn(rowData.getAfterColumnsList());} else {System.out.println("-------&gt; before");printColumn(rowData.getBeforeColumnsList());System.out.println("-------&gt; after");printColumn(rowData.getAfterColumnsList());}}}}private static void printColumn(List<Column> columns) {for (Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());}}}

9、随便去instance配置的数据库修改数据，查看控制台输出

在这里插入图片描述
10，有问题可以去官网找找处理方法
https://github.com/alibaba/canal/issues

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/708703.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Appium手机Android自动化

Appium手机Android自动化

目录 介绍 什么是APPium&#xff1f; APPium的特点 环境准备 adb(android调试桥)常用命令 appium图形化简单使用 连接手机模拟器 使用appium桌面端应用程序 ​编辑 整合java代码测试 环境准备 引入所需依赖 书写代码简单启动 ​编辑 Appium元素定位 id定位 介…
阅读更多...
前端配置开发环境，新电脑配置前端开发环境，Vue开发环境配置的详细过程（前端开发环境配置，电脑重置后配置前端开发环境）

前端配置开发环境，新电脑配置前端开发环境，Vue开发环境配置的详细过程（前端开发环境配置，电脑重置后配置前端开发环境）

简介&#xff1a;有时候&#xff0c;我们需要在新电脑 或者 电脑重置后&#xff0c;配置前端开发环境&#xff0c;具体都需要安装什么软件和插件&#xff0c;这里来记录一下&#xff08;文章适合新手和小白&#xff0c;大佬可以带过&#xff09;。 ✨前端开发环境&#xff0c;需…
阅读更多...
《Spring Security 简易速速上手小册》第3章 用户认证机制（2024 最新版）

《Spring Security 简易速速上手小册》第3章 用户认证机制（2024 最新版）

文章目录 3.1 认证流程3.1.1 基础知识详解认证流程的核心概念认证流程的步骤 3.1.2 主要案例&#xff1a;内存用户认证案例 Demo&#xff1a;快速启动你的 Spring Boot 守护程序 3.1.3 拓展案例 1&#xff1a;数据库用户认证案例 Demo&#xff1a;让数据库守护你的秘密 3.1.4 拓…
阅读更多...
代理IP安全问题：在国外使用代理IP是否安全

代理IP安全问题：在国外使用代理IP是否安全

目录 前言 一、国外使用代理IP的安全风险 1. 数据泄露 2. 恶意软件 3. 网络攻击 4. 法律风险 二、保护国外使用代理IP的安全方法 1. 选择可信的代理服务器 2. 使用加密协议 3. 定期更新系统和软件 4. 注意网络安全意识 三、案例分析 总结 前言 在互联网时代&…
阅读更多...
翻译平台翻译模型大模型 英翻中 en-zh 评测

翻译平台翻译模型大模型 英翻中 en-zh 评测

评测语句 Trump was always bothered by how Trump Tower fell 41 feet short of the General Motors building two blocks north 结论 大模型翻译最佳&#xff0c;第三方里百度次之&#xff0c;翻译模型还不太行 测试过程 翻译模型 facebook mbart-large-50-many-to-many-…
阅读更多...
【Unity】实现从Excel读取数据制作年份选择器

【Unity】实现从Excel读取数据制作年份选择器

效果预览&#xff1a; 此处利用Excel来读取数据来制作年份选择器&#xff0c;具体步骤如下。 如果只是制作年份选择器可以参考我这篇文章&#xff1a;构建简单实用的年份选择器&#xff08;简单原理示范&#xff09; 目录 效果预览&#xff1a; 一、 Excel准备与存放 1.1 …
阅读更多...
K8s Pod资源管理组件

K8s Pod资源管理组件

目录 Pod基础概念 在Kubrenetes集群中Pod有如下两种使用方式 pause容器使得Pod中的所有容器可以共享两种资源 网络 存储 总结 kubernetes中的pause容器主要为每个容器提供功能 Kubernetes设计这样的Pod概念和特殊组成结构的用意 通常把Pod分为以下几类 自主式Pod 控…
阅读更多...
input css padding

input css padding

这样控件会跑出外套控件在HTML JSP里面是经常出现的。但有些外国adobe的as控件不存在这种情况&#xff0c;这是因为内层控件定义的时候不能超出外层控件的范围。 修改下&#xff1a;去掉原来css padding&#xff0c;然后加上宽度和高度
阅读更多...
C语言 常量

C语言 常量

常量是固定值&#xff0c;在程序执行期间不会改变。这些固定的值&#xff0c;又叫做字面量。 常量可以是任何的基本数据类型&#xff0c;比如整数常量、浮点常量、字符常量&#xff0c;或字符串字面值&#xff0c;也有枚举常量。 常量就像是常规的变量&#xff0c;只不过常量的…
阅读更多...
EAP-TLS实验之Ubuntu20.04环境搭建配置（FreeRADIUS3.0）(四)

EAP-TLS实验之Ubuntu20.04环境搭建配置（FreeRADIUS3.0）(四)

该篇主要介绍了利用配置ca.cnf、server.cnf、client.cnf在certs路径下生成证书文件&#xff08;非执行bootstrap脚本&#xff0c;网上也有很多直接通过openssl命令方式生成的文章&#xff09;&#xff0c;主要参考&#xff08;概括中心思想&#xff09;官方手册&#xff0c;以及…
阅读更多...
s-table和columns初始化不完整，造成table文件的filter报错

s-table和columns初始化不完整，造成table文件的filter报错

问题 顺藤摸瓜找errorHandler.js文件 发现文件并没有什么问题 顺藤摸瓜找index.vue文件 首先找到报错的filter&#xff0c;发现与columnsSetting相关 找到columnsSetting发现等于columns 返回自己使用S-table组件的地方&#xff0c;发现columns初始化时仅初始化为ref()未表明…
阅读更多...
统信软件：统一操作系统 UOS 代言人

统信软件：统一操作系统 UOS 代言人

这是ren_dong的第32篇原创 1、Deepin Deepin&#xff1a;最受欢迎的民用国产操作系统 2008 年,Deepin 操作系统最早版本正式发布&#xff0c;是由 深之度创始人刘闻欢组织团队研发的基于 Debian 的本地化 Linux 操作系统 2011 年,武汉深之度科技有限公司成立&#xff0c;开始产…
阅读更多...
Facebook的虚拟社交愿景：元宇宙时代的新起点

Facebook的虚拟社交愿景：元宇宙时代的新起点

在当今数字化时代&#xff0c;社交媒体已经成为人们生活中不可或缺的一部分。而随着科技的不断进步和社会的发展&#xff0c;元宇宙已经成为了人们关注的热点话题之一。作为社交媒体的领军企业之一&#xff0c;Facebook也在积极探索虚拟社交的未来&#xff0c;将其视为元宇宙时…
阅读更多...
6U VPX全国产飞腾D2000/8核+复旦微FPGA信息处理主板

6U VPX全国产飞腾D2000/8核+复旦微FPGA信息处理主板

产品特性 产品功能 飞腾计算平台&#xff0c;国产化率100% VPX-MPU6503是一款基于飞腾D2000/8核信息处理主板&#xff0c;采用由飞腾D2000处理器飞腾X100桥片的高性能计算机模块&#xff0c;双通道16G贴装内存&#xff0c;板载128G 固态SSD&#xff1b;预留固态盘扩展接口&…
阅读更多...
蓝桥杯第十二届电子类单片机组程序设计

蓝桥杯第十二届电子类单片机组程序设计

目录 前言 蓝桥杯大赛历届真题_蓝桥杯 - 蓝桥云课&#xff08;点击查看&#xff09; 单片机资源数据包_2023&#xff08;点击下载&#xff09; 一、第十二届比赛原题 1.比赛题目 2.题目解读 蓝桥杯第十四届电子类单片机组程序设计_蓝桥杯单片机哪一届最难-CSDN博客 二、…
阅读更多...
金三银四面试必问：Redis真的是单线程吗？

金三银四面试必问：Redis真的是单线程吗？

文章目录 01 Redis中的多线程1&#xff09;redis-server&#xff1a;2&#xff09;jemalloc_bg_thd3&#xff09;bio_xxx&#xff1a; 02 I/O多线程03 Redis中的多进程04 结论▼延伸阅读 由面试题“Redis是否为单线程”引发的思考 作者&#xff1a;李乐 来源&#xff1a;IT阅读…
阅读更多...
Android Kotlin协程实战

Android Kotlin协程实战

你能听懂的Kotlin协程课&#xff0c;跟老司机学&#xff0c;不用自己瞎折腾 认识协程 协程难在哪儿? Ja v a中不曾出现的&#xff0c;新概念概念不清晰&#xff0c;我们看到的大都是不同语言对于协程的实现或者衍生Kotlin 基础不扎实多线程编程基础太薄弱 协程是什么? 协…
阅读更多...
OpenAI最新发布的文生视频模型Sora到底强在哪？

OpenAI最新发布的文生视频模型Sora到底强在哪？

文章目录 1.Sora到底强在哪&#xff1f;2. 不足3. 结尾 2024年2月16日&#xff0c;当大家沉浸在过年的喜庆氛围中&#xff0c;OpenAI发布首款文生成视频大模型 Sora &#xff0c;其炸裂登场让人感到惊艳。 Sora官网介绍&#xff1a;https://openai.com/sora 说起文生视频工具…
阅读更多...
【Python笔记-设计模式】备忘录模式

【Python笔记-设计模式】备忘录模式

一、说明 备忘录模式是一种行为设计模式&#xff0c;允许在不暴露对象实现细节的情况下保存和恢复对象之前的状态。 (一) 解决问题 主要解决在不破坏封装性的前提下&#xff0c;捕获一个对象的内部状态&#xff0c;并在对象之外保存这个状态&#xff0c;以便在需要时恢复对象…
阅读更多...
log4j 基础使用入门教程

log4j 基础使用入门教程

一、Log4j介绍 在项目中&#xff0c;不管是开发人员写代码还是测试人员写的测试代码一般都需要做一些日志来记录项目的行为&#xff0c;以便更好的跟踪项目中的一些交互和问题。 Log4j ( Logger For Java ) , Java 日志的记录包。 官方网站 。Log4j 是 Apache 的一个开源项目…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023