【canal 中间件】canal 常见的启动方式

文章目录

    • 一、安装 canal-admin
      • 1.1 拉取镜像
      • 1.2 启动 canal-admin 容器(使用脚本)
        • 1.2.1 下载脚本
        • 1.2.2 执行脚本
        • 1.2.3 初始化元数据库(可选)
      • 1.3 启动 canal-admin 容器(直接使用 Docker 命令)
        • 1.3.1 启动容器
        • 1.3.2 查看启动日志
      • 1.4 访问页面
    • 二、 安装 canal-server
      • 2.1 拉取镜像
      • 2.2 启动 canal 容器(使用脚本)
        • 2.2.1 下载脚本
        • 2.2.2 执行脚本
      • 2.3 启动 canal-admin 容器(使用挂载)
        • 2.3.1 配置文件
        • 2.3.1 启动容器
        • 2.3.2 查看启动日志
      • 2.4 启动容器(推荐)
    • 三、安装 canal-deployer
      • 3.1 下载 canal-deployer
      • 3.2 修改配置文件
      • 3.3 启动 canal
    • 四、日志文件
      • 4.1 查看日志
    • 参考资料

一、安装 canal-admin

canal-admin 在 Docker 中的详细安装教程请查看 Canal Admin Docker · alibaba/canal Wiki。

canal-admin 文件存放在容器的 /home/admin/canal-admin 目录下。

1.1 拉取镜像

使用以下命令拉取 canal-admin 镜像:

$ docker pull canal/canal-admin:v1.1.7

canal-admin 的限定依赖:

  1. MySQL,用于存储配置和节点等相关数据
  2. canal版本,要求>=1.1.4 (需要依赖canal-server提供面向admin的动态运维管理接口)

1.2 启动 canal-admin 容器(使用脚本)

1.2.1 下载脚本

在 canal 仓库的 docker 目录下自带 run_admin.sh 脚本,可以通过 wget 命令来下载 run_admin.sh 脚本

# 下载脚本
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run_admin.sh 

run_admin.sh 脚本的部分内容如下:

#!/bin/bashfunction usage() {echo "Usage:"echo "  run_admin.sh [CONFIG]"echo "example :"echo "  run_admin.sh -e server.port=8089 \\"echo "         -e canal.adminUser=admin \\"echo "         -e canal.adminPasswd=admin"exit
}MEMORY="-m 1024m"
LOCALHOST=`getMyIp`
cmd="docker run -d --privileged=true -it -h $LOCALHOST $CONFIG --name=canal-admin $VOLUMNS $NET_MODE $PORTS $MEMORY canal/canal-admin"
echo $cmd
eval $cmd

可以看到,该脚本的本质是执行生成 docker run 语句并执行。

1.2.2 执行脚本

使用以下命令执行脚本,启动 canal-admin 容器。

# 不指定数据库
$ sh run_admin.sh -e server.port=8089 \-e canal.adminUser=admin \-e canal.adminPasswd=admin# 指定外部的mysql作为admin的数据库
$ sh  run_admin.sh -e server.port=8089 \-e spring.datasource.address=127.0.0.1:3306 \-e spring.datasource.database=canal_manager  \-e spring.datasource.username=root  \-e spring.datasource.password=root  

该命令生成的 docker run 语句内容如下:

# 不指定数据库
$ docker run -d --privileged=true -it -h -e server.port=8089 -e canal.adminUser=admin -e canal.adminPasswd=admin --name=canal-admin --net=host -m 1024m canal/canal-admin# 指定外部的mysql作为admin的数据库
docker run -d --privileged=true -it -h -e server.port=8089 -e spring.datasource.address=127.0.0.1:3306 -e spring.datasource.database=canal_manager -e spring.datasource.username=root -e spring.datasource.password=root --name=canal-admin --net=host -m 1024m canal/canal-admin

事实上,这个可以不用指定数据库。如果要指定数据库的话,还需要初始化数据库

1.2.3 初始化元数据库(可选)

执行 canal_manager.sql 文件:

source conf/canal_manager.sql
  • 初始化SQL脚本里会默认创建 canal_manager 的数据库,建议使用 root 等有超级权限的账号进行初始化
  • canal_manager.sql 默认会在 /home/admin/canal-admin/conf 目录下,也可以通过链接下载 canal_manager.sql

1.3 启动 canal-admin 容器(直接使用 Docker 命令)

在 canal-admin 里面找不到数据库文件被删除,似乎不推荐使用外部数据库。

1.3.1 启动容器

不指定数据库,启动容器。

$ docker run -d ^
--name canal-admin ^
--privileged=true ^
--restart always ^
-p 8089:8089 ^
-e server.port=8089 ^
-m 1024m ^
canal/canal-admin:v1.1.7
1.3.2 查看启动日志

在 canal 启动成功后,查看 admin启动日志为:

2024-10-28 19:54:00 DOCKER_DEPLOY_TYPE=VM
2024-10-28 19:54:00 ==> INIT /alidata/init/02init-sshd.sh
2024-10-28 19:54:00 ==> EXIT CODE: 0
2024-10-28 19:54:00 ==> INIT /alidata/init/fix-hosts.py
2024-10-28 19:54:00 ==> EXIT CODE: 0
2024-10-28 19:54:00 ==> INIT DEFAULT
2024-10-28 19:54:00 ==> INIT DONE
2024-10-28 19:54:00 ==> RUN /home/admin/app.sh
2024-10-28 19:54:01 ==> START ...
2024-10-28 19:54:01 start mysql ...
2024-10-28 19:54:10 start mysql successful
2024-10-28 19:54:10 start admin ...
2024-10-28 19:54:15 start canal successful
2024-10-28 19:54:15 ==> START SUCCESSFUL ...
2024-10-28 19:54:00 Failed to get D-Bus connection: Operation not permitted
2024-10-28 19:54:00 Failed to get D-Bus connection: Operation not permitted
2024-10-28 19:54:10 mysql: [Warning] Using a password on the command line interface can be insecure.

1.4 访问页面

访问 http://127.0.0.1:8089/ ,默认账号密码为 admin/123456 .

在这里插入图片描述

二、 安装 canal-server

Docker QuickStart · alibaba/canal Wiki

2.1 拉取镜像

$ docker pull canal/canal-server:v1.1.7

canal-server 的软件目录为:

drwxr-xr-x 2 jianghang jianghang  136 2013-02-05 21:51 bin
drwxr-xr-x 4 jianghang jianghang  160 2013-02-05 21:51 conf
drwxr-xr-x 2 jianghang jianghang 1.3K 2013-02-05 21:51 lib
drwxr-xr-x 2 jianghang jianghang   48 2013-02-05 21:29 logs

2.2 启动 canal 容器(使用脚本)

2.2.1 下载脚本

在 canal 仓库的 docker 目录下自带 run.sh 脚本,下载 run.sh 脚本

# 下载脚本
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh 

run.sh 脚本的部分内容如下:

#!/bin/bashfunction usage() {echo "Usage:"echo "  run.sh [CONFIG]"echo "example 1 :"echo "  run.sh -e canal.instance.master.address=127.0.0.1:3306 \\"echo "         -e canal.instance.dbUsername=canal \\"echo "         -e canal.instance.dbPassword=canal \\"echo "         -e canal.instance.connectionCharset=UTF-8 \\"echo "         -e canal.instance.tsdb.enable=true \\"echo "         -e canal.instance.gtidon=false \\"echo "         -e canal.instance.filter.regex=.*\\\\\\..* "echo "example 2 :"echo "  run.sh -e canal.admin.manager=127.0.0.1:8089 \\"echo "         -e canal.admin.port=11110 \\"echo "         -e canal.admin.user=admin \\"echo "         -e canal.admin.passwd=4ACFE3202A5FF5CF467898FC58AAB1D615029441"exit
}...MEMORY="-m 4096m"
LOCALHOST=`getMyIp`
cmd="docker run -d --privileged=true -it -h $LOCALHOST $CONFIG --name=canal-server $VOLUMNS $NET_MODE $PORTS $MEMORY canal/canal-server"
echo $cmd
eval $cmd

可以看到,该脚本的本质是执行生成 docker run 语句并执行。

2.2.2 执行脚本
# 以单机模式启动,构建一个destination name为test的队列
sh run.sh -e canal.auto.scan=false \-e canal.destinations=test \-e canal.instance.master.address=127.0.0.1:3306  \-e canal.instance.dbUsername=canal  \-e canal.instance.dbPassword=canal  \-e canal.instance.connectionCharset=UTF-8 \-e canal.instance.tsdb.enable=true \-e canal.instance.gtidon=false  \-e canal.admin.manager=127.0.0.1:8089 \-e canal.admin.port=11110 \-e canal.admin.user=admin \-e canal.admin.passwd=4ACFE3202A5FF5CF467898FC58AAB1D615029441
  • -e 参数里可以指定以前 canal.properties/instance.properties 里的所有配置的 key 和 value,canal-server 启动时会有限读取-e指定的变量,具体可参考AdminGuide
  • docker 模式下,单docker实例只能运行一个 instance,主要为配置问题。如果需要运行多instance 时,可以自行制作一份 docker 镜像即可

等价的 docker 命令为:

docker run -d --privileged=true -it -h -e canal.auto.scan=false -e canal.destinations=test -e canal.instance.master.address=127.0.0.1:3306 -e canal.instance.dbUsername=canal -e canal.instance.dbPassword=canal -e canal.instance.connectionCharset=UTF-8 -e canal.instance.tsdb.enable=true -e canal.instance.gtidon=false -e canal.admin.manager=127.0.0.1:8089 -e canal.admin.port=11110 -e canal.admin.user=admin -e canal.admin.passwd=4ACFE3202A5FF5CF467898FC58AAB1D615029441 --name=canal-server --net=host -m 4096m canal/canal-server

2.3 启动 canal-admin 容器(使用挂载)

2.3.1 配置文件

修改 example/instance.properties 文件:

# position info
canal.instance.master.address=host.docker.internal:3306# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal# table regex
canal.instance.filter.regex=.\*\\\\..\*# mq config
canal.mq.topic=example

修改 canal.properties 文件:

#################################################
######### 		common argument		#############
#################################################
# canal admin config
canal.admin.manager = host.docker.internal:8089#################################################
######### 		destinations		#############
#################################################
canal.destinations = test
canal.auto.scan = false
2.3.1 启动容器

使用挂载启动容器。

docker run -d ^
-p 11111:11111 ^
--name canal-server ^
-v D:\Learning\java-demos\middleware-demos\spring-boot-canal\src\main\resources\canal\conf\example\instance.properties:/home/admin/canal-server/conf/example/instance.properties ^
canal/canal-server:v1.1.7
2.3.2 查看启动日志

QuickStart · alibaba/canal Wiki

在 canal 启动成功后,查看 admin启动日志为:

2024-10-28 20:31:39 DOCKER_DEPLOY_TYPE=VM
2024-10-28 20:31:39 ==> INIT /alidata/init/02init-sshd.sh
2024-10-28 20:31:39 ==> EXIT CODE: 0
2024-10-28 20:31:39 ==> INIT /alidata/init/fix-hosts.py
2024-10-28 20:31:39 ==> EXIT CODE: 0
2024-10-28 20:31:39 ==> INIT DEFAULT
2024-10-28 20:31:39 Failed to get D-Bus connection: Operation not permitted
2024-10-28 20:31:39 Failed to get D-Bus connection: Operation not permitted
2024-10-28 20:31:39 ==> INIT DONE
2024-10-28 20:31:39 ==> RUN /home/admin/app.sh
2024-10-28 20:31:40 ==> START ...
2024-10-28 20:31:40 start canal ...
2024-10-28 20:32:16 start canal successful
2024-10-28 20:32:16 ==> START SUCCESSFUL ...

看到 successful 之后,就代表 canal-server 启动成功,然后就可以在 canal-admin 上进行任务分配了

查看 server 日志

$ tail /home/admin/canal-server/logs/canal/canal.log
2024-10-29 05:55:22.779 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
2024-10-29 05:55:22.785 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
2024-10-29 05:55:22.791 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
2024-10-29 05:55:22.812 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.3(172.17.0.3):11111]
2024-10-29 05:55:23.678 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......

查看 instance 的日志

$ tail /home/admin/canal-server/logs/test/test.log
2024-10-29 03:29:41.338 [main] ERROR c.a.o.canal.instance.manager.PlainCanalInstanceGenerator - generator instance failed.
com.alibaba.otter.canal.common.CanalException: instance : test config is not found$ tail /home/admin/canal-server/logs/example/example.log

2.4 启动容器(推荐)

在配置参数较少时,个人比较喜欢的方式是只用使用 Docker 命令运行即可。

 $ docker run -d ^--name canal-server ^--restart always ^-p 11111:11111 ^--privileged=true ^-e canal.destinations=test ^-e canal.instance.mysql.slaveId=1234  ^-e canal.instance.master.address=172.17.0.4:3306 ^-e canal.instance.dbUsername=canal ^-e canal.instance.dbPassword=canal ^-e canal.instance.connectionCharset=UTF-8 ^-e canal.instance.tsdb.enable=true ^-e canal.instance.gtidon=false ^-e canal.instance.filter.regex=.\*\\\\..\* ^-m 4096m ^canal/canal-server:v1.1.7

三、安装 canal-deployer

canal-ployer 实际上就是 canal-server 的压缩文件,可以在本地启动。

3.1 下载 canal-deployer

在 canal 官网,下载 canal.deployer-1.1.7.tar.gz 并解压缩到指定目录。

在这里插入图片描述

3.2 修改配置文件

修改配置文件 /conf/canal.properties

#################################################
######### 		common argument		#############
#################################################
# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = rocketMQ#################################################
######### 		destinations		#############
#################################################
canal.destinations = example##################################################
######### 	      MQ Properties      #############
##################################################
canal.mq.flatMessage = true
canal.auto.scan = false##################################################
######### 		    RocketMQ	     #############
##################################################
rocketmq.producer.group = my-producer_canal-test-topic
rocketmq.enable.message.trace = false
rocketmq.customized.trace.topic =
rocketmq.namespace =
rocketmq.namesrv.addr = 127.0.0.1:9876
rocketmq.retry.times.when.send.failed = 0
rocketmq.vip.channel.enabled = false
rocketmq.tag =

修改 /conf//example/instance.properties 配置文件

canal.instance.master.address=127.0.0.1:3306canal.instance.dbUsername=canal
canal.instance.dbPassword=canal# table regex
canal.instance.filter.regex=.*\\..*# mq config
canal.mq.topic=canal-test-topic

3.3 启动 canal

执行 \canal.deployer-1.1.7\bin\startup.bat 文件

在这里插入图片描述

四、日志文件

4.1 查看日志

Canal 的日志文件较多,以下是常用日志的查看方法:

a.查看 logs/canal/canal.log

docker exec -it canal-server /bin/bash -c "tail -f /home/admin/canal-server/logs/canal/canal.log"

b.查看 /logs/canal/rocketmq_client.log

实时查看 canal 连接 RocketMQ 客户端日志:

$ docker exec -it canal-server /bin/bash -c "tail -f /home/admin/canal-server/logs/canal/rocketmq_client.log"

c. 查看instance的日志

查看特定实例的日志,替换 test 为你的实例名称:

docker exec -it canal-server /bin/bash -c "tail -f /home/admin/canal-server/logs/test/test.log"

d.查看instance的 meta.log 日志

每执行一次数据库操作,meta.log 日志中会生成一条记录。

docker exec -it canal-server /bin/bash -c "tail -f /home/admin/canal-server/logs/test/meta.log"

参考资料

Docker QuickStart · alibaba/canal Wiki

Canal Admin Docker · alibaba/canal Wiki

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/57943.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python复习1:

一、数据类型 1.数字:int、float、bool 2.字符串:string 3.列表:list 4.集合:set 5.字典:dictionary 二、Test 1.print输出固定格式 num110 str1"hello world" #输出的固定格式 print("num1%d&…

不容错过的10个CSS与JS悬停效果,提升网站互动性

文章目录 前言正文1.悬停时照片效果2.快速强大的图像效果3.悬停标题滑出效果4.展示你的照片效果5.现实扭曲悬停效果6.分割图像悬停效果7.简约优雅图像效果8.动态图像效果9.大图像悬停画廊10.图像揭示效果 总结 前言 悬停效果是一种简单有效的网页互动方式,尤其在图…

微服务设计模式 — 补偿事务模式(Compensating Transaction Pattern)

微服务设计模式 — 补偿事务模式(Compensating Transaction Pattern) 定义 在云计算和分布式系统中,管理跨多个微服务或组件的事务一致性是一项极具挑战性的任务,补偿事务模式Compensating Transaction Pattern)是一种…

Java实战项目-基于SpringBoot+Vue的二手车交易系统的研究与实现

博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…

[mysql]数据定义语言DDL和数据操作语言DCL

目录 前文提要 数据定义语言DDL 数据操作语言DML 数据控制语言DCL 基础知识: 标识符(命名规则): 数据定义语言DDL 创建和管理数据库.: 管理数据库 切换数据库 修改数据库 更改数据库字符集 删除数据库 如何创建表 方式1:”白手起家的方式”创建表 方式2:已经有…

webpack使用详解

摘要:webpack作为一款主流的构建工具,对比后来者Vite虽然存在一些缺点,例如启动慢,配置复杂等。在很多项目中使用依然基于webpack构建,有必要掌握其概念、构建流程和配置方法。 1 webpack概述 1.1 基本概念 webpack …

基于YOLO11/v10/v8/v5深度学习的维修工具检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】

《博主简介》 小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌更多学习资源,可关注公-仲-hao:【阿旭算法与机器学习】,共同学习交流~ 👍感谢小伙伴们点赞、关注! 《------往期经典推…

Zypher Network:全栈式 Web3 游戏引擎,服务器抽象叙事的引领者

近期,《黑神话:悟空》的爆火不仅让 AAA 游戏重回焦点,也引发了玩家与开发者的热议。Web2 游戏的持续成功导致部分 Web3 玩家们的倒戈,对比之下 Web3 游戏存在生命周期短且商业模式难以明确的问题,尤其在当前加密市场环…

H7-TOOL自制Flash读写保护算法系列,为兆易创新GD32E23X制作使能和解除算法,支持在线烧录和脱机烧录使用(2024-10-29)

说明: 很多IC厂家仅发布了内部Flash算法文件,并没有提供读写保护算法文件,也就是选项字节算法文件,需要我们制作。 实际上当前已经发布的TOOL版本,已经自制很多了。但是依然有些厂家还没自制,所以陆续开始…

flutter 写个简单的界面

起因, 目的: 来源: 客户需求。 着急要,我随便写的,应付一下。 过程: 略,直接看代码,看注释。 代码 1 xxx import package:flutter/material.dart;void main() {runApp(const MyApp()); }// # class MyApp extends…

.NET 8 中 Entity Framework Core 的使用

本文代码:https://download.csdn.net/download/hefeng_aspnet/89935738 概述 Entity Framework Core (EF Core) 已成为 .NET 开发中数据访问的基石工具,为开发人员提供了强大而多功能的解决方案。随着 .NET 8 和 C# 10 中引入的改进,开发人…

推荐一款可视化和检查原始数据的工具:RawDigger

RawDigger是一款强大的工具,旨在可视化和检查相机记录的原始数据。它被称为一种“显微镜”,使用户能够深入分析原始图像数据,而不对其进行任何更改。RawDigger并不是一个原始转换器,而是一个帮助用户查看将由转换器使用的数据的工…

第三十三章 Vue路由进阶路由模块封装

目录 一、引言 二、完整代码 main.js index.js App.vue Find.vue My.vue 一、引言 在上一个章节中,我们将所有的路由配置都堆在main.js中来实现路径组件的路由,这样做的话非常不利于我们后期对项目的维护。因此正确的做法是将路由模块抽离出来&a…

基于java+SpringBoot+Vue的新闻推荐系统设计与实现

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: Springboot mybatis Maven mysql5.7或8.0等等组成&#x…

指派问题的求解

实验类型:◆验证性实验 ◇综合性实验 ◇设计性实验 实验目的:学会使用Matlab求解指派问题。 实验内容:利用Matlab编程实现枚举法求解指派问题。 实验例题:有5人分别对应完成5项工作,其各自的耗费如下表所示&#…

下载安装COPT+如何在jupyter中使用(安装心得,windows,最新7.2版本)

目录 1.到杉树科技官网申请下载COPT 2.安装COPT&配置许可文件 3.在jupyter中使用COPT的python接口 最近看到一本和数学建模有关的新书:《数学建模与数学规划:方法、案例及编程实战》,作为数学建模老手,肯定要学习一下&…

基于“互联网+”医养结合的智慧养老实训室建设方案

一、建设背景 根据国家统计局的数据,截至2023年末,我国60岁及以上的老年人口已达到29,697万人,占总人口的21.1%;其中,65岁及以上的人口为21,676万人,占总人口的15.4%。这一数据表明,我国正面临…

为什么需要MQ消息系统,mysql 不能满足需求吗?

大家好,我是锋哥。今天分享关于【为什么需要MQ消息系统,mysql 不能满足需求吗?】面试题?希望对大家有帮助; 为什么需要MQ消息系统,mysql 不能满足需求吗? 1000道 互联网大厂Java工程师 精选面试…

计算机网络-以太网小结

前导码与帧开始分界符有什么区别? 前导码--解决帧同步/时钟同步问题 帧开始分界符-解决帧对界问题 集线器 集线器通过双绞线连接终端, 学校机房的里面就有集线器 这种方式仍然属于共享式以太网, 传播方式依然是广播 网桥: 工作特点: 1.如果转发表中存在数据接收方的端口信息…

C/C++常用编译工具链:GCC,Clang

目录 GNU Compiler Collection GCC的优势 编译产生的中间文件 Clang Clang的特点 什么是LLVM? Clang编译过程中产生的中间表示文件 关于Clang的调试 C 编译工具链中有几个主要的编译工具,包括: GNU Compiler Collection (GCC…