canal数据同步工具介绍与应用

canal服务

    • canal介绍
    • canal版本与环境
    • canal 服务集
    • canal应用
      • 场景:
    • canal常见问题
      • xml配置问题
      • 连接认证问题
      • jar版本问题
      • 连接问题

canal介绍

‌1、Canal是‌阿里巴巴开源的‌MySQL增量数据订阅和消费工具,通过模拟MySQL的‌slave与‌master交互,捕获‌binary log事件。
2、Canal的实现基于MySQL的主从复制原理,通过模拟slave的交互协议,向master发送dump请求,master收到请求后开始推送binary log给slave(实际上是Canal),Canal解析这些日志事件并将其转换为JSON格式的数据,然后发送到指定的存储目的地,如MySQL、Kafka、Elastic Search等。‌
3、Canal支持‌HA(高可用),其实现机制依赖‌Zookeeper来实现。
4、Canal可以适应不同的网络环境,包括云环境和本地环境,支持多种网络模型如虚拟局域网(VLAN)、‌VXLAN、Overlay等,并且可以与各种网络设备和云服务提供商进行集成。

canal版本与环境

单机版:适用于开发测试环境或小型生产环境。
配置简单,易于部署和管理。

HA版本
适合生产环境,特别是对数据一致性和系统稳定性有高要求的场景。
可以配置多个 Canal 实例,实现故障转移和负载均衡。
需要更复杂的配置和管理,以确保高可用性

Canal 版本与 JDK 版本的兼容性
canal安装包
canalv1.1.5版本以上就不支持jdk1.8,需要升级到jdk11

canal 服务集

canal.adapter

Canal Adapter 是 Canal 项目的一个重要组成部分,它负责将 Canal Server 采集的 MySQL binlog 数据转换成特定格式,并发送到不同的目标系统。
canal.admin
Canal Admin 是 Canal 项目的一个管理工具,它提供了一个 Web 界面,用于监控和管理 Canal 的各个组件。

canal.deployer

Canal Deployer 是 Canal 项目中的一个模块,它主要用于部署和管理 Canal Server。通过 Canal Deployer,用户可以方便地启动、停止 Canal Server,并配置相关的参数。

canal.example

Canal Example 是 Canal 项目中的一个示例目录,它包含了 Canal 的基本使用案例和配置示例。

canal应用

场景:

1、增量同步
默认是增量方式
直接查看deployer服务下的instance.properties文件

2、全量同步
修改deployer服务下的instance.properties文件
binlog文件:
canal.instance.master.journal.name=binlog文件全名称
canal.instance.master.position=0
canal.instance.master.timestamp=10位时间戳
删除服务端的meta.dat文件:这个文件记录 canal 已经消费的位置等信息

3、中间件集成同步
修改instance.properties文件
kafka
部署 Zookeeper 和 Kafka
canal.properties配置文件:
####tcp, kafka, rocketMQ, rabbitMQ
canal.serverMode = kafka
##################################################
######### Kafka #############
##################################################
kafka.bootstrap.servers = 127.0.0.1:9092 多个逗号隔开
kafka.acks = all
kafka.compression.type = none
kafka.batch.size = 16384
kafka.linger.ms = 1
kafka.max.request.size = 1048576
kafka.buffer.memory = 33554432
kafka.max.in.flight.requests.per.connection = 1
kafka.retries = 0
kafka.kerberos.enable = false
kafka.kerberos.krb5.file = “…/conf/kerberos/krb5.conf”
kafka.kerberos.jaas.file = “…/conf/kerberos/jaas.conf”
rocketmq
安装 RocketMQ
canal.properties配置文件:
tcp, kafka, rocketMQ, rabbitMQ
canal.serverMode = rocketMQ
##################################################
######### RocketMQ #############
##################################################
rocketmq.producer.group = test
rocketmq.enable.message.trace = false
rocketmq.customized.trace.topic =
rocketmq.namespace =
rocketmq.namesrv.addr = 127.0.0.1:9876
rocketmq.retry.times.when.send.failed = 0
rocketmq.vip.channel.enabled = false
rocketmq.tag =
修改instance.properties文件
#mq config
canal.mq.topic=canal_topic

canal常见问题

xml配置问题

Error creating bean with name ‘metaHistoryDAO’ defined in class path
resource [spring/tsdb/h2-tsdb.xml] 去掉:canal.properties配置文件中的h2配置
在这里插入图片描述

连接认证问题

com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Public Key Retrieval is not allowed
修改 MySQL 数据库连接字符串 URL,在末尾追加 “?allowPublicKeyRetrieval=true” 参数

jar版本问题

Mysql连接jar版本 mysql-connector-java-5.1.48.jar
切换成mysql-connector-java-8.0.28.jar

连接问题

Communications link failure。The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
解决:
数据库连接地址?allowPublicKeyRetrieval=true&useUnicode=true&characterEncoding=utf8&useSSL=false&tinyInt1isBit=true&serverTimezone=Asia/Shanghai&allowMultiQueries=true&rewriteBatchedStatements=true

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/51060.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一文搞懂微服务架构之降级

前置知识 比如双十一之类的大促高峰,平台是会关闭一些服务的,比如退款服务。这就是降级的典型应用,不过它是一种手动的跨服务降级,对于整个系统来说,提供了一部分服务,但是没有提供另外一部分服务&#xf…

InternLM2_PracticalCamp_L2_task3_LMDeploy量化部署进阶实践

1 配置LMDeploy环境 1.1 InternStudio开发机创建与环境搭建 点选开发机,自拟一个开发机名称,选择Cuda12.2-conda镜像。 我们要运行参数量为7B的InternLM2.5,由InternLM2.5的码仓查询InternLM2.5-7b-chat的config.json文件可知,…

代码随想录算法训练营第三十三天| 完全背包 518. 零钱兑换 II 377. 组合总和 Ⅳ 70. 爬楼梯 (进阶)

完全背包 视频讲解&#xff1a; https://programmercarl.com/%E8%83%8C%E5%8C%85%E9%97%AE%E9%A2%98%E7%90%86%E8%AE%BA%E5%9F%BA%E7%A1%80%E5%AE%8C%E5%85%A8%E8%83%8C%E5%8C%85.html void test_CompletePack() {vector<int> weight {1, 3, 4};vector<int> valu…

数据库多表设计:深入理解一对多、一对一、多对多关系 【后端 12】

数据库多表设计&#xff1a;深入理解一对多、一对一、多对多关系 在数据库设计中&#xff0c;表之间的关系决定了如何组织和存储数据。常见的表关系包括一对多、一对一和多对多。在不同的业务场景下&#xff0c;我们会选择不同的关系模式进行数据库设计。本文将通过具体案例介绍…

企业高性能web服务器

目录 一、web服务介绍 1.1 Web 服务访问流程 1.2 Web 服务器类型 1.3 Apache常用工作模式 1.3.1 Apache prefork 模型 1.3.2 Apache worker 模型 1.3.3 Apache event 模型 【补充】 子进程角色主要负责以下&#xff1a; 二、Nginx 架构和安装 2.1 Nginx 编译安装示例…

Maven的依赖范围

依赖的jar包&#xff0c;默认情况下&#xff0c;可以在任何地方使用&#xff0c;可以通过scope来设置作用范围 作用范围&#xff1a; 主程序范围有效&#xff08;main文件夹范围内&#xff09;测试程序范围有效&#xff08;test文件夹范围内&#xff09;是否参与打包运行&…

gitlab迁移至新的服务器

第一步&#xff0c;查看旧服务器的gitlab版本&#xff0c;在新服务器上安装一个相同版本的 cat /opt/gitlab/embedded/service/gitlab-rails/VERSION wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el8/gitlab-ce-13.9.6-ce.0.el8.x86_64.rpm rpm -ivh gitlab-ce-1…

投资伦敦银一般看什么点位做单?

伦敦银的价格走势不断变化&#xff0c;无论投资者选择做多还是做空&#xff0c;进场的点位都不是一成不变的&#xff0c; 如果投资者想找到胜率比较高的进场点位&#xff0c;可以尝试在走势图中找出银价的支撑与压力位所在&#xff0c;然后在压力位附近布局空单&#xff0c;在…

fastadmin 安装

环境要求&#xff0c;大家可以参考官方文档的&#xff0c;我这里使用的是phpstudy&#xff0c;很多已经集成了。 注意一点&#xff0c;PHP 版本&#xff1a;PHP 7.4 。 第二步&#xff1a;下载 下载地址&#xff1a;https://www.fastadmin.net/download.html 进入下载地址后…

SpringBoot依赖之Spring Data Redis 实现地理坐标(Geospatial)

Spring Boot 项目中使用 Spring Data Redis 实现地理坐标(Geospatial) 概念 Spring Data Redis (AccessDriver) 依赖名称: Spring Data Redis (AccessDriver)功能描述: Advanced and thread-safe Java Redis client for synchronous, asynchronous, and reactive usage. Sup…

Sqlmap

Python 语言编写的开源SQL注入检测、利用工具丰富的特性、参数众多、强大的检测引擎指纹发现、脱裤、OS控制、RCE顺便发现XSS漏洞必备参数、HTTP头均可注入 SQL注入 与编程语言、数据库无关问题在程序代码 检测漏洞 ’1 and 1# 1 and 12# 1’ or 11# 1’ or 12#select [pas…

React+Vis.js(02):vis.js设置节点样式

文章目录 1、修改vis.js的节点和关系颜色2、修改vis.js节点的字体颜色2.1 统一设置节点字体颜色2.2 自定义某个节点的字体颜色3、设置vis.js节点的边框颜色和宽度3.1 设置单个节点3.2 统一设置1、修改vis.js的节点和关系颜色 在vis.js中,可以通过color属性,来给node节点添加…

如何制作统信UOS启动盘?

如何制作统信UOS启动盘&#xff1f; 一、下载UOS系统安装镜像二、在UOS系统环境下制作启动盘步骤一&#xff1a;准备U盘步骤二&#xff1a;打开启动盘制作工具步骤三&#xff1a;选择ISO镜像文件步骤四&#xff1a;选择安装介质并格式化步骤五&#xff1a;等待制作完成 三、在W…

Redis 技术详解

一、Redis 基础 &#xff08;一&#xff09;为什么使用 Redis 速度快&#xff0c;因为数据存在内存中&#xff0c;类似于 HashMap&#xff0c;查找和操作的时间复杂度都是 O(1)。支持丰富数据类型&#xff0c;支持 string、list、set、Zset、hash 等。支持事务&#xff0c;操…

Elasticsearch简述

Elasticsearch简述 Elasticsearch产品介绍 Elasticsearch是一个基于Apache Lucene的开源的分布式搜索和分析引擎,设计用于云计算中,能够快速处理大量数据。它能够近实时地进行复杂的查询,并且可以用于全文检索、结构化搜索以及分析。Elasticsearch具有以下特性: 分布式搜索…

2024前端面试题-网络篇

1.跨域问题 同源策略&#xff1a;需要协议、域名、端口号相同跨域原因&#xff1a;不符合同源策略便会产生跨域问题解决跨域&#xff1a;JSONP、配置代理、通过CORS解决 2.RPC和HTTP的区别 主要区别是序列化和反序列化&#xff0c;RPC通过二进制高效传输&#xff0c;HTTP是j…

AScript 的UI asui模板的导入

两种方案&#xff1a; 第一种直接在web端&#xff0c;右击UI文件夹 第二种在pycharm&#xff0c;也是右击UI文件夹 调用UI&#xff0c;在init类中直接调用即可

Transformer微调实战:通过低秩分解(LoRA)对T5模型进行微调(LoRA Fine Tune)

scient scient一个用python实现科学计算相关算法的包&#xff0c;包括自然语言、图像、神经网络、优化算法、机器学习、图计算等模块。 scient源码和编译安装包可以在Python package index获取。 The source code and binary installers for the latest released version ar…

Aria2安装和使用-Mac版

起因是需要网盘下载&#xff0c;无奈限速很烦&#xff0c;查找很多方案后&#xff0c;最终决定使用Aria2 Tampermonkey。 其中Aria2是一款开源轻量的下载软件&#xff0c;简单来说就是可以通过URL直接下载。 Tampermonkey则是一款插件&#xff0c;我这里是.crx结尾的谷歌插件…

文件IO函数:open/close,read/write,lseek

open和close函数 C语言中的文件IO操作需要使用到open()函数和close()函数来打开和关闭文件。 open()函数的原型如下&#xff1a; int open(const char *pathname, int flags); int open(const char *filename, int flags,mode_t mode);其中&#xff0c;filename表示要打开…