一、otter介绍
基于日志数据,用于MySQL或者ORACLE之间准实时同步数据。
用途:
mysql/oracle互相同步
中间表/行记录同步
二、原理及架构图
otter整体模块
manager (提供web页面进行同步管理)
arbitrate (分布式调度,可跨IDC机房)
node (同步过程setl)
canal / eromanga (同步数据来源)
大集群化部署
1个manager集群+ 多个IDC机房node组成
1. 基于Canal,获取数据库增量日志数据。
2. 典型管理系统架构,manager(web管理)+node(工作节点)
a. manager运行时推送同步配置到node节点
b. node节点将同步状态反馈到manager上
3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作.
4.目前支持MySQL-->MySQL MySQL-->ORACLE等异库之间同步
三、需要安装包
https://github.com/alibaba/otter/releases
manager.deployer-4.2.18.tar.gz
node.deployer-4.2.18.tar.gz
(安装时候可能需要安装下载工具,下载后编译安装https://liquidtelecom.dl.sourceforge.net/project/aria2/stable/aria2-1.19.0/aria2-1.19.0.tar.gz)
canal.deployer-1.1.4.tar.gz
四、安装简要步骤
manager安装
1.otter manager依赖于mysql进行配置信息的存储,所以需要预先安装mysql,并初始化otter manager的系统表结构
a. 安装mysql,这里不展开,网上一搜一大把
b. 初始化otter manager系统表:
2. 整个otter架构依赖了zookeeper进行多节点调度,所以需要预先安装zookeeper
a. manager需要在otter.properties中指定一个就近的zookeeper集群机器
## otter manager domain name #修改为正确访问ip,生成URL使用
otter.domainName = 127.0.0.1
## otter manager http portotter.port = 8082 #按需调整默认8080
## jetty web config xml otter.jetty = jetty.xml
otter manager database config ,修改为正确数据库信息
otter.database.driver.class.name = com.mysql.jdbc.Driver
otter.database.driver.url = jdbc:mysql://127.0.01:3306/ottermanager
otter.database.driver.username = root
otter.database.driver.password = Dr@.1214
otter.zookeeper.cluster.default = 127.0.0.1:2181
访问:
node安装
具体安装详见:https://github.com/alibaba/otter/wiki/Node_Quickstart
1. otter node会受otter manager进行管理,所以需要预先安装otter manager
2. 完成manager安装后,需要在manager页面为node定义配置信息,并生一个唯一id.
a. nid配置(将环境准备中添加机器后获取到的序号,保存到conf目录下的nid文件,比如我添加的机器对应序号为6)
3.node节点进行跨机房传输时,会使用到HTTP多线程传输技术,目前主要依赖了aria2c做为其下载客户端,后续会推出java版本.
a. aria2 官方首页:http://aria2.sourceforge.net/
b. 下载页面:http://sourceforge.net/projects/aria2/files/stable/
cancal安装
主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。
canal 作为MySQL binlog增量获取和解析工具,可将变更记录投递到MQ系统中,比如Kafka/RocketMQ。也可以直接把数据发送到es hbase等
具体参考:
https://github.com/alibaba/canal
我们配置一个同步任务:
操作步骤: 1. 添加数据库
a. 源库 jdbc:mysql://localhost:3306
b. 目标库 jdbc:mysql://localhost:3370
2. 添加channel
说明:
a. 同步一致性
基于数据库反查 (简单点说,就是强制反查数据库,从binlog中拿到pk,直接反查对应数据库记录进行同步,回退到几天前binlog进行消费时避免同步老版本的数据时可采用)
基于当前日志变更 (基于binlog/redolog解析出来的字段变更值进行同步,不做数据库反查,推荐使用)
b. 同步模式
行模式 (兼容otter3的处理方案,改变记录中的任何一个字段,触发整行记录的数据同步,在目标库执行merge sql)
列模式 (基于log中的具体变更字段,按需同步)
c. 特殊组合:(同样支持)
基于数据库反查+列模式
基于当前日志变更+行模式
3. 添加同步表信息
a. 源数据表 demo.t_yq
b. 目标数据表 demo_3370.t_yq
4. 添加pipeline
a. 选择node节点
b. 选择canal
5. 添加同步映射规则
a. 定义源表和目标表的同步关系
6. 启动
7. 测试数据
源端插入数据
简单的介绍了otter使用,下期我们在看下双向同步以及canal同步数据到es