一、otter介绍

基于日志数据，用于MySQL或者ORACLE之间准实时同步数据。

用途：

mysql/oracle互相同步

中间表/行记录同步

二、原理及架构图

otter整体模块

manager (提供web页面进行同步管理)

arbitrate (分布式调度，可跨IDC机房)

node (同步过程setl)

canal / eromanga (同步数据来源)

大集群化部署

1个manager集群+ 多个IDC机房node组成

1. 基于Canal，获取数据库增量日志数据。

2. 典型管理系统架构，manager(web管理)+node(工作节点)

a. manager运行时推送同步配置到node节点

b. node节点将同步状态反馈到manager上

3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.

4.目前支持MySQL-->MySQL  MySQL-->ORACLE等异库之间同步

三、需要安装包

https://github.com/alibaba/otter/releases

manager.deployer-4.2.18.tar.gz

node.deployer-4.2.18.tar.gz

(安装时候可能需要安装下载工具，下载后编译安装https://liquidtelecom.dl.sourceforge.net/project/aria2/stable/aria2-1.19.0/aria2-1.19.0.tar.gz)

canal.deployer-1.1.4.tar.gz

四、安装简要步骤

manager安装

1.otter manager依赖于mysql进行配置信息的存储，所以需要预先安装mysql，并初始化otter manager的系统表结构

a. 安装mysql，这里不展开，网上一搜一大把

b. 初始化otter manager系统表：

2. 整个otter架构依赖了zookeeper进行多节点调度，所以需要预先安装zookeeper

a. manager需要在otter.properties中指定一个就近的zookeeper集群机器

## otter manager domain name #修改为正确访问ip，生成URL使用

otter.domainName = 127.0.0.1

## otter manager http portotter.port = 8082 #按需调整默认8080

## jetty web config xml otter.jetty = jetty.xml

otter manager database config ，修改为正确数据库信息

otter.database.driver.class.name = com.mysql.jdbc.Driver

otter.database.driver.url = jdbc:mysql://127.0.01:3306/ottermanager

otter.database.driver.username = root

otter.database.driver.password = Dr@.1214

otter.zookeeper.cluster.default = 127.0.0.1:2181

访问：

node安装

具体安装详见：https://github.com/alibaba/otter/wiki/Node_Quickstart

1. otter node会受otter manager进行管理，所以需要预先安装otter manager

2. 完成manager安装后，需要在manager页面为node定义配置信息，并生一个唯一id.

a. nid配置(将环境准备中添加机器后获取到的序号，保存到conf目录下的nid文件，比如我添加的机器对应序号为6)

3.node节点进行跨机房传输时，会使用到HTTP多线程传输技术，目前主要依赖了aria2c做为其下载客户端，后续会推出java版本.

a. aria2 官方首页：http://aria2.sourceforge.net/

b. 下载页面：http://sourceforge.net/projects/aria2/files/stable/

cancal安装

主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

canal 作为MySQL binlog增量获取和解析工具，可将变更记录投递到MQ系统中，比如Kafka/RocketMQ。也可以直接把数据发送到es hbase等

具体参考：

https://github.com/alibaba/canal

我们配置一个同步任务：

操作步骤： 1.  添加数据库

a. 源库 jdbc:mysql://localhost:3306

b. 目标库 jdbc:mysql://localhost:3370

2.  添加channel

说明：

a. 同步一致性

基于数据库反查 (简单点说，就是强制反查数据库，从binlog中拿到pk，直接反查对应数据库记录进行同步，回退到几天前binlog进行消费时避免同步老版本的数据时可采用)

基于当前日志变更 (基于binlog/redolog解析出来的字段变更值进行同步，不做数据库反查，推荐使用)

b. 同步模式

行模式 (兼容otter3的处理方案，改变记录中的任何一个字段，触发整行记录的数据同步，在目标库执行merge sql)

列模式 (基于log中的具体变更字段，按需同步)

c. 特殊组合：(同样支持)

基于数据库反查+列模式

基于当前日志变更+行模式

3.  添加同步表信息

a. 源数据表 demo.t_yq

b. 目标数据表 demo_3370.t_yq

4. 添加pipeline

a. 选择node节点

b. 选择canal

5. 添加同步映射规则

a. 定义源表和目标表的同步关系

6. 启动

7. 测试数据

源端插入数据

简单的介绍了otter使用，下期我们在看下双向同步以及canal同步数据到es