【工具】DataX 数据同步工具

简介

DataX 是阿里云 DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

Quick Start 【Mysql】

下载https://github.com/alibaba/DataX/releases
查看如下文档https://github.com/alibaba/DataX, 编写Job json：

如下所示

{"job": {"setting": {"speed": {"channel": 1}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "root","password": "root","column": ["*"],"splitPk": "id","connection": [{"table": ["oss_object"],"jdbcUrl": ["jdbc:mysql://ip1:3306/ys-oss?useSSL=false"  // 链接1]}]}},"writer": {"name": "mysqlwriter","parameter": {"writeMode": "insert","username": "root","password": "root","column": ["*"],"session": ["set session sql_mode='ANSI'"],"preSql": ["delete from oss_object_copy1"],"connection": [{"jdbc:mysql://ip1:3306/ys-oss?useSSL=false"  // 链接2"table": ["oss_object_copy1"]}]}}}]}
}

运行datax.py job1.json

2024-03-19 17:01:46.568 [job-0] INFO  JobContainer -
任务启动时刻                    : 2024-03-19 17:00:34
任务结束时刻                    : 2024-03-19 17:01:46
任务总计耗时                    :                 71s
任务平均流量                    :            1.38MB/s
记录写入速度                    :           9958rec/s
读出记录总数                    :              697071
读写失败总数                    :                   0