ETL异构数据源Datax_日期增量同步

ETL异构数据源Datax_日期增量同步_13

文章目录

- - - - 一、全量同步
      - 1. 增量同步SQL
        2. 构建reader
        3. 构建writer
        4. 字段对应关系映射
        5. 构建json
        6. 选择同步模板
        7. 查询最早时间
        8. 修改任务信息
        9. 添加增量参数
        10. 数据清理
        11. 执行任务
        12. 查看执行日期
        13. 数据验证
        15. 查看同步脚本
      - 二、基于日期增量同步
      - 2.1. 新增新数据
        2.2. 执行数据同步
        2.3. 查看日志
        2.4. 查看数据库
        2.5. 日期选取

一、全量同步

声明：
以增量方式数据同步，第一次是全量同步，从第二次同步开始以第一次同步完成后的时间为开始时间，进行增量同步！
注：咱们添加项目、添加任务模板先用以前的，直接任务构建

1. 增量同步SQL

		select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt > to_date(${lastTime},'yyyy-mm-dd hh24:mi:ss') and dt <= to_date(${currentTime},'yyyy-mm-dd hh24:mi:ss')

2. 构建reader

构建reader，填写增量同步SQL
在这里插入图片描述

3. 构建writer

在这里插入图片描述

4. 字段对应关系映射

在这里插入图片描述

5. 构建json

在这里插入图片描述

6. 选择同步模板

基础模板，可以在执行同步前进行任务信息的修改
在这里插入图片描述

刷新页面

7. 查询最早时间

查询同步数据的最早时间和最晚时间，等会会以最早时间为开始时间进行同步
在这里插入图片描述

在这里插入图片描述

8. 修改任务信息

在这里插入图片描述

9. 添加增量参数

在这里插入图片描述

-DlastTime='%s' -DcurrentTime='%s'

在这里插入图片描述

10. 数据清理

清空mysql数据库otbs1表的数据
在这里插入图片描述

11. 执行任务

在这里插入图片描述

12. 查看执行日期

在这里插入图片描述
如果不显示就刷新页面

13. 数据验证

在这里插入图片描述

15. 查看同步脚本

存量同步完成之后，查看同步脚本
在这里插入图片描述

在这里插入图片描述
从图中可以看出，以增量形式同步全量第一次完成后，开始时间自动变更成了当前时间，以后增量同步，就会一当前时间作为开始时间继续增量同步！

二、基于日期增量同步

查询数据库目前idno最大值
在这里插入图片描述
1048577

2.1. 新增新数据

新增3条数据

insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048578', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048579', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048580', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');