ETL异构数据源Datax_自增ID增量同步_12

文章目录

增量同步方法
1.先同步存量数据
2.再同步增量数据(根据自增ID、日期条件)
前提条件:
1.只针对数据增长,如果老数据被update/delete则无法使用增量同步方式。
基于主键自增ID增量同步

Oracle同步Mysql演示
idno采用序列自增
添加项目
在这里插入图片描述

AutoIncrID-Project

在这里插入图片描述
在这里插入图片描述

添加模板
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
构建reader,添加增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where idno > ${startId} and idno <= ${endId}

说明:
采用的是左开右闭 同步原则:
大于0小于等于当前最大max(idno)(0,1048576]
左闭右闭和左闭右开 都存在数据缺失和重复数据的现象!

在这里插入图片描述

构建writer
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

编辑任务
在这里插入图片描述
修改任务名称
辅助参数选择主键自增
在这里插入图片描述

-DstartId='%s' -DendId='%s'# 表名
otbs1#主键
idno

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

清理数据
将Mysql数据库中的otbs1数据清空
在这里插入图片描述
执行一次
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

查看实时日志,任务尚未执行完成,需要手动点击【刷新日志】
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Mysql最大的idno是1048576

上面是第一次同步存量数据,下一次同步应该是大于1048576小于 最大的idno,如果单独使用datax需要自己设置,datax-web帮我们做了这个事情。

刷新页面,点击编辑
在这里插入图片描述
在这里插入图片描述
在Oracle数据中的otbs1表中添加一条数据,这是同步应该是同步(1048576,max(idno)]简言之(1048576,1048577],同步数量为1条,对吧!

插入数据

-- 初始化数据
insert into OTBS1 (IDNO,COL1, COL2, COL3, DT, COL5,COL6, COL7,COL8, COL9, COL10)
Values (1048577,'字符串1', 1, 1696248667889, sysdate,3.141592653578,'字符串2','字符串3','字符串4','字符串5','字符串6');

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/517918.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

break continye

break continye 质数&#xff1a;大于1的自然数中&#xff0c;除了1和他本身以外不再有其它因数的自然数 break 在循环语句的主体部分&#xff0c;均可以用break语句来控制循环的流程。break用于强制退出循环&#xff0c; 不执行循环中剩下的语句。&#xff08;break语句也…

K8S从懵圈到熟练 - 节点下线姊妹篇

之前分享过一例集群节点NotReady的问题。在那个问题中&#xff0c;我们的排查路劲&#xff0c;从K8S集群到容器运行时&#xff0c;再到sdbus和systemd&#xff0c;不可谓不复杂。那个问题目前已经在systemd中做了修复&#xff0c;所以基本上能看到那个问题的几率是越来越低了。…

PLSQL 查询结果只显示年月日不显示时分秒的解决方法

PLSQL 14查询结果只显示年月日不显示时分秒的解决方法 如果plsql里面日期显示出现混乱&#xff0c;并且按照一般的调整首选项里日期格式调整不了&#xff0c;可以修改环境变量&#xff0c;新建环境变量&#xff0c;变量名&#xff1a;nls_date_format 变量值&#xff1a;YYYY-…

阿里云“网红“运维工程师白金:做一个平凡的圆梦人

他是阿里云的一位 P8 运维专家&#xff0c;却很有野心得给自己取花名“辟拾&#xff08;P10&#xff09;”&#xff1b; 他没有华丽的履历&#xff0c;仅凭着 26 年的热爱与坚持&#xff0c;一步一个脚印踏出了属于自己的技术逆袭之路&#xff1b; 他爱好清奇&#xff0c;练就了…

巧用 Trie 树,实现搜索引擎关键词提示功能

来源 | 码海责编 | Carol封图 | CSDN 付费下载于视觉中国我们几乎每天都在用搜索引擎搜索信息&#xff0c;相信大家肯定有注意过这样一个细节:当输入某个字符的时候&#xff0c;搜索引框底下会出现多个推荐词&#xff0c;如下&#xff0c;输入「python」后&#xff0c;底下会出…

打印三角形流程控制练习

流程控制练习 打印三角形 package com.boss.struct;public class TestDemo {public static void main(String[] args) {//打印三角形 5行for (int i 0; i < 5; i) {for (int j 5; j >i;j--) {System.out.print(" ");}for (int j 1; j <i ; j) {System.o…

这一团糟的代码,真的是我写的?!

阿里妹导读&#xff1a;你有没有遇到过这种情况&#xff1a;过几周或者几个月之后&#xff0c;再看到自己写的代码&#xff0c;感觉一团糟&#xff0c;不禁怀疑人生&#xff1f;我们每天都与代码打交道&#xff0c;但当被问道什么是好的代码时&#xff0c;很多人可能会先愣一下…

迅雷下载Linux Oracle11gR2和Oracle12c

很多朋友分享的都是百度云盘链接&#xff0c;那个下载速度对于贫民来说&#xff0c;真的是等到花都谢了 而Oracle官网现在只能下载Oracle19C了&#xff0c;特此分享11和12版本的迅雷下载链接 11g下载链接&#xff1a; https://download.oracle.com/otn/linux/oracle11g/R2/lin…

除了吃月饼,中秋节还能干啥?

明天 八月十五&#xff0c;团圆夜 花好月圆之际 除了吃月饼&#xff0c;还能干啥&#xff1f; 阿里妹带来双重好礼&#xff0c;陪你过中秋~ &#xff08;往下看&#xff0c;送云栖大会三日通票哦&#xff09; 1重礼 — 阿里技术热门精选 — 《Java 开发手册》发布&#…

恭喜了!5 月逼自己学下这项技能,年薪 35 万起

你觉得 15 年内自己所在的 IT 行业很安全吗&#xff1f;No&#xff01;据麦肯锡全球研究院发布的一份就业报告中显示&#xff0c;到 2030 年&#xff0c;中国预计将有 1200 万&#xff5e; 1.02 亿人面临重新就业的局面。越来越多的人学习编程不再只是为了当程序员&#xff0c;…

Linux7/Redhat7/Centos7 安装Oracle 12C_系统安装_01

文章目录一、安装虚拟机1. 新建虚拟机2. 稍后安装3. 选择linux版本4. 安装位置5. 处理器配置6. 内存配置7. 网络配置8. 创建新磁盘9. 设置磁盘大小10. 选择镜像&#xff0c;完成二、虚拟机配置2.1. 重新启动2.2. 选择语言2.3. 设置时区2.4. 选择安装模式2.5. 自定义分区2.6. 接…

Java方法详解

Java方法详解 什么是方法 System.out.println(),那么它是什么&#xff1f; System&#xff1a;系统的一个类&#xff0c;out&#xff1a;输出对象&#xff0c;println&#xff08;&#xff09;&#xff1a;方法 调用System&#xff1a;系统的一个类中的out&#xff1a;输出…

源码分析RocketMQ ACL实现机制

有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》&#xff0c;本文从源码的角度&#xff0c;分析一下RocketMQ ACL的实现原理。 备注&#xff1a;RocketMQ在4.4.0时引入了ACL机制&#xff0c;本文代码基于RocketMQ4.5.0版本。 根据RocketMQ ACL使用手册&#xff0c…

Linux7/Redhat7/Centos7 安装Oracle 12C_配置IP、系统参数_02

文章目录一、基础配置1. 重新启动2. 安装VMware Tools3. 修改主机名4. 网络配置5. 重新加载网络二、配置系统参数2.1. 检查硬件环境2.2. 查看共享内存大小2.3. 创建用户和组2.4. 配置内核参数2.5. 配置资源限制2.6. 创建目录赋予权限2.7. 设置环境变量2.8. 映射配置三、基础关闭…

华为:跨过时艰,向未来

[中国&#xff0c;深圳&#xff0c;2020年5月18日] 华为公司第十七届全球分析师大会18日在深圳开幕。华为与来自全球的2000多名行业分析师&#xff0c;金融分析师&#xff0c;通讯、互联网、金融等行业意见领袖和媒体一起&#xff0c;以现场在线的方式&#xff0c;共同探讨在当…

JAVA的方法的定义和调用

JAVA的方法的定义 java的方法类类似于其他语言的函数&#xff0c;是一段用来完成特点功能的代码片段&#xff0c;一般情况下&#xff0c;定义一个方法包含以下语法&#xff1a; 修饰符 返回值类型 方法名&#xff08;参数类型&#xff0c;参数名&#xff09;{……方法体……r…

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么&#xff0c;和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop&#xff1f; Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统&#xff0c;主要用来解决海量数据的存储、分析、分布式…

消灭 Java 代码的“坏味道”

导读 明代王阳明先生在《传习录》谈为学之道时说&#xff1a; 私欲日生&#xff0c;如地上尘&#xff0c;一日不扫&#xff0c;便又有一层。着实用功&#xff0c;便见道无终穷&#xff0c;愈探愈深&#xff0c;必使精白无一毫不彻方可。 代码中的"坏味道"&#xff0…

Linux7/Redhat7/Centos7 安装Oracle 12C_配置VNC远程安装数据库_03

文章目录1. yum安装VNC2. 在线安装时钟3. VNC配置4. 重新加载5. 加入开机自启动6. 启动vncserver7. vnc测试1. yum安装VNC # 在线安装vnc yum install tigervnc-server2. 在线安装时钟 # 在线安装时钟为了测试远程连接oracle主服务器图形化 yum install xclock3. VNC配置 # …

对不起,我把APP也给爬了

来源 | 凹凸数据责编 | Carol封图 | CSDN 付费下载于视觉中国最近群里很多小伙伴对爬取手机App和小程序感兴趣&#xff0c;今天本厨师将给大家呈现这道菜&#xff0c;供小伙伴们品尝。相信大家都对爬虫有一定的了解&#xff0c;我们爬PC端时候可以打开F12去观察url的变化&#…