ETL异构数据源Datax_自增ID增量同步_12

文章目录

增量同步方法
1.先同步存量数据
2.再同步增量数据(根据自增ID、日期条件)
前提条件:
1.只针对数据增长,如果老数据被update/delete则无法使用增量同步方式。
基于主键自增ID增量同步

Oracle同步Mysql演示
idno采用序列自增
添加项目
在这里插入图片描述

AutoIncrID-Project

在这里插入图片描述
在这里插入图片描述

添加模板
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
构建reader,添加增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where idno > ${startId} and idno <= ${endId}

说明:
采用的是左开右闭 同步原则:
大于0小于等于当前最大max(idno)(0,1048576]
左闭右闭和左闭右开 都存在数据缺失和重复数据的现象!

在这里插入图片描述

构建writer
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

编辑任务
在这里插入图片描述
修改任务名称
辅助参数选择主键自增
在这里插入图片描述

-DstartId='%s' -DendId='%s'# 表名
otbs1#主键
idno

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

清理数据
将Mysql数据库中的otbs1数据清空
在这里插入图片描述
执行一次
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

查看实时日志,任务尚未执行完成,需要手动点击【刷新日志】
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Mysql最大的idno是1048576

上面是第一次同步存量数据,下一次同步应该是大于1048576小于 最大的idno,如果单独使用datax需要自己设置,datax-web帮我们做了这个事情。

刷新页面,点击编辑
在这里插入图片描述
在这里插入图片描述
在Oracle数据中的otbs1表中添加一条数据,这是同步应该是同步(1048576,max(idno)]简言之(1048576,1048577],同步数量为1条,对吧!

插入数据

-- 初始化数据
insert into OTBS1 (IDNO,COL1, COL2, COL3, DT, COL5,COL6, COL7,COL8, COL9, COL10)
Values (1048577,'字符串1', 1, 1696248667889, sysdate,3.141592653578,'字符串2','字符串3','字符串4','字符串5','字符串6');

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/517918.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

K8S从懵圈到熟练 - 节点下线姊妹篇

之前分享过一例集群节点NotReady的问题。在那个问题中&#xff0c;我们的排查路劲&#xff0c;从K8S集群到容器运行时&#xff0c;再到sdbus和systemd&#xff0c;不可谓不复杂。那个问题目前已经在systemd中做了修复&#xff0c;所以基本上能看到那个问题的几率是越来越低了。…

PLSQL 查询结果只显示年月日不显示时分秒的解决方法

PLSQL 14查询结果只显示年月日不显示时分秒的解决方法 如果plsql里面日期显示出现混乱&#xff0c;并且按照一般的调整首选项里日期格式调整不了&#xff0c;可以修改环境变量&#xff0c;新建环境变量&#xff0c;变量名&#xff1a;nls_date_format 变量值&#xff1a;YYYY-…

阿里云“网红“运维工程师白金:做一个平凡的圆梦人

他是阿里云的一位 P8 运维专家&#xff0c;却很有野心得给自己取花名“辟拾&#xff08;P10&#xff09;”&#xff1b; 他没有华丽的履历&#xff0c;仅凭着 26 年的热爱与坚持&#xff0c;一步一个脚印踏出了属于自己的技术逆袭之路&#xff1b; 他爱好清奇&#xff0c;练就了…

巧用 Trie 树,实现搜索引擎关键词提示功能

来源 | 码海责编 | Carol封图 | CSDN 付费下载于视觉中国我们几乎每天都在用搜索引擎搜索信息&#xff0c;相信大家肯定有注意过这样一个细节:当输入某个字符的时候&#xff0c;搜索引框底下会出现多个推荐词&#xff0c;如下&#xff0c;输入「python」后&#xff0c;底下会出…

这一团糟的代码,真的是我写的?!

阿里妹导读&#xff1a;你有没有遇到过这种情况&#xff1a;过几周或者几个月之后&#xff0c;再看到自己写的代码&#xff0c;感觉一团糟&#xff0c;不禁怀疑人生&#xff1f;我们每天都与代码打交道&#xff0c;但当被问道什么是好的代码时&#xff0c;很多人可能会先愣一下…

迅雷下载Linux Oracle11gR2和Oracle12c

很多朋友分享的都是百度云盘链接&#xff0c;那个下载速度对于贫民来说&#xff0c;真的是等到花都谢了 而Oracle官网现在只能下载Oracle19C了&#xff0c;特此分享11和12版本的迅雷下载链接 11g下载链接&#xff1a; https://download.oracle.com/otn/linux/oracle11g/R2/lin…

除了吃月饼,中秋节还能干啥?

明天 八月十五&#xff0c;团圆夜 花好月圆之际 除了吃月饼&#xff0c;还能干啥&#xff1f; 阿里妹带来双重好礼&#xff0c;陪你过中秋~ &#xff08;往下看&#xff0c;送云栖大会三日通票哦&#xff09; 1重礼 — 阿里技术热门精选 — 《Java 开发手册》发布&#…

恭喜了!5 月逼自己学下这项技能,年薪 35 万起

你觉得 15 年内自己所在的 IT 行业很安全吗&#xff1f;No&#xff01;据麦肯锡全球研究院发布的一份就业报告中显示&#xff0c;到 2030 年&#xff0c;中国预计将有 1200 万&#xff5e; 1.02 亿人面临重新就业的局面。越来越多的人学习编程不再只是为了当程序员&#xff0c;…

Linux7/Redhat7/Centos7 安装Oracle 12C_系统安装_01

文章目录一、安装虚拟机1. 新建虚拟机2. 稍后安装3. 选择linux版本4. 安装位置5. 处理器配置6. 内存配置7. 网络配置8. 创建新磁盘9. 设置磁盘大小10. 选择镜像&#xff0c;完成二、虚拟机配置2.1. 重新启动2.2. 选择语言2.3. 设置时区2.4. 选择安装模式2.5. 自定义分区2.6. 接…

源码分析RocketMQ ACL实现机制

有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》&#xff0c;本文从源码的角度&#xff0c;分析一下RocketMQ ACL的实现原理。 备注&#xff1a;RocketMQ在4.4.0时引入了ACL机制&#xff0c;本文代码基于RocketMQ4.5.0版本。 根据RocketMQ ACL使用手册&#xff0c…

Linux7/Redhat7/Centos7 安装Oracle 12C_配置IP、系统参数_02

文章目录一、基础配置1. 重新启动2. 安装VMware Tools3. 修改主机名4. 网络配置5. 重新加载网络二、配置系统参数2.1. 检查硬件环境2.2. 查看共享内存大小2.3. 创建用户和组2.4. 配置内核参数2.5. 配置资源限制2.6. 创建目录赋予权限2.7. 设置环境变量2.8. 映射配置三、基础关闭…

华为:跨过时艰,向未来

[中国&#xff0c;深圳&#xff0c;2020年5月18日] 华为公司第十七届全球分析师大会18日在深圳开幕。华为与来自全球的2000多名行业分析师&#xff0c;金融分析师&#xff0c;通讯、互联网、金融等行业意见领袖和媒体一起&#xff0c;以现场在线的方式&#xff0c;共同探讨在当…

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么&#xff0c;和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop&#xff1f; Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统&#xff0c;主要用来解决海量数据的存储、分析、分布式…

Linux7/Redhat7/Centos7 安装Oracle 12C_配置VNC远程安装数据库_03

文章目录1. yum安装VNC2. 在线安装时钟3. VNC配置4. 重新加载5. 加入开机自启动6. 启动vncserver7. vnc测试1. yum安装VNC # 在线安装vnc yum install tigervnc-server2. 在线安装时钟 # 在线安装时钟为了测试远程连接oracle主服务器图形化 yum install xclock3. VNC配置 # …

对不起,我把APP也给爬了

来源 | 凹凸数据责编 | Carol封图 | CSDN 付费下载于视觉中国最近群里很多小伙伴对爬取手机App和小程序感兴趣&#xff0c;今天本厨师将给大家呈现这道菜&#xff0c;供小伙伴们品尝。相信大家都对爬虫有一定的了解&#xff0c;我们爬PC端时候可以打开F12去观察url的变化&#…

从踩坑到填坑|淘宝Web 3D应用与游戏开发实战

导读&#xff1a;本文是淘宝前端技术专家——徐乾伟&#xff08;烧鹅&#xff09;分享的淘宝 Web 3D 应用与游戏开发实战&#xff0c;这个话题在业界被谈及得比较少。今天将会从移动、3D、游戏三种交叉的话题来和大家探讨。接下来和小编一起从初试 Web 3D、使用 WebGL、工作流相…

Warning: Missing charsets in String to FontSet conversion

当出现Warning: Missing charsets in String to FontSet conversion时 输入export LANGC即可解决

sstableloader工具使用及原理解析

sstableloader是cassandra提供的bulkload工具&#xff0c;可以将sstable文件导入到集群中。本文详细介绍其用法和实现原理。 用法 sstableloader工具在cassandra的bin目录下面&#xff0c;用法如下&#xff1a; bin/sstableloader <options> <dir_path> 具体的…

什么是工程师文化?

作者 | 王尊&#xff0c;帷幄 Whale CTO责编 | 唐小引头图 | CSDN 下载自东方 IC出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;什么是工程师文化&#xff1f;这篇文章的契机&#xff0c;是在 Whale All Hands 上团队成员提出的问题基础上展开的。All Hands 后我在…

Linux7/Redhat7/Centos7 安装Oracle 12C_安装Oracle软件_04

文章目录一、安装准备1. 下载oracle12c2. 上传oracle12c3. 赋予权限4. vnc远程连接主机5. 解压5. 安装二、安装流程2.1. 邮箱设置2.2. 只安装数据库软件2.2. 单实例数据库安装2.3. 企业级数据库2.4. 校验依赖2.5. 依赖安装2.6. root执行脚本2.7. OK2.8. 完成安装一、安装准备 …