ETL异构数据源Datax_MySQL同步Oracle(全量)_07

文章目录

            • 1. 清除Oracle数据库中OTBS1表的数据
            • 2. 构建json
            • 3. 执行脚本
            • 4. 同步验证
            • 5. 同步分析
            • 7. 同步结果

1. 清除Oracle数据库中OTBS1表的数据
Truncate TABLE OTBS1;
2. 构建json
{"core": {"transport": {"channel": {"speed": {"byte": 1048576}}}},"job": {"setting": {"speed": {"channel": 5},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"splitPk": "IDNO","connection": [{"jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/datax"],"table": ["otbs1"]}],"username": "root","password": "123456"}},"writer": {"name": "oraclewriter","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"connection": [{"jdbcUrl": "jdbc:oracle:thin:@192.xxx.xxx.128xxx1521:orcl","table": ["TEST.OTBS1"]}],"username": "username","password": "password"}}}]}
}
3. 执行脚本
python /app/datax/bin/datax.py /app/datax/job/mysql2oracle
4. 同步验证

在这里插入图片描述
在这里插入图片描述

5. 同步分析

在这里插入图片描述

2021-06-23 14:01:53.357 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2021-06-23 14:01:53.358 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do prepare work .
2021-06-23 14:01:53.359 [job-0] INFO  JobContainer - DataX Writer.Job [oraclewriter] do prepare work .
2021-06-23 14:01:53.360 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2021-06-23 14:01:53.361 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
2021-06-23 14:01:53.387 [job-0] INFO  SingleTableSplitUtil - split pk [sql=SELECT MIN(IDNO),MAX(IDNO) FROM otbs1] is running... 
2021-06-23 14:01:53.450 [job-0] INFO  SingleTableSplitUtil - After split(), allQuerySql=[
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (1 <= IDNO AND IDNO < 41944) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (41944 <= IDNO AND IDNO < 83887) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (83887 <= IDNO AND IDNO < 125830) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (125830 <= IDNO AND IDNO < 167773) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (167773 <= IDNO AND IDNO < 209716) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (209716 <= IDNO AND IDNO < 251659) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (251659 <= IDNO AND IDNO < 293602) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (293602 <= IDNO AND IDNO < 335545) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (335545 <= IDNO AND IDNO < 377488) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (377488 <= IDNO AND IDNO < 419431) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (419431 <= IDNO AND IDNO < 461374) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (461374 <= IDNO AND IDNO < 503317) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (503317 <= IDNO AND IDNO < 545260) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (545260 <= IDNO AND IDNO < 587203) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (587203 <= IDNO AND IDNO < 629146) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (629146 <= IDNO AND IDNO < 671089) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (671089 <= IDNO AND IDNO < 713032) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (713032 <= IDNO AND IDNO < 754975) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (754975 <= IDNO AND IDNO < 796918) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (796918 <= IDNO AND IDNO < 838861) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (838861 <= IDNO AND IDNO < 880804) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (880804 <= IDNO AND IDNO < 922747) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (922747 <= IDNO AND IDNO < 964690) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (964690 <= IDNO AND IDNO < 1006633) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  (1006633 <= IDNO AND IDNO <= 1048576) 
select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1  where  IDNO IS NULL
].
2021-06-23 14:01:53.451 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] splits to [26] tasks.
2021-06-23 14:01:53.464 [job-0] INFO  JobContainer - DataX Writer.Job [oraclewriter] splits to [26] tasks.
2021-06-23 14:01:53.539 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2021-06-23 14:01:53.577 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2021-06-23 14:01:53.581 [job-0] INFO  JobContainer - Running by standalone Mode.
2021-06-23 14:01:53.634 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [5] channels for [26] tasks.
2021-06-23 14:01:53.659 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to 1048576.
2021-06-23 14:01:53.659 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
7. 同步结果
2021-06-23 14:02:13.668 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-06-23 14:01:52
任务结束时刻                    : 2021-06-23 14:02:13
任务总计耗时                    :                 21s
任务平均流量                    :            3.30MB/s
记录写入速度                    :          52428rec/s
读出记录总数                    :             1048576
读写失败总数                    :                   0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/517971.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

左手代码右手滑板 支付宝这个程序员有些酷

走在杭州支付宝z空间的园区&#xff0c;常常可以看到一个脚踩滑板&#xff0c;脑后扎个发髻的男青年。 他叫边柳。来蚂蚁金服三年&#xff0c;除了是一名前端码农&#xff0c;也是一位斜杠青年。捧着程序员的“饭碗”&#xff0c;兼顾着滑板和摇滚的爱好&#xff0c;可以说他过…

2019阿里云910会员节大促主会场全攻略

2019阿里云910会员大促活动已经于8月28日正式开启&#xff0c;从已开放的活动页面来看&#xff0c;整场大促活动由阿里云10年有礼时光机、爆款产品推荐、七大分会场组成。 在910这个秋季大幅度优惠促销日&#xff0c;怎样才能花最少的钱配置最特惠的云服务&#xff1f;云栖社区…

变量 常量 作用域和命名规范

变量 常量 作用域和命名规范 变量&#xff1a; 变量&#xff1a;可以变化的量 java是一种强类型的语言&#xff0c;每个变量必须声明其类型。 Java变量是程序中最基本的储存单位&#xff0c;其要素包括变量名。变量类型和作业域 注意事项 每个变量都有类型&#xff0c;类型…

浪潮商用机器与腾讯TDSQL完成互认证 共同拓展Power行业生态

日前&#xff0c;浪潮商用机器有限公司宣布&#xff0c;旗下K1 Power服务器系列产品经过几十项基础功能和高可用功能用例的专业测试&#xff0c;与腾讯新兴国产分布式数据库TDSQL完美兼容&#xff0c;且性能优异&#xff0c;可进行顺利的部署、平稳的运行及对外提供服务。此次互…

历时五天用 SwiftUI 做了一款 APP,阿里工程师如何做的?

作者|姜沂(倾寒) 出品|阿里巴巴新零售淘系技术部 导读&#xff1a;自 2014 年苹果发布会发布 Swift 之后, Swift 经过多年迭代&#xff0c;终于达到了 ABI 稳定版本&#xff0c;也意味着 Swift 做为稳定的得语言&#xff0c;值得用在大型 APP&#xff0c; 用来生产环境中。 2…

Istio从懵圈到熟练 – 二分之一活的微服务

Istio is the future&#xff01;基本上&#xff0c;我相信对云原生技术趋势有些微判断的同学&#xff0c;都会有这个觉悟。其背后的逻辑其实是比较简单的&#xff1a;当容器集群&#xff0c;特别是K8S成为事实上的标准之后&#xff0c;应用必然会不断的复杂化&#xff0c;服务…

数据结构与算法、讲解、动态规划一脸懵?看完之后轻松掌握!

来源 | 昊天码字责编 | Carol封图 | CSDN 付费下载于视觉中国碰到动态规划问题摸不着头脑&#xff1f;总结不出动态规划的类型&#xff1f;有多少人曾经历过这种迷茫与无助&#xff1f;看完本文&#xff0c;让你一脚迈进动态规划的大门。我们在用递归求解问题的过程中&#xff…

应用优雅上下线

1. 概述 kubernetes滚动升级的过程&#xff1a; 集群Deployment 或者 Statefulset 发生变化&#xff0c;触发部署滚动升级&#xff1b; 根据 Deolyement 等配置&#xff0c;K8S集群首先启动新的POD来替代老 POD&#xff1b; Deployemnt 根据配置调度 POD,拉取镜像&#xff0c;…

算术运算符

运算符 算术运算符&#xff1a;&#xff0c;-&#xff0c;*&#xff0c;/&#xff0c;%&#xff0c;&#xff0c;–赋值运算符&#xff1a;关系运算符&#xff1a;>,<,>,<,,!,instanceof逻辑运算符&#xff1a;&&,||,!位运算符&#xff1a;&&#xff…

搜索场景下的智能推荐演变之路

摘要&#xff1a;传统的推荐手段主要还是深度挖掘用户行为和内容本身相似性的价值&#xff0c;包括但不限于协同过滤&#xff0c;内容表征向量召回&#xff0c;以及各式各样的点击率预估模型&#xff0c;然后这样的推荐行为缺乏内在的逻辑性和可解释性&#xff0c;有一种知其然…

调查了 17,000 多位程序员,当前的云原生开发现状究竟如何?

整理 | 弯月&#xff0c;责编 | 郭芮头图 | CSDN 下载自东方IC出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;容器的标准化使用改变了软件的开发方式&#xff0c;我们迎来了开发运维的时代&#xff0c;基于云原生的开发能够帮助我们构建更灵活、更强大的应用程序。…

阿里研究员:测试稳定性三板斧,我怎么用?

阿里妹导读&#xff1a;如何治理测试稳定性问题&#xff1f;很多人会说&#xff1a;环境、流程管控、监控、工具化、加机器、专人负责、等等。这些都是对的。不过这些都是解决方案层面的&#xff0c;而不是方法论和理论体系层面的。今天&#xff0c;阿里研究员郑子颖来说说测试…

阿里架构总监一次讲透中台架构,13页PPT精华详解,建议收藏!

本文整理了阿里几位技术专家&#xff0c;如架构总监 谢纯良&#xff0c;中间件技术专家 玄难等几位大牛&#xff0c;关于中台架构的几次分享内容&#xff0c;将业务中台形态、中台全局架构、业务中台化、中台架构图、中台建设方法论、中台组织架构、企业中台建设实施步骤等总共…

逻辑运算符,位运算符

逻辑运算符&#xff0c;位运算符 逻辑运算符 package operator;//逻辑运算符 public class Demo05 {public static void main(String[] args) {//与 或 非boolean atrue;boolean bfalse;System.out.println("a&&b:"(a&&b));//逻辑与&#xff0c;…

Redis 6.0 的客户端缓存是怎么肥事?一文带你了解!

来源 | 程序员历小冰责编 | Carol封图 | CSDN 付费下载于视觉中国近日 Redis 6.0.0 GA 版本发布&#xff0c;这是 Redis 历史上最大的一次版本更新&#xff0c;包括了客户端缓存 (Client side caching)、ACL、Threaded I/O 和 Redis Cluster Proxy 等诸多更新。我们今天就依次聊…

AI时代,你的职业会是?99%的人都无法直面!

在我10岁的时候&#xff0c;算命先生曾对说我30岁时我会每天与八阿哥玩在一起。 当时懵懂的我一脸茫然&#xff0c;想着谁是我的八阿哥&#xff0c;却在30岁的这一年意识到自己确实日以继夜的与八阿哥在一起。 曾经&#xff0c;我们也担心自己未来的工作岗位是否会被人工智能给…

三元运算符和总结

三元运算符和总结 运算符的优先级 () 条件运算符 package operator;public class Demo07 {public static void main(String[] args) {int a10;int b20;ab;//aaba-b;//aa-bSystem.out.println(a);//字符串连接符 &#xff0c;StringSystem.out.println(""ab);//10,…

Java 12 新特性概述

Java 12 已如期于 3 月 19 日正式发布&#xff0c;此次更新是 Java 11 这一长期支持版本发布之后的一次常规更新&#xff0c;截至目前&#xff0c;Java 半年为发布周期&#xff0c;并且不会跳票承诺的发布模式&#xff0c;已经成功运行一年多了。通过这样的方式&#xff0c;Jav…

5G +边缘计算,优酷如何做云渲染?

作者| 阿里文娱高级技术专家 伊耆责编 | 屠敏头图 | CSDN 下载自东方 IC出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;当5G来了&#xff0c;视频还是平面的影像吗&#xff0c;只能静静观看吗&#xff1f;一定不是&#xff01;现在&#xff0c;你可以像玩游戏一样…

不做会死!互联网时代的企业必定都要实现中台

AI 前线导读&#xff1a; 自 2018 年底以来&#xff0c;伴随着阿里、腾讯、百度、京东等一众互联网巨头的大规模组织架构调整&#xff0c;“中台”的热度陡然攀升。一时间&#xff0c;各大互联网公司纷纷开始跟随建设中台。中台的概念是被阿里带火的&#xff0c;2015 年&#x…