ETL异构数据源Datax_使用querySql_08

使用说明
当用户配置了这一项之后,DataX系统就会忽略table,column
这些配置型,直接使用这个配置项的内容对数据进行筛选,例
如需要进行多表join后同步数据,使用select a,b from table_a
join table_b on table_a.id = table_b.id
当用户配置querySql时,OracleReader/MysqlReader直接忽略
table、column、where条件的配置,querySql优先级大于
table、column、where选项。

文章目录

            • 1. 清空Oracle数据
            • 2. 构建json
            • 3. 执行脚本
            • 4. 同步验证
            • 5. 同步结果

1. 清空Oracle数据
Truncate TABLE OTBS1;

在这里插入图片描述

2. 构建json
vim querySql.json
{"job": {"setting": {"speed": {"channel": 5},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"connection": [{"querySql": ["select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where IDNO <= 1000"],"jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/datax"]}],"username": "root","password": "123456"}},"writer": {"name": "oraclewriter","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"connection": [{"jdbcUrl": "jdbc:oracle:thin:@192.xxx.xxx.xxx:1521:orcl","table": ["DB.OTBS1"]}],"username": "username","password": "password"}}}]}
}
3. 执行脚本
 python /app/datax/bin/datax.py /app/datax/job/querySql.json
4. 同步验证

在这里插入图片描述

5. 同步结果
2021-06-23 14:22:12.186 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-06-23 14:22:01
任务结束时刻                    : 2021-06-23 14:22:12
任务总计耗时                    :                 10s
任务平均流量                    :            6.14KB/s
记录写入速度                    :            100rec/s
读出记录总数                    :                1000
读写失败总数                    :                   0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/517948.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我被“非结构化数据包围了”,请求支援!

阿里妹导读&#xff1a;非结构化数据的内容占据了当前数据海洋的80%。换句话来说&#xff0c;就是我们都被“非结构化数据”包围了。由于非结构化数据的信息量和信息的重要程度很难被界定&#xff0c;因此对非结构化数据的使用成为了难点。如果说结构化数据用详实的方式记录了企…

82年 AI程序员征婚启示火了!年薪百万,女生神回复

最近在某社区&#xff0c;一则程序员征婚启示火了&#xff01;很多女生在评论区表示“全中”&#xff0c;想交流看看。然后评论区就炸了&#xff0c;有人恶意说yp&#xff0c;有人说看中了楼主的钱。笔者一翻&#xff0c;发现楼主果然无意中透露了百万年薪收入&#xff0c;虽然…

AWS 专家教你使用 Spring Boot 和 DJL ,轻松搭建企业级机器学习微服务!

作者 | Qing Lan&#xff0c;Mikhail Shapirov责编 | Carol封图 | CSDN 下载自视觉中国出品 | CSDN云计算&#xff08;ID&#xff1a;CSDNcloud&#xff09;许多AWS云服务的用户&#xff0c;无论是初创企业还是大公司&#xff0c;都在逐步将机器学习 (ML) 和深度学习 (DL) 任务…

【从入门到放弃-ZooKeeper】ZooKeeper入门

前言 ZooKeeper是一个分布式服务协调框架&#xff0c;可以用来维护分布式配置信息、服务注册中心、实现分布式锁等。在Hbase、Hadoop、kafka等项目中都有广泛的应用。随着分布式、微服务的普及&#xff0c;ZooKeeper已经成为我们日常开发工作中无法绕过的一环&#xff0c;本文…

ln: failed to create symbolic link ‘/usr/bin/mysql’: File exists

问题描述&#xff1a; ln -s /usr/local/mysql/bin/mysql /usr/bin 在centos7进行软链接设置的时候&#xff0c;出现了这么问题&#xff1a;问题就是说这个文件已存在&#xff0c; 解决方法&#xff1a;覆盖之前的 ln -sf /usr/local/mysql/bin/mysql /usr/bin

读透《阿里巴巴数据中台实践》,其到底有什么高明之处?

最近阿里巴巴分享了《阿里巴巴数据中台实践》这个PPT&#xff08;自行搜索原始文章&#xff09;&#xff0c;对于数据中台的始作俑者&#xff0c;还是要怀着巨大的敬意去学习的&#xff0c;因此仔细的研读了&#xff0c;希望能发现一些不一样的东西。 读这些专业的PPT&#xf…

如果你也想做实时数仓…

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务&#xff0c;数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 …

华为云战略投入政企市场,发布华为云Stack

2020年5月15日&#xff0c;华为云发布政企战略&#xff0c;并宣布华为云Stack系列新品正式上市。华为云Stack是位于政企客户本地数据中心的云基础设施&#xff0c;能为政企客户提供在云上和本地部署体验一致的云服务。随着政企智能升级进入深水区&#xff0c;华为云将战略投入政…

如何在 Apache Flink 中使用 Python API?

本文根据 Apache Flink 系列直播课程整理而成&#xff0c;由 Apache Flink PMC&#xff0c;阿里巴巴高级技术专家 孙金城 分享。重点为大家介绍 Flink Python API 的现状及未来规划&#xff0c;主要内容包括&#xff1a;Apache Flink Python API 的前世今生和未来发展&#xff…

阿里云HBase Ganos全新升级,推空间、时空、遥感一体化基础云服务

1、HBase Ganos是什么 Ganos是阿里云时空PaaS服务的自研核心引擎。Ganos已作为云数据库时空引擎与数据库平台融合&#xff0c;建立了以自研云原生数据库POALRDB为基础&#xff0c;联合NoSQL大数据平台&#xff08;Ali-HBASE和X-Pack Spark&#xff09;的完整时空地理信息云化管…

看完这篇操作系统,和面试官扯皮就没问题了!

作者 | Cxuan责编 | Carol来源 | 程序员 cxuan封图 | CSDN 付费下载于视觉中国1、解释一下什么是操作系统操作系统是运行在计算机上最重要的一种软件&#xff0c;它管理计算机的资源和进程以及所有的硬件和软件。它为计算机硬件和软件提供了一种中间层。通常情况下&#xff0c;…

Linux centos7 安装 MySQL5.7.x

文章目录一、下载安装2. wget 下载方式3. 安装4. 初始化数据库二、修改密码2.1. 修改密码2.2. 修改密码2.3. 允许远程访问2.4. 关闭防火墙2.4. 建立mysql软连接一、下载安装 下载地址&#xff1a;https://dev.mysql.com/downloads/mysql/5.7.html#downloads 下载地址&#xff…

顺序结构,选择结构,反编译

顺序结构 Java基本结构就是顺序结构&#xff0c;除非特别指明&#xff0c;否则就按照顺序一句一句的执行顺序结构是最简单的算法结构任何一个算法都离不开的一种基本算法结构 package com.boss.struct;public class ShunXuDemo {public static void main(String[] args) {Sys…

助力共享经济,芝麻信用背后的技术

近期&#xff0c;CCTV9播放了自制的系列纪录片《大数据时代》&#xff0c;该片是国内首部大数据产业题材纪录片&#xff0c;节目细致而生动地讲述了大数据技术在政府治理、民生服务、数据安全、工业转型、未来生活等方面给我们带来的改变和影响。在第四集中&#xff0c;讲述了芝…

你的项目是否真的需要 DevOps?

DevOps即服务&#xff08;DevOps-as-a-Service&#xff09;是一种新兴的开发理念。DevOps作为一种方法&#xff0c;将传统的团队协作转移到开发和运维团队中&#xff0c;通过使用可堆叠的虚拟扩展工具实现自动化。作者 | raghuraji300译者 | Arvin&#xff0c;责编 | 屠敏头图 …

与你同行,才能无障碍

先给大家分享一个笔者的真实故事。前阵子她被诊断得了急性结膜炎&#xff0c;医生切切叮嘱 72 小时里多闭目养神不能目视任何自光源体&#xff0c;“尤其是电脑和手机&#xff01;”医生特地关照了一句。 她好不容易挪回家&#xff0c;想起一整天未能进食&#xff0c;作为淘宝…

震惊!阿里的程序员竟被一个简单的 SQL 查询难住了!

作者 | 唐磊责编 | Carol来源 | 程序猿石头封图 | CSDN 付费下载于视觉中国最近工作上遇到一个”神奇”的问题&#xff0c;或许对大家有帮助&#xff0c;因此形成本文。问题大概是&#xff0c;我有两个表 TableA&#xff0c;TableB&#xff0c;其中 TableA 表大概百万行级别(存…

ETL异构数据源Datax_datax-web安装部署_10

文章目录1. 解压2. 一键安装3. 修改执行器py地址4. 一键启动5. 查看启动日志6. 访问地址登录7. 操作记录1. 解压 tar -zxvf datax-web-2.1.2.tar.gz2. 一键安装 # 执行一键安装脚本,系统中需要有mysql环境,会自动执行sql文件初始化bin/install.sh cd datax-web-2.1.2/ bin/in…

3D 真的很难吗,瞧瞧支付宝怎么做?

阿里妹导读&#xff1a;图像作为人类感知世界的视觉基础&#xff0c;是我们在这个信息化时代获取信息、表达信息及传递信息的重要手段&#xff0c;而生成图像最高效准确的方式就是由计算机生成、显示、绘制&#xff0c;这些技术又统称计算机图形技术。计算机图形技术已经是许多…

OpenStack发布Ussuri版本 实现智能开源基础设施的自动化

从2010年到2020年&#xff0c;OpenStack项目整整走过了十个春夏秋冬。10年来&#xff0c;关于OpenStack的争议持续不断&#xff0c;但不可否认的是&#xff0c;在不同技术路线的争执中&#xff0c;OpenStack所展现的蓬勃生命力仍无可比拟。据451研究机构2019年9月发布的市场监测…