ETL异构数据源Datax_数据准备_03

文章目录

          • 一、Oracle数据库准备
            • 1. 初始化表结构
            • 2. 生成测试数据
          • 二、使用docker创建mysql
            • 2.1. 构建mysql容器
            • 2.1. 创建datax数据库
            • 2.3. 初始化表结构

一、Oracle数据库准备
1. 初始化表结构
--删除otbs1
drop table otbs1;--创建otbs1表
CREATE TABLE otbs1 (
IDNO NUMBER,
COL1 VARCHAR2(255) NULL,
COL2 NUMBER(32) NULL,
COL3 NUMBER(32) NULL,
DT DATE NOT NULL,
COL5 FLOAT NULL,
COL6 VARCHAR2(255) NULL,
COL7 VARCHAR2(255) NULL,
COL8 VARCHAR2(255) NULL,
COL9 VARCHAR2(255) NULL,
COL10 VARCHAR2(255) NULL
);
2. 生成测试数据
-- 初始化数据
insert into OTBS1 (IDNO,COL1, COL2, COL3, DT, COL5,COL6, COL7,COL8, COL9, COL10)
Values (1,'字符串1', 1, 1696248667889, sysdate,3.141592653578,'字符串2','字符串3','字符串4','字符串5','字符串6');
-- 多次执行如下语句产生测试数据
insert into otbs1 select * from otbs1;
commit;-- 修改id
update otbs1 set idno=rownum;--添加主键索引
alter table otbs1 add constraint pk_id primary key(idno);

在这里插入图片描述
在这里插入图片描述

二、使用docker创建mysql
2.1. 构建mysql容器
docker run --name=fxmysql -v /app/mysql/log:/var/log/mysql -v /app/mysql/data:/var/lib/mysql  --privileged=true -v /app/mysql/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d mysql:5.7.32 --character-set-server=utf8mb4
2.1. 创建datax数据库
-- 进入mysql容器
docker exec -it fxmysql mysql -uroot -p123456-- 创建datax数据库
create database datax;
2.3. 初始化表结构
--创建MySQL表
--一定要注意数据类型,特别是小数
CREATE TABLE otbs1 (
IDNO  BIGINT PRIMARY KEY,
COL1 VARCHAR(255) NULL,
COL2 DECIMAL(32) NULL,
COL3 DECIMAL(32) NULL,
DT DATETIME NOT NULL,
COL5 DOUBLE NULL,
COL6 VARCHAR(255) NULL,
COL7 VARCHAR(255) NULL,
COL8 VARCHAR(255) NULL,
COL9 VARCHAR(255) NULL,
COL10 VARCHAR(255) NULL);

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/517992.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

红点中国、红杉中国联合领投,WakeData惟客数据完成1000万美元B轮融资

日前,企业数字化升级服务商WakeData惟客数据宣布完成由红点中国和红杉中国联合领投,IDG资本跟投的1000万美元B轮融资。 据了解,本轮融资由奇迹资本担任独家财务顾问。这是WakeData成立以来的第三次融资,此前两轮分别是由IDG资本领…

用大白话彻底搞懂 HBase RowKey 详细设计

来源 | 且听_风吟来源 | CSDN 博客,责编 | Carol封图 | CSDN 付费下载于东方 IC前言RowKey作为HBase的核心知识点,RowKey设计会影响到数据在HBase中的分布,还会影响我们查询效率,所以RowKey的设计质量决定了HBase的质量。是咱们大…

关于Spring AOP,除了动态代理、CGLIB,你还知道什么?

来源 | 草捏子责编 | Carol封图 | CSDN 付费下载于视觉中国Spring 作为 Java 中最流行的框架,主要归功于其提供的 IOC 和 AOP 功能。本文将讨论 Spring AOP 的实现。第一节将介绍 AOP 的相关概念,若熟悉可跳过,第二节中结合源码介绍 Spring 是…

ETL异构数据源Datax_Oracle同步MySQL(全量)_04

文章目录一、Oracle同步Mysql1. 构建json2. 执行数据同步3. 查看同步数据4. 同步数据正确性和准确性5. 同步日志分析一、Oracle同步Mysql 1. 构建json vim oracle2mysql.json{"job": {"setting": {"speed": {"channel": 3},"er…

# 学习使用计算机

冯.诺依曼体系结构 计算机软件 快捷键的使用 CtrlC 复制Ctrlv 粘贴CtrlA 全选CtrlZ 撤销CtrlS保存CtrlShiftEsc 打开任务管理器wlndows 打开菜单AltTab 切换页面AltF4 关闭窗口ShiftDelete 永久删除wlndowsR 打开运行窗口wlndowsE 打开文件资源管理器wlndowsTab 管理页面 Dos…

ETL异构数据源Datax_使用数据分片提升同步速度_05

文章目录1. 构建json,添加数据分片2. Mysql数据清除3. 数据分片前后对比1. 构建json,添加数据分片 {"job": {"setting": {"speed": {"channel": 3},"errorLimit": {"record": 0,"perc…

Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL

上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》,会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。完整分享可以观看 Meetup 视…

java的基础语法和数据类型,IDEA

IDEA的用法 快捷方法 主函数:psvm输出语句:sout java基础语法注释 注释:必须要写注释 单行注释://多行注释:/**/文档注释javaDoc:/***/ 平时写代码要注意规范 标识符和关键字 所有标识符应该都以字母&…

手把手教你配置VS Code 远程开发工具,工作效率提升N倍

来源 | 后端技术学堂责编 | Carol封图 | CSDN 付费下载于视觉中国今天和大家分享一个远程开发解决方案,聊一聊我平常是如何用 VS Code 进行远程开发工作的,以及一步步教你搭建远程开发环境,拥有比德芙还丝滑的远程开发体验。我们厂里为了最大…

蚂蚁金服隗华:十五年时间见证分布式数据库的崛起

北大计算所启蒙 “做中国人自己的技术” 如果用一句话来评价读书时的隗华(花名:风羿),那一定是“德智体美劳全面发展的好学生”。本科在北航读的计算机专业,硕士则就读于北大的计算机研究所。 北大,中国高…

用户数从 0 到亿,我的 K8s 踩坑血泪史

导读:容器服务 Kubernetes 是目前炙手可热的云原生基础设施,作者过去一年上线了一个用户数极速增长的应用:该应用一个月内日活用户从零至四千万,用户数从零到一亿的裂变式增长,充分享受了容器服务快速简便的扩容操作和…

行,Python玩大了!​取代Excel,程序员:太牛!你怎么看?

Python真的玩大了吗?2020年,Python程序员究竟怎么样?A与B程序员与远方近日日本最大的证券公司之一野村证券首席数字官马修汉普森,在Quant Conference上发表讲话:“用Excel的人越来越少,大家都在用Python。”…

云原生计算重塑企业IT架构 - 分布式应用架构

进入21世纪以来,我们见证了企业分布式应用架构从SOA(Service-oriented Architecture),到微服务架构,再到云原生应用架构的演化。 为了说明企业架构演化背后的思考,我们先谈一些玄学。 第一,企业IT系统的复杂性&#…

首发!《长安十二时辰背后的技术秘籍》正式公开,速来下载

一名死囚如何在十二时辰内利用“唐代黑科技”,拯救长安百姓于水火中? 这就是《长安十二时辰》的故事,剧中有恢弘的长安美景、让人流口水的水晶柿子/水盆羊肉,还有张小敬和檀棋“在一起”呼声……然而,最让人刮目相看的…

ETL异构数据源Datax_MySQL同步Oracle(全量)_07

文章目录1. 清除Oracle数据库中OTBS1表的数据2. 构建json3. 执行脚本4. 同步验证5. 同步分析7. 同步结果1. 清除Oracle数据库中OTBS1表的数据 Truncate TABLE OTBS1;2. 构建json {"core": {"transport": {"channel": {"speed": {&qu…

左手代码右手滑板 支付宝这个程序员有些酷

走在杭州支付宝z空间的园区,常常可以看到一个脚踩滑板,脑后扎个发髻的男青年。 他叫边柳。来蚂蚁金服三年,除了是一名前端码农,也是一位斜杠青年。捧着程序员的“饭碗”,兼顾着滑板和摇滚的爱好,可以说他过…

2019阿里云910会员节大促主会场全攻略

2019阿里云910会员大促活动已经于8月28日正式开启,从已开放的活动页面来看,整场大促活动由阿里云10年有礼时光机、爆款产品推荐、七大分会场组成。 在910这个秋季大幅度优惠促销日,怎样才能花最少的钱配置最特惠的云服务?云栖社区…

浪潮商用机器与腾讯TDSQL完成互认证 共同拓展Power行业生态

日前,浪潮商用机器有限公司宣布,旗下K1 Power服务器系列产品经过几十项基础功能和高可用功能用例的专业测试,与腾讯新兴国产分布式数据库TDSQL完美兼容,且性能优异,可进行顺利的部署、平稳的运行及对外提供服务。此次互…

历时五天用 SwiftUI 做了一款 APP,阿里工程师如何做的?

作者|姜沂(倾寒) 出品|阿里巴巴新零售淘系技术部 导读:自 2014 年苹果发布会发布 Swift 之后, Swift 经过多年迭代,终于达到了 ABI 稳定版本,也意味着 Swift 做为稳定的得语言,值得用在大型 APP, 用来生产环境中。 2…

Istio从懵圈到熟练 – 二分之一活的微服务

Istio is the future!基本上,我相信对云原生技术趋势有些微判断的同学,都会有这个觉悟。其背后的逻辑其实是比较简单的:当容器集群,特别是K8S成为事实上的标准之后,应用必然会不断的复杂化,服务…