datax与多种数据库间数据类型映射

文章目录

  • 前言
    • 一、背景
    • 二、映射
      • Hive
      • HBase
      • MongoDB
      • Oracle
      • PostgreSQL
      • SqlServer
      • Mysql
      • ODPS
      • OSS
  • 总结

前言

  • datax内置的enumType数据类型与不同数据库间都有些差异,本文整理出相应的映射关系,在配置自定义json时可以参考做一些类型转换

一、背景

DataX 是阿里云 DataWorks 数据集成的开源版本,它在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

二、映射

以下是 DataX 与不同数据库间数据类型的映射关系,供配置自定义 JSON 时参考:

Hive

DataX 数据类型Hive表 数据类型
LongTINYINT, SMALLINT, INT, BIGINT
DoubleFLOAT, DOUBLE
StringString, CHAR, VARCHAR, STRUCT, MAP, ARRAY, UNION, BINARY
BooleanBOOLEAN
DateDate, TIMESTAMP

HBase

DataX 数据类型HBase表 数据类型
Longint, short, long
Doublefloat, double
Stringstring, binarystring
Booleanboolean
Datedate

MongoDB

DataX 数据类型MongoDB表 数据类型
Longint, Long
Doubledouble
Stringstring, array
Booleanboolean
Datedate
Bytesbytes

Oracle

DataX 数据类型Oracle表 数据类型
LongNUMBER, INTEGER, INT, SMALLINT
DoubleNUMERIC, DECIMAL, FLOAT, DOUBLE PRECISION, REAL
StringLONG, CHAR, NCHAR, VARCHAR, VARCHAR2, NVARCHAR2, CLOB, NCLOB, CHARACTER, CHARACTER VARYING, CHAR VARYING, NATIONAL CHARACTER, NATIONAL CHAR, NATIONAL CHARACTER VARYING, NATIONAL CHAR VARYING, NCHAR VARYING
Booleanbit, bool
DateTIMESTAMP, DATE
BytesBLOB, BFILE, RAW, LONG RAW

PostgreSQL

DataX 数据类型PostgreSQL表 数据类型
Longbigint, bigserial, integer, smallint, serial
Doubledouble precision, money, numeric, real
Stringnvarchar, char, text, bit, inet
Booleanbool
Datedate, time, timestamp
Bytesbytea

SqlServer

DataX 数据类型SqlServer表 数据类型
Longbigint, int, smallint, tinyint
Doublefloat, decimal, real, numeric
Stringchar, nchar, ntext, nvarchar, text, varchar, nvarchar(MAX), varchar(MAX)
Booleanbit
Datedate, datetime, time
Bytesbinary, varbinary, varbinary(MAX), timestamp

Mysql

DataX 数据类型Mysql表 数据类型
Longint, tinyint, smallint, mediumint, int, bigint, year
Doublefloat, double, decimal
Stringnvarchar, char, tinytext, text, mediumtext, longtext
Booleanbit, bool
Datedate, datetime, timestamp, time
Bytestinyblob, mediumblob, blob, longblob, varbinary

ODPS

DataX 数据类型ODPS表 数据类型
LongBIGINT
DoubleDOUBLE
StringSTRING
BooleanBoolean
DateDATETIME

OSS

DataX 数据类型OSS表 数据类型
LongLong
DoubleDouble
StringString
BooleanBoolean
DateDate

总结

如果此篇文章有帮助到您, 希望打大佬们能关注点赞收藏评论支持一波,非常感谢大家!
如果有不对的地方请指正!!!

参考1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/3172.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

告别SQL注入攻击之扰!揭秘强大防护策略,筑牢网站安全防线,畅享无忧体验!

SQL注入攻击是一种极具破坏性的Web漏洞,它利用应用程序对用户输入的处理不当,让恶意用户能够执行非授权的SQL查询,进而对数据库造成巨大损害。这种攻击方式可能导致数据泄露、系统崩溃等严重后果,因此必须引起高度重视。 为了有效…

(二)小程序学习笔记——初识:标签、数据绑定、指令介绍

1、rpx:是微信小程序的自适应的单位,根据不同设备的屏幕宽度进行自适应缩放。 2、小程序规定任何型号的手机的屏幕宽度都为 750rpx。 3、小程序中常用的组件:view、swiper(滑块视图容器—轮播图的盒子)和swipe-item&…

语义分割模型——浅谈U-net相关理论

目录 1 U-net简介 1.1 U-net是什么 1.2 U-net的创新点及优势 2 U-net改进思路 2.1 编码器优化 2.2 跳跃连接优化 2.3 解码器优化 2.4 其他优化方式 2.5 注意事项 1 U-net简介 1.1 U-net是什么 Ronneberger等人于2015年基于FCN(全卷积神经网络&#xff09…

预测房屋价格(使用SGDRegressor随机梯度下降回归)

线性回归:预测未来趋势01(预测房屋价格) 文章目录 线性回归:预测未来趋势01(预测房屋价格)前言一、案例介绍:二、架构图:(流程图)三、使用了什么技术&#xf…

代码随想录:二叉树18(Java)

目录 105.从前序与中序遍历序列构造二叉树 题目 代码 106.从中序与后序遍历序列构造二叉树 题目 代码 105.从前序与中序遍历序列构造二叉树 题目 给定两个整数数组 preorder 和 inorder ,其中 preorder 是二叉树的先序遍历, inorder 是同一棵树的…

企业网络安全的全方位解决方案

从安全域划分到云端管理,全面构建企业网络安全防线 在数字化浪潮席卷全球的今天,企业网络安全已经成为商业运营中不可忽视的一部分。随着企业数字资产价值的不断攀升,网络安全挑战也愈发严峻。数据泄露、勒索病毒、挖矿木马等高危风险频繁发…

利用Django中的缓存系统提升Web应用性能

👽发现宝藏 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 在构建现代Web应用时,性能通常是至关重要的考虑因素之一。为了提高用户体验和应…

Java-基础知识-包-重命名文件/目录

在 IntelliJ IDEA 或其他 Java IDE 中,当你遇到“Package name does not correspond to file path”这样的错误提示时,它意味着你的源代码文件所在的目录结构与其声明的包名(package name)不匹配。这通常是由于以下几个原因造成的…

Linux中V4L2使用

Video for Linuxtwo(Video4Linux2)简称V4L2,是V4L的改进版。V4L2是linux操作系统下用于采集图片、视频和音频数据的API接口,配合适当的视频采集设备和相应的驱动程序,可以实现图片、视频、音频等的采集。在远程会议、可视电话、视频监控系统和…

设计模式(六):原型模式

设计模式(六):原型模式 1. 原型模式的介绍2. 原型模式的类图3. 原型模式的实现3.1 创建一个原型接口3.2 创建具体原型3.3 创建一个数据缓存类3.4 测试 1. 原型模式的介绍 原型模式(Prototype Pattern)属于创建型模式&…

人工智能(AI)与地理信息技术(GIS)的融合:开启智能地理信息时代

随着科技的不断发展,人工智能(AI)和地理信息技术(GIS)的应用越来越广泛,两者的结合更是为许多行业带来了前所未有的变革。本文将以“人工智能(AI)地理信息技术(GIS&#…

【八股】Spring篇

why Spring? 1.使用它的IOC功能,在解耦上达到了配置级别。 2.使用它对数据库访问事务相关的封装。 3.各种其他组件与Spring的融合,在Spring中更加方便快捷的继承其他一些组件。 IoC和DI 👉IOC是Inversion of Control的缩写,“…

NLP Java - 中文分词

文章目录 IK Analyzer : https://github.com/EugenePig/ik-analyzer-solr5Ansj : https://github.com/NLPchina/ansj_segMMSeg4J : https://github.com/chenlb/mmseg4j-corejcseg : https://gitee.com/lionsoul/jcsegICTCLAS : https://github.com/NLPIR-team/nlpir-analysis-c…

德语口语学习的8种练习方法

简洁明了一点,方便大家理解,我总结了以下8点: 1.模拟对话: 创造实际生活场景,例如购物、问路、餐厅点餐等,并自言自语或者与伙伴一起模拟这些对话。 参加角色扮演活动,通过不同情境练习口语。…

文末送资料|跟着开源学技术-ChatGPT开源项目-chatgpt-java

目录 功能特性 最简使用 进阶使用 函数调用(Function Call) 流式使用 流式配合Spring SseEmitter使用 多KEY自动轮询 大家好,我是充电君 今天带着大家来看个Java版本的ChatGPT。这个开源项目就是chatgpt-java。 Github: h…

Django与mysqlclient链接不成功

先检查自己的python是什么版本,是64位还是32位,这个自己去网上查。 我的是32位的,因为直接pip下载不了,网上也没有32位的whl,所以卸载重装一个64位的3.9.6的python 网上直接搜mysqlclient,找到对应py39也…

Excel vlookup函数的使用教程 和 可能遇到的错误解决方法

使用VLOOKUP示例 被查询的表格 表一 A列B列C列A1aB2bC3c 要匹配的列 表二 F列G列H列ACBDA 要G列匹配字母,H列匹配数字 G 使用公式VLOOKUP(F5,A:D,3,0) 参数说明 F5 是表二 F列第五行的A A:D表是要匹配的数据列表在A到D列,就是表一 (注意…

android13 RK356X 预装第三方apk失败

RK356X android13 预安装第三方apk失败比如chrome浏览器_android13安装apk-CSDN博客 我试了一下,按照之前的常规方式集成apk,只有签名事业系统签名才可以集成进去,如果使用PRESIGNED,apk只会打包的到系统中,并没有安装…

什么样的汽车制造供应商管理平台 可以既高效又安全?

汽车制造供应商管理是汽车制造商最基础的工作项,因为在汽车制造环节,与供应商间存在着必不可少又高频的业务往来,而在汽车制造供应商之间,文件往来是确保业务顺利进行、沟通协作和质量控制的重要环节。这些文件往来涵盖了多个方面…

网络爬虫之爬虫原理

** 爬虫概述 Python网络爬虫是利用Python编程语言编写的程序,通过互联网爬取特定网站的信息,并将其保存到本地计算机或数据库中。 """ 批量爬取各城市房价走势涨幅top10和跌幅top10 """ ​ from lxml import etree impor…