oracle和hive之间关于sql的语法差异及转换

目录

前言

1、oracle中的（+）写法

1.1、区分左右连接

1.2、hive中的写法

a、最常用

b、副表带条件

c、只显示过滤条件的数据

2、select中含有子查询

3、oracle的decode函数

4、oracle的时间转化

5、oracle的trunc函数

6、oracle instr函数 

7、截取

7、临时表名

8、with插入用法

9、计算语法 或者||用法不同

10、日期格式不标准的转换

11、WM_CONCAT

12、日期格式化

13、类型兼容问题

14、Oracle中pivot/和unpivot函数 

15、RPAD LPAD (左右填充函数)

16、时间相减

17、INSERT语句

18、HIVE特性

前言

最近工作需要从Oracle数据库SQL、存储过程迁移到hive上，两个之间还是有些差异的，特写此文，共大家参考学习。有问题欢迎指正。

1、oracle中的（+）写法

1.1、区分左右连接

左连接：

select a.*,b.*from table1 a, table2 b
where a.id = b.id(+)

右连接：

select a.*,b.*from table1 a, table2 b
where a.id(+) = b.id

1.2、hive中的写法

以左连接进行讲解，右连接同理

建表和插入数据

CREATE TABLE Test_Departments
(
depID NUMBER(38,0),
depName VARCHAR2(20),
delFlag NUMBER(1,0)
);--生成员工表
CREATE TABLE Test_Employees
(
empID NUMBER(38,0),
empName VARCHAR2(20),
depID NUMBER(38,0),
delFlag NUMBER(1,0)
);--插入测试数据
INSERT INTO Test_Departments VALUES(1,'FI',0);
INSERT INTO Test_Departments VALUES(2,'MA',0);
INSERT INTO Test_Departments VALUES(3,'HR',1);
INSERT INTO Test_Departments VALUES(4,'IT',0);
INSERT INTO Test_Employees VALUES(1,'wbq',1,0);
INSERT INTO Test_Employees VALUES(2,'czh',2,0);
INSERT INTO Test_Employees VALUES(3,'chh',1,0);
INSERT INTO Test_Employees VALUES(4,'wal',2,0);
INSERT INTO Test_Employees VALUES(5,'ddd',3,0);
a、最常用
--Oracle中的写法
SELECT A.*, B.*FROM Test_Departments A, Test_Employees B
WHERE A.depID = B.depID(+);--Hive中的写法
SELECT A.*, B.*FROM Test_Departments ALEFT JOIN Test_Employees B ON A.depID = B.depID;
b、副表带条件
--Oracle中的写法：
SELECT A.*, B.*
FROM Test_Departments A, Test_Employees B
WHERE A.depID = B.depID(+)
AND (B.depID(+) = 3);--Hive中的写法：
SELECT A.*, B.*
FROM Test_Departments A
LEFT JOIN Test_Employees B ON A.depID = B.depID
AND B.depID = 3;

这里涉及到一个 left join 后面的过滤条件是on和where 的问题

select A.*,B.* from A left join B on A.id=B.id and B.id=3

返回结果：显示A表所有数据，B.id=3的数据，B.id不等于3的默认为空

select A.*,B.* from A,B where A.id=B.id(+) and B.id=3

返回结果：仅仅显示B.id=3的一条数据

c、只显示过滤条件的数据
--Oracle
SELECT A.*, B.*
FROM Test_Departments A, Test_Employees B
WHERE A.depID = B.depID(+)
AND (B.depID = 3);--Hive
SELECT A.*, B.*
FROM Test_Departments A
LEFT JOIN Test_Employees B ON A.depID = B.depID
WHERE B.depID = 3;

这种方式也可以选择使用join实现

以上这段参考：

oracle (+)学习-CSDN博客

2、select中含有子查询

--Oracle：
select a.id, (select b.id from b where b.name=a.id) from a --hive 是不支持select 里面子查询 修改如下：
select a.id ,b.id from a left join b on a.id=b.name

3、oracle的decode函数

--Oracle：decode('key',if1,then1 ,if2,then2...thenN)--Hive：--1、一般来改为：case when key = if1 then then1  when key = if2 then then2 ...else thenN end--2、如果decode比较简单 可以直接改为 :if('key'=if1,then1,then2)--复杂的改为:case when 注意hive有个decode函数是编码函数，不是用来处理null值的

4、oracle的时间转化

某字符串yyyyMM获取上个月时间

--oracle：
select to_char(add_months(to_date('202202','yyyymm'),-1),'yyyymm') 
from dual;SELECT 'yyyyMM', to_char (SYSDATE,'yyyyMM') FROM dual UNION ALL 
SELECT 'yyyy-MM', to_char (SYSDATE,'yyyy-MM') FROM dual UNION ALL 
SELECT 'yyyy-MM-dd', to_char (SYSDATE,'yyyy-MM-dd') FROM dual UNION ALL 
SELECT 'yyyy/MM/dd', to_char (SYSDATE,'yyyy/MM/dd') FROM dual;TO_CHAR(TO_DATE(REPLACE(ADJ.VAR1, '-',''), 'YYYYMMDD'), 'yyyy')--hive：
select DATE_FORMAT(current_timestamp,'yyyy-MM-dd'); --转换为字符串格式select to_date(current_timestamp); --日期格式select 'yyyyMM', DATE_FORMAT(current_timestamp,'yyyyMM') union all
select 'yyyy-MM', DATE_FORMAT(current_timestamp,'yyyy-MM') union all
select 'yyyy-MM-dd', DATE_FORMAT(current_timestamp,'yyyy-MM-dd') union all
select 'yyyy/MM/dd', DATE_FORMAT(current_timestamp, 'yyyy/MM/dd');with tmp as (
select '2023-12-23' VAR1
)
select from_unixtime(unix_timestamp(replace(ADJ.VAR1, '-',''),'yyyyMMdd'),'yyyy')from tmp adj;

5、oracle的trunc函数

oracle的trunc函数改为hive的函数_hive对应oracle的trunc函数-CSDN博客

--hive
select TRUNC(current_date,'YYYY') year,
TRUNC(current_date,'MM') month,
last_day(current_date);--季初：
select 'floor_quarter',date_format(floor_quarter(timestamp('2024-09-23')),'yyyy-MM-dd HH:mm:ss');--当前时间属于哪个季度：
select quarter(current_date);

6、oracle instr函数 

Oracle中的instr()函数 详解及应用_oracle instr-CSDN博客

--oracle
SELECT instr('1234567890123456789','3') FROM dual  -- 3
SELECT instr('1234567890123456789','3',1) FROM dual  -- 3 ,从第1位开始查找第一个3
SELECT instr('1234567890123456789','3',1,2) FROM dual --13 从第1位开始查找第二个3
SELECT instr('1234567890123456789','3',4) FROM dual   -- 13  从第4位开始查找第一个3
SELECT instr('1234567890123456789','3',4,1) FROM dual  --13 从第4位开始查找第一个3
SELECT instr('1234567890123456789','3',4,2) FROM dual  --0  从第4位开始查找第二个3--select instr('被查找的字符串','我们需要查找的字符',从第几位开始 首位是0,查找第几个出现的)--hive--instr(str, substr)  Returns the index of the first occurance of substr in str
SELECT instr('1234567890123456789','3'); -- 3--locate函数
select locate('3','12345123',4) --8
select locate('3','12345123',1) --3
-- 这个locate函数也是找到字符串的下标 locate('要找的字符','被找的字符串',' 从下标多少开始找')。

7、截取

字段格式是： xx1.xxxxx2.xx3.xxx4.xx5.xx6   我们需要xx3格式的数据

缺省.受限制现金-人民币-风险准备金专户.工行高新支行321413RMB(财付通专用).缺省.缺省.缺省.缺省.缺省   ->  工行高新支行321413RMB(财付通专用)

--Oracle：
SELECT 
SEGMENT_NAME_MERGE, 
SUBSTR(T.SEGMENT_NAME_MERGE,INSTR(T.SEGMENT_NAME_MERGE, '.', 1, 2) + 1,(INSTR(T.SEGMENT_NAME_MERGE, '.', 1, 3) - INSTR(T.SEGMENT_NAME_MERGE, '.', 1, 2)) - 1) 
FROM ODSERPDATA.ODS_CE_GL_ACCOUNT_Q T--hive
with tmp as(
select '缺省.受限制现金-人民币-风险准备金专户.工行高新支行321413RMB(财付通专用).缺省.缺省.缺省.缺省.缺省' text
)
select SUBSTRING_INDEX(substring_index(a.text,'.',3),'.',-1)from tmp a;select  replace(substring_index(a,'.',3),substring_index(a,'.',2)||'.',''),
substr(a,length(substring_index(a,'.',2))+2,length(substring_index(a,'.',3))-length(substring_index(a,'.',2))-1),regexp_extract(a,'.*?\\..*?\\.(.*?)\\.+',1)
from (select '缺省.受限制现金-人民币-风险准备金专户.工行高新支行321413RMB(财付通专用).缺省.缺省.缺省.缺省.缺省' a )t
--上面是三种办法。 1.是替换 2.是截取 3是正则

7、临时表名

--Oracle：SELECT * FROM (SELECT 1,2 FROM dual );--hive：必须临时表名select * from (select 1, 2 )t;  --正确select * from (select 1, 2 );  --错误

8、with插入用法

--Oracle：
INSERT INTO  TEST.CC_STUDENT_02
WITH tmp AS (SELECT * FROM TEST.CC_STUDENT_02 cs )
SELECT * FROM tmp;--Hive
WITH tmp AS (SELECT * FROM TEST.CC_STUDENT_02 cs )
INSERT INTO  TEST.CC_STUDENT_02
SELECT * FROM tmp;

9、计算语法 或者||用法不同

--Oracle：
SELECT substr('202212', 1, 4) - 1 || 'aa' FROM dual   -- 2021aaSELECT 1||NULL||2 FROM dual  -- 12--Hive
SELECT substr('202212', 1, 4) - 1 || 'aa' -- 2021.0aa--解决办法：SELECT cast(substr('202212', 1, 4) - 1 as int)|| 'aa' -- 2021aaSELECT cast(substr('202212', 1, 4) as int) - 1|| 'aa' -- 2021aa--因为int-int=int 。 string-int 和int-string=double

10、日期格式不标准的转换

--Oracle
SELECT to_date('2017-3-31', 'yyyy/mm/dd') FROM dual UNION ALL 
SELECT to_date('2018/11/6', 'yyyy/mm/dd') FROM dual UNION ALL 
SELECT to_date('2017/6/20', 'yyyy/mm/dd') FROM dual UNION ALL 
SELECT to_date('2017-06-20', 'yyyy/mm/dd') FROM dual UNION ALL 
SELECT to_date('20170620', 'yyyy/mm/dd') FROM dual --Hive
with tmp as
(SELECT '2017-3-31' var UNION ALL 
SELECT '2018/11/6' UNION ALL 
SELECT '20170620'
)
select case when length(a.var) = 8 then date(from_unixtime(unix_timestamp(a.var,'yyyyMMdd'),'yyyy-MM-dd'))else date(replace(a.var,'/','-')) endfrom tmp a;

11、WM_CONCAT

--Oracle：
SELECT t.id ,to_char(WM_CONCAT(name)),WM_CONCAT(name)
FROM (
SELECT 1 AS id ,1 as name  FROM dual UNION ALL 
SELECT 1 AS id ,2 as name  FROM dual UNION ALL 
SELECT 1 AS id ,1 as name  FROM dual UNION ALL 
SELECT 2 AS id ,4 as name  FROM dual UNION ALL 
SELECT 2 AS id ,5 as name  FROM dual 
)t 
GROUP BY t.id;--Hive
with tmp as (
SELECT 1 AS id ,'1' as name UNION ALL 
SELECT 1 AS id ,'2' as name UNION ALL 
SELECT 1 AS id ,'1' as name UNION ALL 
SELECT 2 AS id ,'4' as name UNION ALL 
SELECT 2 AS id ,'5' as name
)
select id,concat_ws(',',collect_list(name))  --未去重,concat_ws(',',collect_set(name))  --去重from tmp a
group by id;

12、日期格式化

--Oracle：
SELECT to_date('2023-01-02 15:55:03', 'yyyy-mm-dd hh24:mi:ss')
,TO_DATE('2023-01-02 15:55:03', 'YYYY-MM-DD HH24:MI:SS')FROM dual--Hive
select DATE_FORMAT('2023-01-02 15:55:03','yyyy-MM-dd HH:mm:ss')

13、类型兼容问题

--Oracle：
with t as (select '1' a union allselect '11'a union allselect '2' a union allselect '3' a
)
select t.a from t  order by a;--Hive：
with t as (select '1' a union allselect '11'a union allselect '2' a union allselect '3' a
)
select t.a from t  order by cast(a as int );

14、Oracle中pivot/和unpivot函数 

oracle 学习之 unpivot/pivot函数及hive实现该功能_cclovezbf的博客-CSDN博客

15、RPAD LPAD (左右填充函数)

--Oracle：
SELECT RPAD ('1234',10),LENGTH(RPAD ('1234',10)) FROM dual -- 1234      10  --注意 1234后面又6个空格SELECT RPAD ('1234',10,'a'),LENGTH(RPAD ('1234',10,'a')) FROM dual --1234aaaaaa 10--hive：
SELECT RPAD ('1234',10,' '),LENGTH(RPAD ('1234',10,' ')),RPAD ('1234',10,'a'),lPAD ('1234',10,'a')

16、时间相减

--Oracle
SELECT SYSDATE -1 FROM dual  --获取昨天SELECT to_date('2023-05-03','YYYY-MM-DD') -to_date('2023-05-02','YYYY-MM-DD') FROM dual  --1  两天时间差SELECT SYSDATE -to_date('2023-05-02','YYYY-MM-DD') FROM dual--9.64637731481481481481481481481481481481 时间差 计算了时分秒---hive
select `current_timestamp`(), `current_timestamp`() -to_date('2023-05-10')-- 2023-05-11 15:33:00.779000000,1 15:33:00.779000000 但是不推荐 因为看起来既直观又不直观--计算时间差一般采用的是datediff函数select datediff(current_timestamp(),to_date('2023-05-10'))  -- 1 计--算前几天后几天采用date_add date_subselect current_date,date_add(current_date,1),date_sub(current_date(),1)---相差的秒数
select (unix_timestamp('2024-10-23 14:12:34') - unix_timestamp('2024-10-23 12:12:34'))*1.00000---相差的月数
SELECT months_between('2022-12-01', '2022-01-01') AS months_difference---相差小时
select (unix_timestamp('2024-10-23 14:13:34') - unix_timestamp('2024-10-23 12:12:34'))*1.00000 / 3600---相差天数
select (unix_timestamp('2024-10-24 14:13:34') - unix_timestamp('2024-10-23 12:12:34'))*1.00000 / 86400

以上参考文章：oracle和hive之间关于sql的语法差异及转换_hivesql 与oracle 语句区别-CSDN博客

17、INSERT语句

------ORACLE：EXECUTE IMMEDIATE 'TRUNCATE TABLE TABLE_A';
INSERT /*+APPEND*/ INTO A NOLOGGING (
COL_1,
COL_2,
COL_3,
);------Hive:
INSERT OVERWRITE TABLE TABLE_A;

18、HIVE特性

在迁移的时候，会遇到一些HIVE的特性导致无法顺利迁移，如下ORACLE语句：

SELECT *
FROM A
GROUP BY A.COL_1
HAVING COUNT(DISTINCT A.COL_2) = 2;

在HIVE中运行会遇到如下报错：

FAILED: SemanticException [Error 10002]: Line 19:22 Invalid column reference 'COL_2'

去掉DISTINCT后可以正常执行。

属于HIVE的特性导致的问题，HAVING子句中无法使用DISTINCT关键字，在迁移中需要进行取舍。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/55956.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

vscode中每个打开的文件都显示在一个单独的标签页中

vscode中每个打开的文件都显示在一个单独的标签页中

版本：1.94 实现步骤： 1、打开设置 File-》Preferences-》Settings 2、具体设置 2.1、在配置中搜索 workbench.editor.showTabs 设置为multiple。 2.2、在配置中搜索 workbench.editor.enablePreview 取消勾选。 根据这个功能的说明，在…
阅读更多...
24.10.20（换根哈希）

24.10.20（换根哈希）

星期一： 阴间场 cf渡劫成功，拿下三题，终于上蓝🥳🥳🥳 贴 cf round978 div2 C cf传送门 答案取到n1但初始化没到n1，wa了一发，很烦😿…
阅读更多...
100. UE5 GAS RPG 显示范围魔法的攻击范围

100. UE5 GAS RPG 显示范围魔法的攻击范围

在这一篇里，我们将制作一个范围魔法，释放魔法时，我们将在鼠标拾取位置绘制一个魔法光圈，用于显示技能释放时攻击的范围，然后再次点击可以释放技能。 创建贴花类 魔法范围标识的光圈，我们采用贴花实现&…
阅读更多...
利用飞腾派进行OpenCV开发

利用飞腾派进行OpenCV开发

实验目标： 完成飞腾平台OpenCV开发。 实验大纲： Mat数据结构加载、显示、保存图像读写像素RGB图像分离彩色图转灰度图 Mat数据结构 Mat是一个类，由两个数据部分组成：矩阵头(大小,通道,数据类型等)和数据块(像素 值)。创建示例…
阅读更多...
SQL Server-导入和导出excel数据-注意事项

SQL Server-导入和导出excel数据-注意事项

环境： win10，SQL Server 2008 R2 之前写过的放在这里： SqlServer_陆沙的博客-CSDN博客 https://blog.csdn.net/pxy7896/category_12704205.html 最近重启ASP.NET项目，在使用sql server导出和导入数据时遇到一些问题，特…
阅读更多...
SDRAM控制器的设计与验证(野火学习笔记)

SDRAM控制器的设计与验证(野火学习笔记)

SDRAM发展至今已历经五代，具有单位存储量大、高数据带宽、读写速度快、价格相对便宜等优点。同时，作为内存条中不可缺少的有一部分，SDRAM在计算机领域也占有一席之地。 （SDRAM的内容以及操作时序比较复杂，本文已经尽可…
阅读更多...
计算机毕业设计Python+大模型知识图谱中华古诗词可视化 古诗词智能问答系统 古诗词数据分析 古诗词情感分析 PyTorch Tensorflow LSTM

计算机毕业设计Python+大模型知识图谱中华古诗词可视化 古诗词智能问答系统 古诗词数据分析 古诗词情感分析 PyTorch Tensorflow LSTM

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 开发技术： 前端…
阅读更多...
Web前端-JavaScript书写位置

Web前端-JavaScript书写位置

一、JavaScript介绍 1.JavaScript 是什么? 是一种运行在客户端(浏览器)的编程语言，实现人机交互效果。 2.作用 （1）网页特效(监听用户的一些行为让网页作出对应的反馈) （2）表单验证(针对表单数据的合法性进行判断…
阅读更多...
大语言模型训练

大语言模型训练

大语言模型训练 1.两大问题2.并行训练2.1数据并行2.2模型并行2.3张量并行2.4混合并行 3.权重计算3.1浮点数3.2混合精度训练3.3deepspeed（微软）3.3.1 ZeRO3.3.2ZeRO-offload 3.3总结 4.PEFT4.1Prompt TuningPrefix-tuning4.2P-tuning & P-tuning v2 5…
阅读更多...
sentinel dashboard分布式改造落地设计实现解释(二)-分布式discovery组件

sentinel dashboard分布式改造落地设计实现解释(二)-分布式discovery组件

discovery discovery负责维护app/机器资料库，transport健康检测， transport上下线处理。discovery关键是分布式存储，后续研究一下raft，其复制，状态机，快照技术，但个人觉得，discover…
阅读更多...
DBeaver连接Hive教程

DBeaver连接Hive教程

hive shell：通过hive shell来操作hive，但是至多只能存在一个hive shell，启动第二个会被阻塞，也就是说hive shell不支持并发操作。 基于JDBC等协议：启动hiveserver2，通过jdbc协议可以访问hive，hi…
阅读更多...
基于SSM服装定制系统的设计

基于SSM服装定制系统的设计

管理员账户功能包括：系统首页，个人中心，用户管理，服装类型管理，服装信息管理，服装定制管理，留言反馈，系统管理 前台账号功能包括：系统首页，个人中心&#xf…
阅读更多...
git commit / push 报错 文件不存在

git commit / push 报错 文件不存在

1. 错误信息 尝试使用 git restore --staged filename 取消暂存，但是报错 2. 解决方法 进入 当前仓库/.git文件夹内，删除 index.lock 文件 再执行 git restore --staged filename 等操作。
阅读更多...
通过无线路由器连接三菱PLC的设置方法

通过无线路由器连接三菱PLC的设置方法

1.首先设置无线路由器上网方式为DHCP（自动获取IP地址）。点击保存，然后点击更多功能 2.再点击网络设置-局域网，勾选DHCP服务器，此功能的作用是对局域网内所有设备分配IP地址。 然后保存； 3.再点击系统设置…
阅读更多...
Git极速入门

Git极速入门

git初始化 git -v git config --global user.name "" git config --global user.email "" git config --global credential.helper store git config --global --list省略(Local) 本地配置，只对本地仓库有效–global 全局配置，所有…
阅读更多...
云计算实验1——基于VirtualBox的Ubuntu安装和配置

云计算实验1——基于VirtualBox的Ubuntu安装和配置

实验步骤 1、VirtualBox的安装 本实验使用VirtualBox-7.0.10 进行演示。对于安装包，大家可以前往 VirtualBox官网下载页面(https :/ / www. virtualbox.org/wiki/Downloads)下载其7.0版本安装包进行安装，或者直接使用QQ群的安装包VirtualBox-7.0.10-15…
阅读更多...
给定一个正整数n随机生成n个字节即生成2n个十六进制数将其组成字符串返回secrets.token_hex(n)

给定一个正整数n随机生成n个字节即生成2n个十六进制数将其组成字符串返回secrets.token_hex(n)

【小白从小学Python、C、Java】 【考研初试复试毕业设计】 【Python基础AI数据分析】 给定一个正整数n 随机生成n个字节 即生成2n个十六进制数 将其组成字符串返回 secrets.token_hex(n) [太阳]选择题 根据题目代码，执行的结果错误的是？ import secrets …
阅读更多...
对vue响应式数据的理解（vue基础，面试，源码级讲解）

对vue响应式数据的理解（vue基础，面试，源码级讲解）

首先我们要知道哪些数据可以劫持。 是否可以劫持： 在JavaScript等动态语言中，字符串和数字虽然是基本数据类型（也称为原始数据类型），但它们可以包装成对象（如String对象和Number对象）进行处理。…
阅读更多...
软件测试笔记——接口测试

软件测试笔记——接口测试

文章目录 一、概念1.接口测试流程2.URL3.HTTP协议4.RESTful5.案例介绍 二、Postman1.Postman软件2.登录接口调试-获取验证码3.登录接口调试-自动关联数据4.合同上传接口-提交请求数据5.提交参数查询6.批量执行7.接口用例设计8.断言8.参数化三、案例1.项目2.课程添加3.课程列表查…
阅读更多...
萤石云服务支持云端视频AI自动剪辑生成

萤石云服务支持云端视频AI自动剪辑生成

萤石视频云存储及媒体处理服务是围绕IoT设备云端存储场景下的音视频采集、媒体管理、视频剪辑和分发能力的一站式、专业云服务，并可面向广大开发者提供复杂设备存储场景下的完整技术方案。目前该服务新增了视频剪辑功能，支持将视频片段在云端进行裁剪并拼…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023