Hive SQL

一、基本数据类型

tinyint         1byte 有符号整数
smallint         2byte 有符号整数
int         4byte 有符号整数
bigint         8byte 有符号整数
boolean         布尔类型,true或者false
float         单精度浮点数
double         双精度浮点数
decimal         十进制精准数字类型 decimal(16,2)
varchar         字符序列,需指定最大长度,最大长度的范围是[1,65535] varchar(32)
string         字符串,无需指定最大长度
timestamp         时间类型
binary         二进制数据
array         数组是一组相同类型的值的集合 array arr[0]
map         map是一组相同类型的键-值对集合 map<string, int> map[‘key’]
struct         结构体由多个属性组成,每个属性都有自己的属性名和数据类型 struct<id:int, name:string> struct.id

二、基本查询

Home - Apache Hive - Apache Software Foundation

1、语法: 

SELECT [ALL | DISTINCT] select_expr, select_expr, …
FROM table_reference – 从什么表查
[WHERE where_condition] – 过滤
[GROUP BY col_list] – 分组查询
[HAVING col_list] – 分组后过滤
[ORDER BY col_list] – 排序 -- 全局排序
[CLUSTER BY col_list   -- 分区排序(当 distribute by 和 sort by 字段相同时,可以使用 cluster by方式。)
| [DISTRIBUTE BY col_list] [SORT BY col_list]
]
[LIMIT number] – 限制输出的行数

2、join连接

左右关联:inner、outer均可省略

内连接(join或inner join):只有2个表中连接字段都匹配的数据才会被保留。

左外连接(left join或left outer join):保留左表记录,右边不符合条件的用null填充

右外连接(right join或right outer join)

满外连接(full join或full outer join):保留两边全部,任一表没有符合条件的用null填充

左半连接(left semi join):内连接后,仅返回左表剩余的数据

交叉连接(笛卡尔积cross join):所有表中的所有行互相连接。

3、union和union all上下拼接:

union和union all在上下拼接sql结果时有两个要求:
(1)两个sql的结果,列的个数必须相同
(2)两个sql的结果,上下所对应列的类型必须一致

union去重并对结果排序,union all不去重

4、排序

(1)全局排序(Order By)
全局排序,只有一个Reduce。asc(ascend):升序(默认)desc(descend):降序
通常和limit一起使用,可以让每个map只需要处理limit的个数数据
(2)每个Reduce内部排序(Sort By)
Sort by为每个reduce产生一个排序文件。每个Reduce内部进行排序,对全局结果集来说不是排序。
(3)分区(Distribute By)
distribute by类似MapReduce中partition(自定义分区),进行分区,结合sort by使用。
分区排序(Cluster By)
(4)当distribute by和sort by字段相同时,可以使用cluster by方式。cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序。

三、常用函数

1、单行函数

输入一行,输出一行

  1. round:四舍五入

  2. ceil:向上取整

  3. floor:向下取整

  4. if(condition, trueValue, falseValue)

  5. case when:case when a then b [when c then d]* [else e] end :条件判断函数;如果a为true,则返回b;如果c为true,则返回d;否则返回 e ;针对同一个字段的等值判断可以把字段提在case后面

  6. cast(stuId AS INT) :类型转换

  7. nvl(A,B) :替换null值 ;A的值不为null,则返回A,否则返回B

  8. substring:截取字符串substring(string A, int start, int len)

  9. replace :替换 ;replace(string A, string B, string C) 字符串A中的子字符串B替换为C。

  10. regexp_replace:正则替换 ;regexp_replace(string A, string B, string C) 将字符串A中的符合java正则表达式B的部分替换为C。

  11. regexp:正则匹配;select ‘dfsaaaa’ regexp ‘dfsa+’,正则匹配成功,输出true

  12. repeat:重复字符串;repeat(string A, int n),字符串A重复n遍

  13. split(string str, string pat) :将一个字符串根据指定的分隔符进行分割,并返回一个数组。eg:split(arr,','),split(arr,'\\')[0]。当逗号作为分隔符时,保持不变,其他多数时候要加转义,如split(properties,'\_')

  14. concat(string A, string B, string C, ……) 将A,B,C……等字符拼接为一个字符串

  15. concat_ws(分隔符, string…| array(string)): 指定分隔符拼接字符串或者字符串数

  16. get_json_object(string json_string, string path) 解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效,那么返回NULL。select get_json_object(‘[{“name”:“大海海”,“sex”:“男”,“age”:“25”},{“name”:“小宋宋”,“sex”:“男”,“age”:“47”}]’,‘$.[0].name’);

  17. unix_timestamp:返回当前或指定时间的时间戳;例如:
    select unix_timestamp(‘2022/08/08 08-08-08’,‘yyyy/MM/dd HH-mm-ss’);
    from_unixtime(bigint unixtime[, string format]) 转化UNIX时间戳到当前时区的时间格式

  18. select current_date:-- 获取当前日期,格式:2022-09-13

  19. date_format(date,格式) -- 如:date_format('2022-09-13 12:00:00', 'yyyy-MM-dd')

  20. current_timestamp:-- 获取当前时间戳。 2022-09-13 17:52:57.613

  21. fom_unixtime(bigint unixtime[, string format]); -- 把UNIX 时间戳(从1970-01-01 00:00:00 UTC 到指定时间的秒数)转为时间或者指定格式日期。

  22. unix_timestamp(time)  -- 把yyyy-MM-dd HH:mm:ss转为unix时间戳

  23. to_date(time) -- 转为日期格式,默认为yyyy-MM-dd格式。

  24. datediff:两个日期相差的天数(结束日期减去开始日期的天数)

  25. date_add(string startdate, int days) :日期加天数

  26. date_sub (string startdate, int days) 日期减天数

  27. year(date) -- 获取年份

  28. month(date) -- 获取月份

  29. day(date) -- 获取日

  30. hour(date) -- 获取小时

  31. minute(date)  -- 获取分钟

  32. second(date) -- 获取秒

  33. last_day(date) -- 指定日期所在月份的最后一天

  34. weekofyear(date)  --返回日期在该年的周数

  35. -- 判断周几

    select

    case when dayofweek('${etl_date}') =1 then '星期日'

         when dayofweek('${etl_date}') =7 then '星期六'

         when dayofweek('${etl_date}') =6 then '星期五'

         when dayofweek('${etl_date}') =5 then '星期四'

         when dayofweek('${etl_date}') =4 then '星期三'

         when dayofweek('${etl_date}') =3 then '星期二'

         when dayofweek('${etl_date}') =2 then '星期一'

         else null

         end as weekday

  36. map (key1, value1, key2, value2, …) 根据输入的key和value对构建map类型

  37. map_keys: 返回map中的key;map_values: 返回map中的value;
    select map_keys(map(‘xiaohai’,1,‘dahai’,2));

  38. array(val1, val2, …) 根据输入的参数构建数组array类

  39. array_contains: 判断array中是否包含某个元素 ;select array_contains(array(‘a’,‘b’,‘c’,‘d’),‘a’);

  40. sort_array:将array中的元素排序

  41. struct(val1, val2, val3, …) 根据输入的参数构建结构体struct类

2、高级聚合函数

多进一出 (多行传入,一个行输出)。

  1. 普通聚合 count/sum.
  2. collect_set():多行数据收集为一行,返回set集合,无序不重复

  3. collect_list():多行数据收集为一行,返回list集合,有序重复

3、炸裂函数UDTF(制表函数)

接收一行,输出多行。

常用的UDTF ----explode(array as 字段名)
常用的UDTF ----explode(map as (key,value))
常用的UDTF ----poseexplode(array as 字段名) 会返回位置,索引
常用的UDTF ----inline(array<STRUCTf1:T1,....fn,Tn> as 字段名)
Latera View:通常与UDTF配合使用。Lateral View可以将UDTF应用到源表的每行数据,将每行数据转换为一行或多行,并将源表中每行的输出结果与该行连接起来,形成一个虚拟表。

eg:

select col1, col2, tmp_table.tmp_col
from test_tb
lateral view explode(split(col3, '分隔符')) tmp_table as tmp_col
where partition_name='xxx' 
-- create table if not exists tb
-- (
--    class    string comment '班级名称',
--    student string comment '学生名称',
--    score   string comment '学生分数'
--)
--    comment '学生成绩表';
--INSERT overwrite table tb
--VALUES ("1班","小A,小B,小C","80,92,70"),
--       ("2班","小D,小E","88,62"),
--       ("3班","小F,小G,小H","90,97,85");select class, student, score,stu_name, stu_score
from tb lateral view posexplode(split(student, ',')) tmp3 as stu_index1, stu_namelateral view posexplode(split(score, ',')) tmp4 as stu_index2, stu_score
where stu_index1 = stu_index2;-- tmp_table:explode形成的新虚拟表,可以不写;
-- tmp_col:explode 形成的新列(字段)

4、窗口函数

窗口函数,function(arg):对应的窗口数据计算函数

function(arg) over (partition by {分区列名} order by {order 列名} desc|asc [rows|range between 起点行 and 终点行])

(1)常用窗口-窗口计算

1)sum(col) over ()

2)avg(col) over ()

3)max(col) over ()

4)min(col) over ()

5)count(col) over ()

6)cume_dist() over (order by col)

    --如果按升序排列,则统计:小于等于当前值的行数/总行数(number of rows ≤ current row)/(total number ofrows)。

    --如果是降序排列,则统计:大于等于当前值的行数/总行数

    eg: cume_dist() over (ORDER BY salary) as cume_dist -- 统计小于等于当前工资的人数占总人数的比例

    cume_dist() over (PARTITION BY dept_no ORDER BY salary) as cume_dist  -- 根据部门统计小于等于当前工资的人数占部门总人数的比例

(2)常用窗口-跨行取值函数

1)first_value(col) over ():首行值

2)last_value(col) over ():末行值

lag和lead:获取当前行的上、下某行、某个字段的值;不支持自定义窗口范围。

3) lag(col,n,defaultValue)  over(partion by..order by..):查询字段col,当前行往前数第n行的数据,若为null显示默认值defaultValue;

        lag(col):指默认每次取字段col当前行的上一行数据

        lag(col, n) over ():取窗口范围往前第 n 行数据的值

4) lead(col, n,defaultValue) over ():取窗口范围往后第 n 行数据的值

5) ntile(n) over(partition by col1 order by col2):col1为分组的列名,col2为排序的列名,将有序分组的窗口范围,平均分成n份,每一份编号依次为1、2、3...、n;如果要取其中第m份,需要用到嵌套子查询

(3)常用窗口-排名函数

row_number() over (partition by col1 order by col2) as row_number

    -- 连续排序。在窗口内会对所有数值,每个组输出的序号唯一且连续,如:1、2、3、4、5。

rank() over (partition by col1 order by col2) as rank

    -- 相同数值,输出相同的序号,而且下一个序号间断,如:1、1、3、3、5。

dense_rank() over (partition by col1 order by col2) as rank

    -- 相同数值,输出相同的序号,但下一个序号不间断,如:1、1、2、2、3。

percent_rank() over():返回order by列的百分比排名

四、导入导出文件

1、load将文件导入hive表中
语法:LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)];
(1)local:表示从本地加载数据到Hive表;否则从HDFS加载数据到Hive表。(如果是本地数据则是复制一份到hive路径,如果是HDFS则是移动到hive路径)
(2)overwrite:表示覆盖表中已有数据,否则表示追加。
(3)partition:表示上传到指定分区,若目标是分区表,需指定分区。

eg:load data local inpath ‘/opt/module/hive/datas/dept_20220401.log’
into table dept_partition partition(day=‘20220401’);

2、将hive查询导出到本地文件

INSERT OVERWRITE LOCAL DIRECTORY '/path/to/local/directory'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
SELECT * FROM your_hive_table;

五、sql使用

1、随机抽样

-- 随机抽样
use dmr_dev;
create table if not exists feature_train_202009 as
(select uid, req_dt, flag, req_month, feature_libsvmfrom tbwhere req_dt='2020-09-28'order by rand()limit 10000
);-- 随机抽样
select * 
from tb
TABLESAMPLE(10 ROWS);-- 随机抽样(百分比)
select * 
from tb 
TABLESAMPLE(10 PERCENT);

2、hive窗口函数去重

use dmr_dev;
set hive.support.quoted.identifiers=none;  
create table if not exists dmr_dev.bussiness_pinkey_all_feature as
(select (num)?+.+from(select row_number() over (partition by req_dt, uid order by req_dt, uid asc) num, *from dmr_dev.all_bussiness_pinkey_all_feature) twhere t.num=1
); 

3、求分位数

-- 分位数
use dmr_dev;
drop table if exists dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_array;
create table if not exists dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_array as    
selectpercentile_approx(predict_score,array(0.25,0.5,0.75,0.9,0.95)) as predict_score_arr
from (select a.*from(select *from dmr_c.dmrc_model_anti_fraud_outer_tx_if_result_i_mwhere dt = '2021-10-01') ajoin (select count(1) as cntfrom dmr_c.dmrc_model_anti_fraud_outer_tx_if_result_i_mwhere dt = '2021-10-01') bwhere rand(123) < 100000/cnt) tmp;-- 省略ON条件,Hive将尝试进行笛卡尔积(Cartesian product),即将第一个表的每一行与第二个表的每一行组合

4、模型打分分箱,效果分析

-- 基于3求分位数后,模型打分分箱
-- (,arr[0]]   1
-- (arr[0], arr[1]]   2
-- (arr[1], arr[2]]   3
-- (arr[2], arr[3]]   4
-- (arr[3], arr[4]]   5
-- (arr[4], )    6CREATE TEMPORARY MACRO score_grp(x double,arr array<double>) case when x<=arr[0] then 1 when x<=arr[1] then 2 when x<=arr[2] then 3 when x<=arr[3] then 4 when x<=arr[4] then 5 when x>arr[4] then 6 end;use dmr_dev;
drop table if exists dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_score;
create table if not exists dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_score as
select a.*,score_grp(a.predict_score, b.predict_score_arr) as predict_score_grp
from 
(   select *from dmr_c.dmrc_model_anti_fraud_outer_tx_if_result_i_mwhere dt = '2021-10-01' 
) a
left join dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_array b;
-- 此处省略on条件-- 模型效果分析
select predict_score_grp, count(1) as cnt
from dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_score
group by predict_score_grp
order by predict_score_grp;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/52804.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

电脑C盘临时文件怎么清理?

在解决“C盘临时文件怎么清理&#xff1f;”的问题前&#xff0c;先来一起了解一下清理C盘临时文件的原因&#xff1a; 释放磁盘空间&#xff1a;临时文件可以占用大量磁盘空间&#xff0c;尤其是在长时间未清理的情况下&#xff0c;清理这些文件可以释放空间。提高系统性能&a…

sheng的学习笔记-AI-半监督聚类

AI目录&#xff1a;sheng的学习笔记-AI目录-CSDN博客 半监督学习&#xff1a;sheng的学习笔记-AI-半监督学习-CSDN博客 聚类&#xff1a;sheng的学习笔记-AI-聚类(Clustering)-CSDN博客 均值算法&#xff1a;sheng的学习笔记-AI-K均值算法_k均值算法怎么算迭代两次后的最大…

突发!Runway 从 HuggingFace 及 GitHub 上删库跑路,背后有何隐情?

突发&#xff01;2024年8月29日Runway 从 HuggingFace 及 GitHub 上删库跑路&#xff0c;背后有何隐情&#xff1f; &#x1f9d0; 今天我们来聊一聊科技圈一则爆炸性消息&#xff1a;Runway ML 从 HuggingFace 和 GitHub 上删库跑路&#xff0c;毫无预警&#xff01;这个举动…

properties文件提示未引用

问题描述 以前用的好好的项目,今天突然打开就发现idea不识别spring配置信息显示未引用,如果config代码中引入的配置却可以高亮显示,然后输入spring相关的配置,文件是没有提示的。经过研究发现是spring相关的插件被关闭了。效果如下 解决方法 启用三个插件spring Boot,Sp…

看完这100道软件测试面试题,拿不到offer,算我输

掌握此套面试题&#xff0c;人手至少2份offer&#xff0c;绝不瞎吹&#xff01;分享给大家。 一、自我介绍 二、灵活问题 1、大概说说之前公司的测试流程 2、测试报告有哪些内容? 3、如何保证用例的覆盖度&#xff1f; 4、什么是测试用例&#xff0c;什么是测试脚本&…

知识社区的小程序源码系统 界面支持万能DIY装修 带源代码包以及搭建部署教程

系统概述 知识社区的小程序源码系统是一款专为构建知识分享和交流社区而设计的强大工具。它提供了完整的源代码包&#xff0c;使开发者能够根据自己的需求进行定制和扩展&#xff0c;打造出个性化的小程序应用。 该系统的界面设计简洁大方&#xff0c;易于操作&#xff0c;同…

【JavaEE】线程安全性问题,线程不安全是怎么产生的,该如何应对

产生线程不安全的原因 在Java多线程编程中&#xff0c;线程不安全通常是由于多个线程同时访问共享资源而引发的竞争条件。以下是一些导致线程不安全的常见原因&#xff1a; 共享可变状态&#xff1a;当多个线程对共享的可变数据进行读写时&#xff0c;如果没有适当的同步机制&…

鸿蒙Next 单元测试框架——hypium

一 框架概述 单元测试框架(hypium)是HarmonyOS上的测试框架&#xff0c;提供测试用例编写、执行、结果显示能力&#xff0c;用于测试系统或应用接口。 表1 单元测试框架功能特性 二 安装使用 目前hypium以npm包的形式发布, 因此需要在Deveco Studio 工程级package.json内配…

CSS-常用属性【看这一篇就够了】

目录 前言文章 常用属性 cursor鼠标样式 outline外轮廓 border与outline的区别 overflow超出部分隐藏 overflow属性值 overflow-x和overflow-y vertical-align属性 应用案例 常用的a标签布局按钮 水平居中的轮播图按钮 产品展示效果&#xff1a; 小米商城菜单 前…

【C#】属性的声明

在面向对象程序设计中,属性是访问对象存储数据的首选方式。 一般不要直接公开类的变量成员,即便是get访问器和set访问器并无数据访问规则。 属性的声明 1. 完整声明 在代码中输入propfull &#xff0c;并连续按两下tab键 高亮的部分是可以修改的部分&#xff0c;按tab键可以…

FPGA上板项目(四)——FIFO测试

目录 实验内容实验原理FIFO IP 核时序绘制HDL 代码仿真综合实现上板测试 实验内容 理解 FIFO 原理调用 FIFO IP 核完成数据读写 实验原理 FIFO&#xff1a;First In First Out&#xff0c;先入先出式数据缓冲器&#xff0c;用来实现数据先入先出的读写方式。可分类为同步 FI…

一个php快速项目搭建框架源码,带一键CURD等功能

介绍&#xff1a; 框架易于功能扩展&#xff0c;代码维护&#xff0c;方便二次开发&#xff0c;帮助开发者简单高效降低二次开发成本&#xff0c;满足专注业务深度开发的需求。 百度网盘下载 图片&#xff1a;

科研绘图系列:R语言多组极坐标图(grouped polar plot)

介绍 Polar plot(极坐标图)是一种二维图表,它使用极坐标系统来表示数据,而不是像笛卡尔坐标系(直角坐标系)那样使用x和y坐标。在极坐标图中,每个数据点由一个角度(极角)和一个半径(极径)来确定。角度通常从水平线(或图表的某个固定参考方向)开始测量,而半径则是…

【网络安全】服务基础第一阶段——第六节:Windows系统管理基础---- DNS部署与安全

计算机智能识别并用IP地址定位&#xff0c;例如我们想要访问一个网页&#xff0c;其实是只能使用这个网页的IP地址&#xff0c;即四位的0&#xff5e;255来访问&#xff0c;但这一串数字难以记忆&#xff0c;于是就有了DNS&#xff0c;将难以记忆的数字转化为容易记忆的域名&am…

合宙LuatOS产品规格书——Air700EAQ

Luat Air700EAQ是合宙的LTE Cat.1bis通信模块&#xff0c;采用移芯EC716E平台&#xff0c;支持LTE 3GPP Rel.13技术。 该模块专为满足小型化、低成本需求而设计&#xff0c;具备超小封装和极致成本优势。 Air700EAQ支持移动双模&#xff0c;内置丰富的网络协议&#xff0c;集…

基于AI大模型开发上层应用常见的技术栈

基于AI大模型的上层应用开发&#xff0c;技术栈要求通常包括以下几个方面&#xff1a; 编程语言&#xff1a;Python是AI领域的主要编程语言&#xff0c;具有大量的库和框架支持&#xff0c;是大模型开发的首选语言 。TypeScript也是不错的选择&#xff0c;很多模型对外提供类似…

Java使用POI创建带样式和公式的Excel文件

这篇文章将演示如何使用POI 创建带样式和公式的Excel文件。 代码 import org.apache.poi.ss.usermodel.*; import org.apache.poi.xssf.usermodel.XSSFWorkbook;import java.io.FileOutputStream; import java.io.IOException;public class ExcelDemo {public static void mai…

FPGA第 5 篇,FPGA技术优略势,FPGA学习方向,FPGA学习路线(FPGA专业知识的学习方向,FPGA现场可编程门阵列学习路线和方向)

前言 前几篇讲了一下FPGA的发展和应用&#xff0c;以及未来前景。具体详细&#xff0c;请看 FPGA发展和应用&#xff0c;以及未来前景https://blog.csdn.net/weixin_65793170/category_12665249.html 这里我们来&#xff0c;记录一下&#xff0c;FPGA专业知识的学习路线 一.…

Python(C++)自动微分导图

&#x1f3af;要点 反向传播矢量化计算方式前向传递和后向传递计算方式图节点拓扑排序一阶二阶前向和伴随模式计算二元分类中生成系数高斯噪声和特征二元二次方程有向无环计算图超平面搜索前向梯度下降算法快速傅里叶变换材料应力和切线算子GPU CUDA 神经网络算术微分 Pytho…

C语言阴阳迷宫

目录 开头程序程序的流程图程序游玩的效果下一篇博客要说的东西 开头 大家好&#xff0c;我叫这是我58。 程序 #define _CRT_SECURE_NO_WARNINGS 1 #include <stdio.h> #include <stdlib.h> #include <string.h> #include <Windows.h> enum WASD {W…