hive 去重 字符串_hive函数

Hive是建立在 Hadoop 上的数据仓库基础架构,定义了简单的类 SQL 查询语言(HQL)

函数分类:

简单内置函数:数学函数,字符函数,日期函数,条件函数,聚合函数。

高级内置函数:行列转换函数,分析性函数。

自定义函数:udf。

以上是小编自己整理分类的,网上也有很多不同分类的版本,下图就是在别人博客中我觉得比较好的分类方法。

e959b654d07a1ec15328abff1a97735c.png

数学函数

round():四舍五入

floor(): 向下取整

ceil():  向上取整

rand():  随机数

mod():取余

字符函数

length(string1):长度

concat(string1,string2):拼接

concat_ws(sep,string1,string2):返回按指定分隔符拼接的字符串

lower(string1):小写字符串 upper():返回大写字符串

trim(string1):去左右空格,ltrim(string1):去左空格。rtrim(string1):去右空格

reverse(string1):字符串逆置

rpad(string1,len1,pad1):字符右填充。lpad():左填充

split(string1,pat1):分隔字符串返回数组。如split('a,b,c',',')返回["a","b","c"]

substr():截取。如substr('abcde',1,3)返回'abc'

日期函数

curdate:返回当前日期

year(date):month(date):day(date):  返回日期date的年,月,日,类型为int

datediff(date1,date2):返回日期date1与date2相差的天数

str_to_date将日期格式的字符转换成指定格式的日期

例子:str_to_date('9-13-2020','%m-%d-%y')结果:2020-09-13

date_format()将日期转换成字符

例子:date_format('2020/9/13','%Y年%m月%d日')结果:2020年9月13日

条件函数

if(条件,t1,t2):若条件成立,则返回t1,反正返回t2。如if(1>2,100,200)返回200

case when 条件 then t1 else t2 end:若条件成立,则t1,否则t2,可加多重判断

isnull(a):若a为null则返回true,否则返回false

聚合函数

count():统计行数

sum(col1):统计指定列和

avg(col1):统计指定列平均值

min(col1):返回指定列最小值

max(col1):返回指定列最大值

行转列函数

lateral  view explode(split(col1,',')) :同组同列的数据拆分成多行,以sep分隔符区分

列转行函数

concat_ws(sep, collect_set(col1)) :同组不同行合并成一列,以sep分隔符分隔。collect_set在无重复的情况下也可以collect_list()代替。collect_set()去重,collect_list()不去重

分析类函数

row_number()  over(partitiion by .. order by .. ):根据partition排序,相同值取不同序号,不存在序号跳跃

rank() over(partition by ..  order by .):根据partition排序,相同值取相同序号,存在序号跳跃

sum() over(partition by .. order by ..)根据partition排序,累计和

count() over(partition by .. order by ..)根据partition排序,累计行数

UDF函数

UDF(User-Defined Functions)即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了

UDF的分类

  1. UDF:one to one,进来一个出去一个,row mapping。是row级别操作,如:upper、substr函数

  2. UDAF:many to one,进来多个出去一个,row mapping。是row级别操作,如sum/min。

  3. UDTF:one to many ,进来一个出去多个。如alteral view与explode

c3154c1b8a4118df9c840e898fb06bf7.png

今天无锡也下雪了,从朋友圈盗图一张,每天进步多一点~

降温了,大家做好保暖

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/395345.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python word

代码: 1 #codingutf-82 __author__ zhm3 from win32com import client as wc4 import os5 import time6 import random7 import MySQLdb8 import re9 def wordsToHtml(dir):10 #批量把文件夹的word文档转换成html文件11 #金山WPS调用,抢先版的用KWPS&a…

aws lambda_如何为AWS Lambda实施日志聚合

aws lambdaby Yan Cui崔燕 如何为AWS Lambda实施日志聚合 (How to implement log aggregation for AWS Lambda) During the execution of a Lambda function, whatever you write to stdout (for example, using console.log in Node.js) will be captured by Lambda and sent…

【Python3爬虫】为什么你的博客没人看呢?

我相信对于很多爱好和习惯写博客的人来说,如果自己的博客有很多人阅读和评论的话,自己会非常开心,但是你发现自己用心写的博客却没什么人看,多多少少会觉得有些伤心吧?我们今天就来看一下为什么你的博客没人看呢&#…

泰安高考2021成绩查询,泰安高考成绩查询入口2021

高考结束之后,为了方便大家进行高考成绩的查询,下面跟着出国留学网小编来一起看看“泰安高考成绩查询入口2021”,仅供参考,希望对大家有帮助。2021山东高考成绩查询时间及志愿填报时间根据山东2021年夏季高考须知,2021…

用GitHub Issue取代多说,是不是很厉害?

2019独角兽企业重金招聘Python工程师标准>>> 摘要: 别了,多说,拥抱Gitment。 2017年6月1日,多说正式下线,这多少让人感觉有些遗憾。在比较了多个博客评论系统,我最终选择了Gitment作为本站的博客评论系统&a…

mysql延时优化教程_Mysql优化之延迟索引和分页优化_MySQL

什么是延迟索引?使用索引查询出来数据,之后把查询结果和同一张表中数据进行连接查询,进而提高查询速度!分页是一个很常见功能,select ** from tableName limit ($page - 1 ) * $n ,$n通过一个存储过程插入10000条数据进行测试&…

【动态规划】Vijos P1313 金明的预算方案(NOIP2006提高组第二题)

题目链接&#xff1a; https://vijos.org/p/1313 题目大意&#xff1a; m(m<32000)金钱&#xff0c;n&#xff08;n<60&#xff09;个物品&#xff0c;花费vi&#xff0c;价值vi*ci,每个物品可能有不超过2个附件&#xff0c;附件没有附件。 题目思路&#xff1a; 【动态规…

计算机网络应用答题卡,2013-2014学年第2学期11级计算机网络技术毕业考试试卷

2013-2014学年第2学期11级《计算机网络技术》课程毕业考试试卷得分&#xff1a;一、单项选择题&#xff1a;(每题1分&#xff0c;共30分&#xff0c;答案必须写在后面的选择题答题卡内&#xff0c;否则不得分)1、计算机网络可以按网络的覆盖范围来划分&#xff0c;以下()不是按…

0622 - 如何坚守自己的价值观?

如果有人有着和自己迥异的价值观&#xff0c;且混得很好&#xff0c;且和自己是熟人&#xff0c;自己是不是要改变自己、向其学习&#xff1f; 比如&#xff0c;常说的「学习好的比学习差的打工」&#xff0c;那到底是要好好学习&#xff0c;还是提前混人脉、攒经验&#xff1f…

如何免费注册Coursera课程

One question I get asked all the time here at Class Central is: are Coursera courses really free?在班级中心&#xff0c;我一直被问到的一个问题是&#xff1a; Coursera课程真的免费吗&#xff1f; Coursera’s user interface is intentionally designed to push le…

三态门有一个信号控制端en_三态门verilog

双向口-三态门的电路IC专业技术文章2008-12-06 14:59:24阅读119评论0字号&#xff1a;大中小订阅1.TTL三态门电路工作原理:三态门电路的基本结构如下图所示&#xff1a;(1)图1给出了三态门的电路结构图及图形符号。其中控制端EN为低电平时,P点为高电平&#xff0c;二极管D截止&…

[树形dp] Jzoj P3914 人品问题

Description 网上出现了一种高科技产品——人品测试器。只要你把你的真实姓名输入进去&#xff0c;系统将自动输出你的人品指数。yzx不相信自己的人品为0。经过了许多研究后&#xff0c;yzx得出了一个更为科学的人品计算方法。这种方法的理论依据是一个非常重要的结论&#xff…

为什么那些每三年跳一次槽的人越跳越好? - 震撼

现在&#xff0c;人们已经放下了对跳槽的偏见。这是一件好事。之前。假设你每几年换一次工作&#xff0c;人们会认为你的简历上有 “污点”。面试官会认为你无法胜任一份工作。与同事相处不好。或者你对公司不忠诚&#xff0c;不能承担任务&#xff0c;等等。 这样的想法非常快…

2019 6月编程语言_六月开始提供435项免费在线编程和计算机科学课程

2019 6月编程语言Five years ago, universities like MIT and Stanford first opened up free online courses to the public. Today, more than 700 schools around the world have created thousands of free online courses.五年前&#xff0c;麻省理工学院和斯坦福大学等大…

使用html记笔记,开始学习HTML,并记下笔记

开始学习HTML,并记下笔记。外边距(不影响可见框大小&#xff0c;影像盒子位置)margin-top(上)right(右)bottom(下)left(左)“外边距也可以为一个负值&#xff0c;元素会反方向移动”margin还可以设置为auto&#xff0c;auto一般只设置给水平方向的margin.如果只指定&#xff0c…

矢量合成和分解的法则_专题14 运动的合成与分解

运动的合成与分解【基础回顾】 考点内容:运动的合成与分解 考纲解读: 1.掌握曲线运动的概念、特点及条件. 2.掌握运动的合成与分解法则&#xff0e; 考点一 物体做曲线运动的条件及轨迹分析 1&#xff0e;条件  (1)因为速度时刻在变&#xff0c;所以一定存在加速度&#xff1…

详解--单调队列 经典滑动窗口问题

单调队列&#xff0c;即单调的队列。使用频率不高&#xff0c;但在有些程序中会有非同寻常的作用。 动态规划单调队列的理解 做动态规划时常常会见到形如这样的转移方程&#xff1a;f[x] max or min{g(k) | b[x] < k < x} w[x](其中b[x]随x单调不降&#xff0c;即b[1]&…

Java Persistence with MyBatis 小结2

MyBatis 最关键的组成部分是 SqlSessionFactory&#xff0c;我们可以从中获取 SqlSession&#xff0c;并执行映射的 SQL 语句。SqlSessionFactory 对象可以通过基于 XML 的配置信息或者 Java API 创建。 1 mybatis环境&#xff0c;environments 配置默认的数据库环境 MyBatis 支…

《计算机应用基础》18春作业,【北语网院】18春《计算机应用基础》作业_2.pdf...

谋学网【北京语言大学】 18 春《计算机应用基础》作业 _2试卷总分 :100 得分 :100第 1 题, 操作系统是 ___ 的接口。A、用户与软件B、系统软件与应用软件C、主机与外设D、用户与计算机第 2 题, 计算机配置的内存的容量为 128MB或 128MB以上&#xff0c;其中的 128MB是指 __ 。A…

freeCodeCamp纳什维尔十月聚会回顾

by Seth Alexander塞斯亚历山大(Seth Alexander) 纳什维尔的美好时光&#xff1a;十月免费CodeCamp聚会的回顾 (Good times in Nashville: a recap of our October freeCodeCamp Meetup) On Saturday, October 7, we had our monthly freeCodeCamp Nashville meetup at Nashvi…