hive 不同维度聚合 grouping sets 使用详情

当结构数据表中,多列维度字段场景,
需要看不同维度聚合后的数据集时。

整体 demo sql

select	if(CAST (GROUPING__ID AS INT) & 8=0, A, 'all') as A,if(CAST (GROUPING__ID AS INT) & 4=0, B, 'all') as B,C,D
from table_name
where dt = '${dt}'
group byA,B,C,D	
GROUPING SETS((A)		,(B),(C)	,(D)	,(A,B)	,(A,C),(A,D),(B,C)	,(B,D)	,(C,D)	,(A,B,C)	,(A,B,D)	,(A,C,D)	,(B,C,D)	,(A,B,C,D)	

下面进行sql逐步拆解分析(建议三个模块结合着看,会更快理解该语法)

1.第一模块

select	-- A 的二进制为 8 ,如果 GROUPING__ID & 8=0 则取A值,否值为 all if(CAST (GROUPING__ID AS INT) & 8=0, A, 'all') as A-- & 运算符使用--	0	1	1	1	二进制数对应的十进制数为	7--	1	0	0	0	二进制数对应的十进制数为	8--	演示 7 & 8(1表示 真 、0表示 假;真真得真,真假得假,假假得假)--	0	1	1	1--	1	0	0	0-------------------	0	0	0	0	该二进制对应的十进制为0-- 则 7 & 8 =0-- A 的二进制为 4 ,如果 GROUPING__ID & 4=0 则取B值,否值为 all ,if(CAST (GROUPING__ID AS INT) & 4=0, B, 'all') as B,C,D

2.第二模块 (接着第一模块叙述)

from table_name
where dt = '${dt}'
group byA,B,C,D--	A	B	C	D	出现在 group by 后的位置
--	3	2	1	0	二进制排位(最先出现在group by 后的排二进制最高位)
--	8	4	2	1	二进制转化为十进制值

3.第三模块(接着第二模块叙述)

GROUPING SETS((A)		-- GROUPING__ID 值为 7,(B)	-- GROUPING__ID 值为 11,(C)	-- GROUPING__ID 值为 13,(D)	-- GROUPING__ID 值为 14,(A,B)	-- GROUPING__ID 值为 3,(A,C)	-- GROUPING__ID 值为 5,(A,D)	-- GROUPING__ID 值为 6,(B,C)	-- GROUPING__ID 值为 9,(B,D)	-- GROUPING__ID 值为 10,(C,D)	-- GROUPING__ID 值为 12,(A,B,C)	-- GROUPING__ID 值为 1,(A,B,D)	-- GROUPING__ID 值为 2,(A,C,D)	-- GROUPING__ID 值为 4,(B,C,D)	-- GROUPING__ID 值为 8,(A,B,C,D)	-- GROUPING__ID 值为 0 
)

附加测试语法

-- 将二进制化转化为十进制
rpad(reverse(bin(cast(GROUPING__ID AS bigint))),16,'0') 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/826611.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从迷宫问题理解dfs

文章目录 迷宫问题打印路径1思路定义一个结构体要保存所走的路径,就需要使用到栈遍历所有的可能性核心代码 部分函数递归图源代码 迷宫问题返回最短路径这里的思想同上面类似。源代码 迷宫问题打印路径1 定义一个二维数组 N*M ,如 5 5 数组下所示&…

十一、Yocto集成tcpdump等网络工具

文章目录 Yocto集成tcpdump等网络工具networking layer集成 Yocto集成tcpdump等网络工具 本篇文章为基于raspberrypi 4B单板的yocto实战系列的第十一篇文章: 一、yocto 编译raspberrypi 4B并启动 二、yocto 集成ros2(基于raspberrypi 4B) 三、Yocto创建自定义的lay…

ctf.show_web14

在switch中,case 里如果没有 break,则会继续向下执行 case。 过滤了information_schema.tables、information_schema.column、空格 information_schema.tables 或 .columns 用反引号 information_schema.tables 同时查3个字段 ?query-1/**/union/**/…

kafka 的零拷贝原理

在实际应用中,如果我们需要把磁盘中的某个文件内容发送到远程服务器上,那么它必须经过几个拷贝的过程。 从磁盘中读取目标文件内容拷贝到内核缓冲区CPU 控制器再把内核缓冲区的数据赋值到用户空间的缓冲区中接着在应用程序中,调用 write(&am…

ssh免秘钥登录与时钟同步

ssh免秘钥登录及数据拷贝 ssh免秘钥登录及数据拷贝环境生成秘钥拷贝公钥到到远程服务器通过ssh-copy-id命令拷贝公钥到远程服务器通过手动拷贝公钥到远程服务器 非root用户远程拷贝公钥 设置编码方式临时设置编码永久设置方法一永久设置方法二 设置时钟同步使用 ntpdate 命令使…

血糖长期不降,乏力、视力模糊?可能治疗方向有误。

糖尿病能不能治愈,中医能不能治,这是很多人讨论的话题,现在全世界任何一家西医医院都会告诉你,糖尿病没办法治,给你的建议也是终身服药,或者打胰岛素治疗,但是我告诉你,其实这都是治…

Jmeter04:关联

1 Jmeter组件:关联 概括:2个请求之间不是独立的,一个请求响应的结果是作为另一个请求提交的数据,存在数据交互 1.1 是什么? 就是一个请求的结果是另一个请求提交的数据,二者不再是独立 1.2 为什么&#x…

360春招笔试题

目录 对于Android中Handler类的handleMessage和sendMessage方法的用法描述 以下哪个不是线程独立拥有的?

深入理解Java IO流:字符流

深入理解Java IO流:字符流 引言 在Java中,IO(输入/输出)操作是程序与外部世界交互的重要方式。 其中,File类是进行文件操作的基础,而字节流和字符流则是数据传输的两种主要方式。 本文将深入探讨这些概念及…

【Redis 神秘大陆】004 高可用集群

四、Redis 高可用和集群 当你发现这些内容对你有帮助时,为了支持我的工作,不妨给一个免费的⭐Star,这将是对我最大的鼓励!感谢你的陪伴与支持!一起在技术的路上共同成长吧!点击链接:GitHub | G…

算法总结篇 —— dfs(搜索、递归、回溯)

有些事情本来很遥远,你争取,它就会离你越来越近 概念 名词解释如何理解递归 dfs 回溯类问题蓝桥杯——飞机降落 dfs 迷宫搜索类问题蓝桥杯——岛屿个数 概念 名词解释 递归是指在一个函数的定义中调用自身的过程,有些复杂问题可以划分为多…

IO同步与异步

公众号:I/O异步与同步 我们的程序,如果要对I/O设备进行操作,比如通过一个socket发送数据,文件的读写,是怎么实现的呢? 要知道,为了保证系统安全以及抽象化(避免每个进程都需要对IO设…

c++的学习之路:26、AVL树

摘要 本章主要是说一下AVL树的实现,这里说的是插入的底层原理 目录 摘要 一、原理 二、四种旋转 1、左单旋 2、右单旋 3、左右双旋 4、右左双旋 三、代码实现 1、节点创建 2、插入 3、旋转 4、判断是否平衡 5、测试 四、代码 一、原理 前面说了搜索…

面试经典150题——H指数

面试经典150题 day11 题目来源我的题解方法一 排序从后往前遍历方法二 计数排序后缀和方法三 排序从左到右遍历 题目来源 力扣每日一题;题序:274 我的题解 方法一 排序从后往前遍历 先将数组升序排序,然后h从n到0开始遍历,计算…

为啥转化为可编辑面片后有这么多点和线

可以删一下 按住alt按移除可以删掉 选择你要删的那些线 按住alt点移除

一个typescript 5 + rollup 4 打包lib模板仓库实现

前言 昨天在写点什么东西的时候,发现有些逻辑可以搞成一个 npm 模块。 找了下看看,有没有什么好用现成模板用于开发。。发现并没有; 那有需求就解决需求。。 需求 基于当前的流行技术栈选型(rollup 4.x typescript 5.x)提供一个最小化模…

eBay、亚马逊自养号测评如何避免风控账号关联选择合适网络IP环境

在自养号下单中选择适合的网络环境至关重要。经过多次实践与测试,积累了大量的经验,希望能够与大家分享,帮助大家避开陷阱,顺利前行。 市面上的网络环境种类繁多,从纯IP类的Luminati、Rola,到纯环境类的VM…

编写Spark独立应用程序

执行本文之前,先搭建好spark的开发环境,我目前只搭建了standalone模式,参考链接 : Spark Standalone模式部署-CSDN博客 1. 安装sbt 1)下载sbt 网址:https://www.scala-sbt.org/download.html &#xff0c…

【云原生 • Docker】 ELK 8.4.3 docker 保姆级安装部署详细步骤

文章目录 ELK简介二、版本说明三、安装部署3.1 创建docker网络3.2 Elasticsearch拉取docker镜像,版本:8.4.3第一次执行docker脚本可以看到控制台的信息,找到这个信息并保存下来创建Elasticsearch挂载目录给创建的文件夹授权将容器内的文件复制到主机上删除容器修改docker脚本…

【GPTs分享】GPTs分享之Image Recreate | img2img​

简介 该GPT是一个专门用于图像编辑、重建和合并的工具。它通过详细的自动图像描述和生成,帮助用户从源图像中重现或修改图像。此工具设计用于为视障用户提供图像内容的详细描述,并生成全新的图像,以满足特定的视觉需求。 主要功能 \1. 图像…