复杂类型，查询--学习笔记

1，复杂类型

解决问题：一些不容易获取到的数据，例如数组类型，集合类型等，获取他们的数据

-- 1.创建表
create table tb_array_person(name string,city_array array<string>
)row format delimited
fields terminated by "\t"
collection items terminated by ",";-- 2.上传数据到hdfs对应的表下
-- 3.查询数据结果
select * from tb_array_person;

1）当设定了复杂数据类型的字段后，需要给字段指定分隔符之外，还需要指定其他分隔符
2）注意，当使用原生数据类型指定字段名类型无法满足需求时，就可以考虑使用复杂数据类型。

1.1 SerDe机制

所谓SerDe，就是单词Serializer、Deserializer的简称。而Serializer表示序列化，Deserializer为反序列化。
（1）序列化是对象(或数据)转化为字节码的过程，相当于：加密

（2）反序列化是字节码转换为对象(或数据)的过程，好比是：解密
而上述问题中的[collection items terminated by “,”]，就表示拥有了SerDe语法。可以通过命令查看：

desc formatted 表名;

2，这个序列化类中，一共包含4种子语法，分别用于指定不同内容的分隔符号，4种语法分别是：

[row format delimited]
[fields terminated by '指定分隔符']   # 字段之间分隔符
[collection items terminated by '指定分隔符']   # 集合/数组元素之间分隔符
[map keys terminated by '指定分隔符']   # Map映射K-V之间分隔符
[lines terminated by '指定分隔符']   # 行数据之间分隔符

（1）一般情况下，使用复杂类型时，要设定collection、map分隔符；

（2）fields字段、collection items集合/数组、map keys Map映射这几个使用较常见

1.2array数组

create [external] table 表名(字段名 字段类型 [comment '注释'],字段名 字段类型 [comment '注释'],...字段名 array<类型>
) 
[row format delimited]
[fields terminated by '指定分隔符']   # 字段之间分隔符
[collection items terminated by '指定分隔符'];   # 集合/数组元素之间分隔符

array类型属于集合/数组，设定分隔符用collection items。
1，数组变量名[index]

以索引值形式访问数组的某元素。其中，index表示索引值，索引值从0开始计算。

2，size(数组变量名)

获取数组变量的总长度或元素总个数。

3，array_contains(数组变量名, value)

判断value值是否存在数组变量中。若存在，则返回true；否则返回false。

create table complex_array(name string,location_lists array<string>
)row format delimited
fields terminated by "\t"
collection items terminated by ",";load data local inpath "/root/day09_hive/array/01-data_for_array_type.txt" into table complex_array;select * from complex_array;
selectname,location_lists[0]
from complex_array;
selectname,size(location_lists)
from complex_array;selectname,array_contains(location_lists,"shenzhen")
from complex_array;selectname,array_contains(location_lists,"beijing")
from complex_array;select*
from complex_array
where array_contains(location_lists,"beijing");  -- 做条件

array<类型> 数组元素之间的分隔符：collection items terminated by ‘分隔符’；

1.3struct集合

在Hive中，以struct类型对结构字段之间设定分隔符的建表语句：

create [external] table 表名(字段名 字段类型 [comment '注释'],字段名 字段类型 [comment '注释'],...字段名 struct<子列名 类型, 子列名 类型, ...>
) 
[row format delimited]
[fields terminated by '指定分隔符']   # 字段之间分隔符
[collection items terminated by '指定分隔符'];   # 集合/数组元素之间分隔符

struct值得形式是key:value的形式

create table complex_struct(id int,informations struct<name:string, age:int>
)row format delimited
fields terminated by "#"
collection items terminated by ":";load data inpath "/itheima/02-data_for_struct_type.txt" into table complex_struct;select * from complex_struct;selectid,informations.name,informations.age
from complex_struct;

struct<name:string, age:int>结构分隔符只需要：COLLECTION ITEMS TERMINATED BY ‘分隔符’；

1.4map映射

在Hive中，以map类型对映射字段之间设定分隔符的建表语句：

create [external] table 表名(字段名 字段类型 [comment '注释'],字段名 字段类型 [comment '注释'],...字段名 map<key类型, value类型>
) 
[row format delimited]
[fields terminated by '指定分隔符']   # 字段之间分隔符
[collection items terminated by '指定分隔符']   # 集合/数组元素之间分隔符
[map keys terminated by '指定分隔符'];   # Map映射K-V之间分隔符

map类型属于Map映射，设定分隔符用map keys。
1，变量名[key]

以key键访问map映射的值。其中，key表示指定类型的键。

2，map_keys(变量名)

以数组形式返回Map变量的所有键。

3，map_values(变量名)

以数组形式返回Map变量的所有值。

4，array_contains(数组变量名, value)

判断value值是否存在数组变量中，可作为where条件处理。若存在，则返回true；否则返回false

create table complex_map(id int,name string,members map<string, string>,age int
)row format delimited
fields terminated by ","
collection items terminated by "#"
map keys terminated by ":";select * from complex_map;select*,members["father"],members["mother"]
from complex_map;selectmap_keys(members)
from complex_map;selectmap_values(members)
from complex_map;select*
from complex_map
wherearray_contains(map_keys(members),"brother");

map类型的字段主要存储K-V键值对；
操作map<key类型, value类型>时，注意：A）不同键值对之间：COLLECTION ITEMS TERMINATED BY ‘分隔符’ 分隔；B）一个键值对内，使用：MAP KEYS TERMINATED BY ‘分隔符’ 分隔K-V。

2.区别SQL的join查询

（1）全外连接

全外连接表示的是：除了返回满足连接条件的记录外，还会返回不满足连接条件的所有其它行记录，可以说是左外连接和右外连接查询结果的总和。语法：

select *|字段名, 字段名, ... from 左表 full outer join 右表 on 左右表关联条件;

通俗地说，全外连接就是：(左表有，右表没有的null补全；右表有，左表没有的null补全)。

常用于合并显示所有数据内容。

（2）左半开连接

左半开连接（LEFT SEMI JOIN）会返回左边表的记录，前提是其记录对于右边表满足 ON 语句中的判定条件。(可以理解成内连接后只取左表的数据)。

select 字段名 from A表名 别名 left semi join B表名 别名 on 条件 [where 查询条件];

LEFT SEMI JOIN 比通常的 INNER JOIN 要更高效，原因如下：对于左表中一条指定的记录，在右边表中一旦找到匹配的记录，Hive 就会立即停止扫描。

select*
from tb_users u
full join tb_orders `to` on u.createTime = `to`.createTime;select*
from tb_users u
left semi join tb_orders o on u.userid=o.userid;

请添加图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/157977.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Servlet执行流程Servlet 生命周期

Servlet执行流程Servlet 生命周期

Servlet 生命周期 对象的生命周期指一个对象从被创建到被销毁的整个过程 import javax.servlet.*; import javax.servlet.annotation.WebServlet; import java.io.IOException; WebServlet(urlPatterns "/demo",loadOnStartup 10) public class ServletDemo imple…
阅读更多...
Redis篇---第十三篇

Redis篇---第十三篇

系列文章目录 文章目录 系列文章目录前言一、redis的过期策略以及内存淘汰机制二、Redis 为什么是单线程的三、Redis 常见性能问题和解决方案？前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通用，看…
阅读更多...
Vue弹窗的使用

Vue弹窗的使用

Vue弹窗的使用&#xff1a; Vue弹窗传值&#xff1a;
阅读更多...
51单片机LED灯渐明渐暗实验

51单片机LED灯渐明渐暗实验

51单片机LED灯渐明渐暗实验 1.概述 这篇文章介绍使用单片机控制两个LED彩灯亮度渐明渐暗效果&#xff0c;详细介绍了操作步骤以及完整的程序代码&#xff0c;动手就能制作的小实验。 2.操作步骤 2.1.硬件搭建 1.硬件准备 名称型号数量单片机STC12C2052AD1LED彩灯无2晶振1…
阅读更多...
单例设计模式是什么？什么是 Singleton 单例设计模式？Python 单例（单件）设计模式示例代码

单例设计模式是什么？什么是 Singleton 单例设计模式？Python 单例（单件）设计模式示例代码

什么是 Singleton 单例设计模式&#xff1f; 单例模式是一种创建型设计模式&#xff0c;它确保一个类只有一个实例&#xff0c;并提供一个全局访问点来访问该实例。 主要思想&#xff1a; 单例模式确保某个类只有一个实例&#xff0c;并提供了一个访问该实例的全局访问点。它…
阅读更多...
vatee万腾科技先锋之选：vatee创新力驱动着未来发展

vatee万腾科技先锋之选：vatee创新力驱动着未来发展

在科技潮流的浩荡前行中&#xff0c;Vatee万腾崭新的科技先锋之选正以强大的创新力引领着未来的发展。Vatee万腾凭借其前瞻性的技术理念和卓越的创新实践&#xff0c;成为业界的引领者&#xff0c;为整个科技行业树立了标杆。 Vatee万腾不仅仅是一家科技公司&#xff0c;更是一…
阅读更多...
React中StrictMode严格模式，导致开发环境，接口会请求两次或多次（ useEffect 请求多次）

React中StrictMode严格模式，导致开发环境，接口会请求两次或多次（ useEffect 请求多次）

问题描述&#xff1a; 我在用 create-react-app时&#xff0c;开发环境&#xff0c;一进页面接口会请求两次或多次。 我在首页 useEffect里 请求一个接口&#xff0c;整个页面就在这里请求这一次接口。但 实际上请求了两次。我检查了代码&#xff0c;确定只调用了一次&#xf…
阅读更多...
Go 异常处理流程

Go 异常处理流程

在 Go 语言中&#xff0c;panic、recover 和 defer 是用于处理异常情况的关键字。它们通常一起使用来实现对程序错误的处理和恢复。 1. defer 语句 defer 用于在函数返回之前执行一段代码。被 defer 修饰的语句或函数会在包含 defer 的函数执行完毕后执行。defer 常用于资源清…
阅读更多...
基于SSM 离退休管理平台-计算机毕设 附源码 52629

基于SSM 离退休管理平台-计算机毕设 附源码 52629

ssm离退休管理平台 摘 要 随着社会的发展&#xff0c;社会的方方面面都在利用信息化时代的优势。互联网的优势和普及使得各种系统的开发成为必需。 本文以实际运用为开发背景&#xff0c;运用软件工程原理和开发方法&#xff0c;它主要是采用SSM技术和mysql数据库来完成对系统的…
阅读更多...
上海站活动回顾 | 聚焦私募视野，助力量化投研交易

上海站活动回顾 | 聚焦私募视野，助力量化投研交易

11月16日下午&#xff0c;DolphinDB 携手华金证券&#xff0c;在上海成功举办了 D-Day 私募行业交流会&#xff0c;为大家带来了详实的私募行业场景解析、功能介绍、案例分享及现场演示。三十余位来自私募机构的核心策略研发、量化交易员、数据分析专家们齐聚现场&#xff0c;深…
阅读更多...
Rust生态系统：探索常用的库和框架

Rust生态系统：探索常用的库和框架

大家好&#xff01;我是lincyang。 今天我们来探索Rust的生态系统&#xff0c;特别是其中的一些常用库和框架。 Rust生态系统虽然相比于一些更成熟的语言还在成长阶段&#xff0c;但已经有很多强大的工具和库支持各种应用的开发。 常用的Rust库和框架 Serde&#xff1a;一个…
阅读更多...
计算机网络之概述

计算机网络之概述

一、概述 1.1因特网概述 定义 网络(Network)由若干结点(Node)和连接这些结点的链路(Link)组成。多个网络还可以通过路由器互连起来&#xff0c;这样就构成了一个覆盖范围更大的网络&#xff0c;即互联网&#xff08;或互连网&#xff09;因此&#xff0c;互联网是“网络的网络…
阅读更多...
Nginx解决跨域问题的一些想法

Nginx解决跨域问题的一些想法

参考博客https://blog.csdn.net/agonie201218/article/details/112562252&#xff0c;https://blog.csdn.net/Zisson_no_error/article/details/119357629。都是写得非常很好的文章 重中之重&#xff1a;一定要长眼睛&#xff0c;带脑子 通过跨域访问的报错&#xff0c;看清楚…
阅读更多...
【开源】基于Vue.js的高校学院网站的设计和实现

【开源】基于Vue.js的高校学院网站的设计和实现

项目编号&#xff1a; S 020 &#xff0c;文末获取源码。 \color{red}{项目编号&#xff1a;S020&#xff0c;文末获取源码。} 项目编号&#xff1a;S020&#xff0c;文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 学院院系模块2.2 竞赛报名模块2.3 教…
阅读更多...
软件工程--软件建模--结构化方法通俗语言总结（暴肝超详解）（包含数据流图、数据字典、ER图、结构化设计和优化......）

软件工程--软件建模--结构化方法通俗语言总结（暴肝超详解）（包含数据流图、数据字典、ER图、结构化设计和优化......）

目录 结构化分析 数据流图DFD 定义数据字典 实体关系图&#xff08;E-R图&#xff09; 结构化设计 变换映射 事务映射 优化结构设计 实例分析 详细设计&#xff08;过程设计&#xff09; 结构化方法是一种系统化开发软件的方法&#xff0c;该方法基于模块化的思想&am…
阅读更多...
nginx-编译安装-基础指令-信号

nginx-编译安装-基础指令-信号

nginx 的编译与安装 nginx目录介绍 如果我们需要整合第三方模块&#xff0c;需要自己编译然此模块编译到nginx里面。apt和yum的安装只具有常用的基础功能。 下载nginx wget http://nginx.org/download/nginx-1.14.0.tar.gz/auto 目录 Changes 描述了一每个版本提供了那些特…
阅读更多...
【JavaEE初阶】 JavaScript基础语法——贰

【JavaEE初阶】 JavaScript基础语法——贰

文章目录 &#x1f332;条件语句&#x1f6a9;if 语句&#x1f6a9;三元表达式&#x1f6a9;switch&#x1f6a9;循环语句&#x1f388;while 循环&#x1f388;continue&#x1f388;break&#x1f388;for 循环 &#x1f340;数组&#x1f6a9;创建数组&#x1f6a9;获取数组…
阅读更多...
vue中使用echarts渐变柱状图 Cannot read properties of undefined (reading ‘graphic‘)解决方法

vue中使用echarts渐变柱状图 Cannot read properties of undefined (reading ‘graphic‘)解决方法

在使用渐变颜色时报错&#xff0c;Cannot read properties of undefined (reading ‘graphic’) echarts也下载了&#xff0c;引入了&#xff0c;就是报错&#xff0c;用不了new charts&#xff0c; 结果换了一个版本号就可以了&#xff0c;本来用的"echarts": "…
阅读更多...
记录一次hiveserver2和namenode进程宕掉的排查

记录一次hiveserver2和namenode进程宕掉的排查

背景 最近发现集群主节点总有进程宕机&#xff0c;定位了大半天才找到原因&#xff0c;分享一下 排查过程 查询hiveserver2和namenode日志&#xff0c;都是正常的&#xff0c;突然日志就不记录了&#xff0c;直到我重启之后又恢复工作了。 排查各种日志都是正常的&#xff0…
阅读更多...
Vue3 插槽 v-slot

Vue3 插槽 v-slot

插槽 视频链接&#xff1a;尚硅谷vue-插槽章节 不使用插槽的情况下 结果&#xff1a; 1 默认插槽 在子组件中只能有一个 结果&#xff1a; 2 具名插槽 #b是v-slot:b 的缩写 顾名思义就是指着名字去插入 结果&#xff1a; 3 作用域插槽 可以传递数据的插槽&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023