Hive数据库系列--Hive数据类型/Hive字段类型/Hive类型转换

文章目录

  • 一、Hive数据类型
    • 1.1、数值类型
    • 1.2、字符类型
    • 1.3、日期时间类型
    • 1.4、其他类型
    • 1.5、集合数据类型
      • 1.5.1、Struct举例
      • 1.5.2、Array举例
      • 1.5.3、Map举例
  • 二、数据类型转换
      • 2.1、隐式转换
      • 2.2、显示转换

本章主要讲解hive的数据类、字段类型。官网文档地址见https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types

一、Hive数据类型

数据类型主要是指create table的时候表中字段的类型，如int、string、decimal等等。

create table test_user
(id   int  comment '主键',name string comment '姓名',score   struct<math:int,computer:int>
)
comment '测试用户表'
row format delimited fields terminated by ','
collection items terminated by '_'
lines terminated by '\n';

1.1、数值类型

Hive 数据类型Java 数据类型长度范围例子
TINYINTbyte1byte 有符号整数-128 to 12710
SMALINTshort2byte 有符号整数-32,768 to 32,76710
INTint4byte 有符号整数-2,147,483,648 to 2,147,483,64710
BIGINTlong8byte 有符号整数-9,223,372,036,854,775,808 to 9,223,372,036,854,775,80720
FLOATfloat单精度浮点数3.1415
DOUBLEdouble双精度浮点数3.1419
DECIMALBigDecimal17字节38位，存储小数10.20

1.2、字符类型

Hive的支付类型也与关系型数据库的MySQL类似。 实际使用中，String使用得最多。

数据类型描述
String使用时通常用单引号(‘’)或者双引号（””）引用，Hive在String中使用c样式的转义
varchar变长字符串，最大长度为65535
char定长字符串， 最大长度255

Hive 的 STRING 类型相当于mysql数据库的 varchar 类型，该类型是一个可变的字符串，不过它不限定最多能存储多少个字符，理论上它可以存储 2GB 的字符数。

1.3、日期时间类型

Timestamp精度高，Timestamp精度为9，可以满足对时间字段的要求。 如要使用日期时间计算，可以使用interval。

Hive 数据类型Java 数据类型描述
TIMESTAMP持传统的UNIX时间戳，可选纳秒精度，精度为9
Date以YYYY-­MM-­DD格式存储年月日
intervalINTERVAL ‘1’ DAY 增加1天
INTERVAL ‘1-2’ YEAR TO MONTH 增加1年2个月

1.4、其他类型

布尔类型表示true或false。

数据类型描述
Booleantrue/false
BINARY字节数组

1.5、集合数据类型

Hive中的列支持struct、map和array集合数据类型。

数据类型描述语法示例
STRUCT和 c 语 言 中 的 struct 类 似 ， 都 可 以 通过“点”符号访问元素内容。例如，如果某个列的 数 据 类 型 是 STRUCT{first STRING, lastSTRING},那么第1个元素可以通过字段.first来引用。struct(‘tom’,15) struct<name:string,age:int>
MAPMAP是一组键-值对元组集合，可以通过key来访问元素。例如，如果某个列的数据类型是MAP，其中键->值对是’first’->‘John’和’last’->‘Doe’，那么可以通过字段名[‘last’]获取最后一个元素map<string, int>
ARRAYARRAY是由一系列具有相同数据类型的元素组成的集合，这些些素可以通过下标来访问。例如有一个ARRAY类型的变量fruits，它是由[‘apple’,‘orange’,‘mango’]组成，那么我们可以 通 过 fruits[1] 来 访 问 元 素 orange ， 因 为ARRAY类型的下标是从0开始的。Array(‘John’, ‘Doe’)

ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似，而 STRUCT 与 C 语言中的Struct 类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。

1.5.1、Struct举例

（1）假设有如下两条数据，为了便于理解，以JSON格式来表示它的数据结构：

[
{"stuid": 1,"stuname":'alan',"score":{"math":98,"computer":89}
},
{"stuid": 2,"stuname":'john',"score":{"math":95,"computer":97}
}
]

（2）在目录/root/data中创建本地测试文件struct.txt，保存下面的数据。

1,alan,98_89
2,john,95_97

在这里插入图片描述
（3）在Hive上创建测试表test_struct

create table test_struct
(stuid   int,stuname string,score   struct<math:int,computer:int>
)row format delimited fields terminated by ','collection items terminated by '_'lines terminated by '\n';

在这里插入图片描述
字段解释：

row format delimited fields terminated by ',' -- 列分隔符
collection items terminated by '_' -- MAP STRUCT和ARRAY的分隔符(数据分割符号)
lines terminated by '\n'; -- 行分隔符

（4）接下来，导入struct.txt中的文本数据到测试表test_struct

load data local inpath '/root/data/struct.txt' into table test_struct;

（5）访问表test_struct中的数据

select * from test_struct;

在这里插入图片描述
（6）访问结构中的数据

select stuname,score.math,score.computer from test_struct;

在这里插入图片描述

1.5.2、Array举例

（1）假设有如下两条数据，为了便于理解，以JSON格式来表示它的数据结构：

[
{"stuid": 1,"stuname":'alan',"hobbys":["music","sports"]
},
{"stuid": 2,"stuname":'john',"hobbys":["music","travel"]
}
]

（2）在目录/root/data中创建本地测试文件array.txt，保存下面的数据。

1,alan,music_sports
2,john,music_travel

在这里插入图片描述
（3）在Hive上创建测试表test_array

create table test_array
(stuid   int,stuname string,hobbys  array<string>
)row format delimited fields terminated by ','collection items terminated by '_'lines terminated by '\n';

（4）接下来，导入array.txt中的文本数据到测试表test_array

load data local inpath '/root/data/array.txt' into table test_array;

（5）访问表test_array中的数据

select * from test_array;

在这里插入图片描述
（6）访问数组中的数据

set hive.cli.print.header=true;
select stuname,hobbys[0] from test_array;

在这里插入图片描述

1.5.3、Map举例

（1）假设有如下两条数据，为了便于理解，以JSON格式来表示它的数据结构：

[
{"stuid": 1,"stuname":'alan',"score":{"math":98,"computer":89}
},
{"stuid": 2,"stuname":'john',"score":{"math":95,"computer":97}
}
]

（2）在目录/root/data中创建本地测试文件 map.txt，保存下面的数据。

1,alan,math:98_computer:89
2,john,math:95_computer:97

在这里插入图片描述

3）在Hive上创建测试表test_map

create table test_map
(stuid   int,stuname string,score   map<string,int>
)row format delimited fields terminated by ','collection items terminated by '_'map keys terminated by ':'lines terminated by '\n';

字段解释：

row format delimited fields terminated by ',' -- 列分隔符
collection items terminated by '_' --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
map keys terminated by ':' -- MAP 中的 key 与 value 的分隔符
lines terminated by '\n'; -- 行分隔符

（4）接下来，导入map.txt中的文本数据到测试表test_map

load data local inpath '/root/data/map.txt' into table test_map;

（5）访问表test_map中的数据

set hive.cli.print.header=true;
select * from test_map;

在这里插入图片描述
（6）访问map中的数据

select stuname,score['math'] as math,score['computer'] as computer from test_map;

在这里插入图片描述

二、数据类型转换

Hive 的原子数据类型是可以进行隐式转换的，类似于 Java 的类型转换。转换的原则是从数据范围小的类型向数据范围大的类型转换，或从数据精度低的类型向数据精度高的类型转换，以保证数据和精度不丢失。例如某表达式使用 BIGINT类型，INT 会自动转换为BIGINT 类型，但是 Hive 不会进行反向转换。例如，某表达式使用 INT 类型，BIGINT 不会自动转换为 INT 类型，它会返回错误，除非使用 CAST 操作。

2.1、隐式转换

（1）任何整数类型都可以隐式地转换为一个范围更广的类型，如 TINYINT 可以转换成 INT，INT 可以转换成 BIGINT。

（2）所有整数类型、FLOAT 和 STRING 类型都可以隐式地转换成 DOUBLE。

（3）TINYINT、SMALLINT、INT 都可以转换为 FLOAT。

（4）BOOLEAN 类型不可以转换为任何其它的类型。

2.2、显示转换

可以使用 CAST 操作进行显示数据类型转换，例如 CAST(‘1’ AS INT)将把字符串’1’ 转换成整数 1；如果强制类型转换失败，如执行 CAST(‘X’ AS INT)，表达式返回空值NULL。

select '2'+3,cast('2' as int)+1;

在这里插入图片描述









参考文章：https://blog.csdn.net/W_chuanqi/article/details/131101265

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/203448.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

二百一十三、Flume——Flume拓扑结构介绍

二百一十三、Flume——Flume拓扑结构介绍

一、目的 最近在看尚硅谷的Flume资料&#xff0c;看到拓扑结构这一块&#xff0c;觉得蛮有意思&#xff0c;于是整理一下Flume的4种拓扑结构 二、拓扑结构 &#xff08;一&#xff09;简单串联 1、结构含义 这种模式是将多个flume顺序连接起来了&#xff0c;从最初的sourc…
阅读更多...
【数据结构】- 详解哈夫曼树（用 C 语言实现哈夫曼树的构造和哈夫曼编码）

【数据结构】- 详解哈夫曼树（用 C 语言实现哈夫曼树的构造和哈夫曼编码）

目录 一、哈夫曼树的基本概念 二、哈夫曼树的构造算法 2.1 - 哈夫曼树的构造过程 2.2 - 哈夫曼树的存储表示 2.3 - 算法实现 三、哈夫曼编码 3.1 - 哈夫曼编码的主要思想 3.2 - 哈夫曼编码的性质 3.3 - 算法实现 一、哈夫曼树的基本概念 哈夫曼树的定义&#xff0c;涉…
阅读更多...
Hazelcast分布式内存网格（IMDG）基本使用，使用Hazelcast做分布式内存缓存

Hazelcast分布式内存网格（IMDG）基本使用，使用Hazelcast做分布式内存缓存

文章目录 一、Hazelcast简介1、Hazelcast概述2、Hazelcast之IMDG3、数据分区 二、Hazelcast配置1、maven坐标2、集群搭建&#xff08;1&#xff09;组播自动搭建 3、客户端4、集群分组5、其他配置 三、Hazelcast分布式数据结构1、IMap2、IQueue&#xff1a;队列3、MultiMap4、I…
阅读更多...
网络安全（四）--Linux 主机防火墙

网络安全（四）--Linux 主机防火墙

7.1. 介绍 防火墙&#xff08;Firewall&#xff09;&#xff0c;也称防护墙&#xff0c;是由Check Point创立者Gil Shwed于1993年发明并引入国际互联网&#xff08;US5606668&#xff08;A&#xff09;1993-12-15&#xff09;。 它是一种位于内部网络与外部网络之间的网络安全…
阅读更多...
人工智能-编译器和解释器

人工智能-编译器和解释器

编译器和解释器 命令式编程使用诸如print、“”和if之类的语句来更改程序的状态。 考虑下面这段简单的命令式程序&#xff1a; def add(a, b):return a bdef fancy_func(a, b, c, d):e add(a, b)f add(c, d)g add(e, f)return gprint(fancy_func(1, 2, 3, 4)) 10 Python…
阅读更多...
课题学习(十五)----阅读《测斜仪旋转姿态测量信号处理方法》论文

课题学习(十五)----阅读《测斜仪旋转姿态测量信号处理方法》论文

一、 论文内容 1.1 摘要 为准确测量旋转钻井时的钻具姿态&#xff0c;提出了一种新的信号处理方法。测斜仪旋转时&#xff0c;垂直于其旋转轴方向加速度计的输出信号中重力加速度信号分量具有周期性特征&#xff0c;以及非周期性离心加速度分量频率低于重力加速度信号分量频率…
阅读更多...
三、jvm中的对象及引用

三、jvm中的对象及引用

一、对象在jvm的创建过程 检查加载-->分配内存-->内存空间初始化-->设置-->对象初始化 1) 检查加载 首先检查这个指令的参数是否能在常量池中定位到一个类的符号引用&#xff0c;并且检查类是否已经被加载、解析和初始化过。 虚拟机遇到一条 new 指令时&#xf…
阅读更多...
mybatis的分页插件

mybatis的分页插件

在mybatis核心配置文件中&#xff1a; 这时已经用了SSM整合&#xff0c;好多像是mapper或者数据源等都移出去了 <?xml version"1.0" encoding"UTF-8" ?> <!DOCTYPE configurationPUBLIC "-//mybatis.org//DTD Config 3.0//EN""…
阅读更多...
Zabbix自定义飞书webhook告警媒介2

Zabbix自定义飞书webhook告警媒介2

说明：适用于7.0及以上版本，低版本可能会有问题。 参数如下： 名称 值EVENT.DURATION{EVENT.DURATION}EVENTDATE
阅读更多...
当使用RSA加密，从手机前端到服务器后端的请求数据存在+

当使用RSA加密，从手机前端到服务器后端的请求数据存在+

将转成了空格&#xff0c;导致解密出错 将空格转成了
阅读更多...
Unity中Batching优化的GPU实例化（1）

Unity中Batching优化的GPU实例化（1）

文章目录 前言一、GPU实例化的规则1、必须满足 Mesh 网格一样2、只有OpenGL es 3.0及以上才支持&#xff08;3.0及以上有部分硬件可能也不支持&#xff09; 二、GPU实例化的应用场景1、公开几个成员属性&#xff0c;用于存放可以调整的数据2、用Random.insideUnitCircle随机生成…
阅读更多...
AWS re:Invent 2023-亚马逊云科技全球年度技术盛会

AWS re:Invent 2023-亚马逊云科技全球年度技术盛会

一：会议地址 2023 re:Invent 全球大会主题演讲 - 亚马逊云科技从基础设施和人工智能/机器学习创新，到云计算领域的最新趋势与突破，倾听亚马逊云科技领导者谈论他们最关心的方面。https://webinar.amazoncloud.cn/reInvent2023/keynotes.html北京时间2023年12月1日00:30-02:…
阅读更多...
VSCode之C++ CUDA入门：reduce的N+1重境界

VSCode之C++ CUDA入门：reduce的N+1重境界

背景 Reduce是几乎所有多线程技术的基础和关键&#xff0c;同样也是诸如深度学习等领域的核心&#xff0c;简单如卷积运算&#xff0c;复杂如梯度聚合、分布式训练等&#xff0c;了解CUDA实现reduce&#xff0c;以及优化reduce是理解CUDA软硬件连接点的很好切入点。 硬件环境&…
阅读更多...
HarmonyOS4.0从零开始的开发教程03初识ArkTS开发语言（中）

HarmonyOS4.0从零开始的开发教程03初识ArkTS开发语言（中）

HarmonyOS&#xff08;二&#xff09;初识ArkTS开发语言&#xff08;中&#xff09;之TypeScript入门 浅析ArkTS的起源和演进 1 引言 Mozilla创造了JS&#xff0c;Microsoft创建了TS&#xff0c;Huawei进一步推出了ArkTS。 从最初的基础的逻辑交互能力&#xff0c;到具备类…
阅读更多...
http和https的区别有哪些

http和https的区别有哪些

目录 HTTP&#xff08;HyperText Transfer Protocol&#xff09; HTTPS&#xff08;HyperText Transfer Protocol Secure&#xff09; 区别与优势 应用场景 未来趋势 当我们浏览互联网时&#xff0c;我们经常听到两个常用的协议&#xff1a;HTTP&#xff08;HyperText Tra…
阅读更多...
Excel 动态拼接表头实现导出

Excel 动态拼接表头实现导出

public class Column {//单元格内容private String content;//字段名称&#xff0c;用户导出表格时反射调用private String fieldName;//这个单元格的集合private List<Column> listTpamscolumn new ArrayList<Column>();int totalRow;int totalCol;int row;//exc…
阅读更多...
易宝OA 两处任意文件上传漏洞复现

易宝OA 两处任意文件上传漏洞复现

0x01 产品简介 易宝OA系统是一种专门为企业和机构的日常办公工作提供服务的综合性软件平台，具有信息管理、 流程管理 、知识管理（档案和业务管理）、协同办公等多种功能。 0x02 漏洞概述 易宝OA系统UploadFile、BasicService.asmx等接口处存在文件上传漏洞，未授权的攻击者可…
阅读更多...
记录 | vscode pyhton c++调试launch.json配置

记录 | vscode pyhton c++调试launch.json配置

下面提供 vscode 中 python 和 c 调试配置的 launch.json (好用&#xff0c;已用好几年&#xff0c;建议收藏) {// 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。// 欲了解更多信息&#xff0c;请访问: https://go.microsoft.com/fwlink/?linkid830387&qu…
阅读更多...
【Spring】依赖注入之属性注入详解

【Spring】依赖注入之属性注入详解

前言&#xff1a; 我们在进行web开发时&#xff0c;基本上一个接口对应一个实现类&#xff0c;比如IOrderService接口对应一个OrderServiceImpl实现类&#xff0c;给OrderServiceImpl标注Service注解后&#xff0c;Spring在启动时就会将其注册成bean进行统一管理。在Co…
阅读更多...
WireShark监控浏览器登录过程网络请求

WireShark监控浏览器登录过程网络请求

软件开发中经常前后端扯皮。一种是用Chrome浏览器的开发者工具 来看网络交互&#xff0c;但是前提是 网络端口的确是通的。 WireShark工作在更低层。 这个工具最大的好处&#xff0c;大家别扯皮&#xff0c;看网络底层的log&#xff0c;到底 你的端口开没开&#xff0c; 数据…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023