hive创建分区表 指定分隔符_HIVE 对于分区表的操作

CREATE EXTERNAL

TABLE IF NOT EXISTS data_zh(

ROWKEY STRING,

STATION INT,

YEAR INT,

MONTH INT,

DAY INT,

HOUR INT,

MINUTE INT,

)

PARTITIONED BY (AGE INT)

指定分区(此列并没真正存储列,也就是不存于你的数据中。但是如果你的数据从Oracle按年份导出,按照年份分区,把每一年数据放到age对应的目录下)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘,’

字段分隔符

LINES TERMINATED BY ‘\n’ 行分隔符

STORED AS TEXTFILE; 作为文本存储

Hive加载数据到表中

加载数据

LOAD DATA INPATH

‘/data/’ OVERWRITE INTO TABLE data_zh;

#加载某个目录下所有数据,存在分区数据不能这样加载

分区加载数据

创建分区

ALTER TABLE data_zhp ADD PARTITION(AGE= 1998)

加载数据

LOAD DATA INPATH ‘/data/1998.txt’ INTO TABLE data_zhp

PARTITION(YEAR=1998);

指定分区目录

LOCATION ‘

/hiveuser/hive/warehouse/data_zh.db/data_zh/2012.txt’;(指定分区所在位置)

加载数据到指定分区,分区表加载方法

下面为将现有表,修改为分区表。注意创建分区的时候未指定分区表,不能创建分区。需要新建表哥,用动态分区导入数据,动态分区数量有限。参考Programming

Hive记得最大上限应该是10000

Hive修改现有表添加分区

添加分区

ALTER TABLE data_zh ADD IF NOT EXISTS

PARTITION (year = 1998) LOCATION

‘/hiveuser/hive/warehouse/data_zh.db/data_zh/1998.txt’

删除分区

ALTER TABLE data_zhp DROP IF EXISTS PARTITION(year =1998);

修改现有表添加分区

创建分区表

CREATE EXTERNAL TABLE IF NOT EXISTS data_zhp(

ROWKEY STRING,

STATION INT,

MONTH INT,

DAY INT,

HOUR INT,

MINUTE INT,

)

PARTITIONED BY (YEAR INT)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘,’

LINES TERMINATED BY ‘\n’

STORED AS TEXTFILE;

动态分区指令

set

hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

#set hive.enforce.bucketing = true;

未分区表数据导入分区表

insert overwrite table data_zhp partition (YEAR,MONTH) select *

from data_zh;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/431903.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Web Service 学习

1. Web services 平台的元素: SOAP (简易对象访问协议) UDDI (通用描述、发现及整合) WSDL (Web services 描述语言)1.1 什么是 SOAP? 基本的 Web services 平台是 XML HTTP。 SOAP 指简易对象访问协议 SOAP 是一种通信协议 SOAP 用于应用程序之间的通信…

java高级mysql面试题_Java高级面试题

一.基础知识:1)集合类:List和Set比较,各自的子类比较(ArrayList,Vector,LinkedList;HashSet,TreeSet);2)HashMap的底层实现,之后会问ConcurrentHashMap的底层实现&#x…

转:Oracle 中union的用法

UNION 指令的目的是将两个 SQL 语句的结果合并起来,可以查看你要的查询结果. 例如: SELECT Date FROM Store_Information UNION SELECT Date FROM Internet_Sales 注意:union用法中,两个select语句的字段类型匹配,而且字段个数要相同,如上面的例子,在实际的软件开发过程,会遇到…

mysql skip_counter_mysql的三个故障解决小结

mysql使用过程中经常会遇到的三个故障,在此小结一下。1、MySQl服务无法启动我们在使用mysql的过程中,常会遇到MySQl服务无法启动,具体报错信息:Starting MySQL ERROR.The server quit without updating PID file (/[FAILED]l/mysq…

Httpd 使用ip可以访问,localhost和127.0.0.1不能访问

解决方法:打开/etc/httpd/conf目录下的httpd.conf文件, 加入 Listen 127.0.0.1:81 加入后: Listen xxx.xxx.xxx.xxx:81 Listen 127.0.0.1:81 其中xxx.xxx.xxx.xxx是我的ip 这样通过ip、localhost、127.0.0.1都可以访问了 转载于:https://www.…

如何将每一条记录放入到对应的范围中

编程序的时候遇到一个问题: 画热图 :计算热力值--->画网格,将在一定范围内定位出的mac累积计数--->编写出了定位程序,但是如何将每个具体的坐标值放入对应的范围(网格)--->因为具体坐标和网格选取…

mysql主从进行扩展_Mysql主从知识扩展部分1

一、使用mysql-proxy 快速实现mysql 集群 读写分离1、有两种方法:a)程序代码内部实现,对select操作分发到从库,其他到主库,再生产环境中应用比较广泛,比较知名的有DISCUZX2,优点性能好,成本低&a…

Python之异常追踪模块:traceback

正常时输出追踪信息: import traceback def stack():print The python stack:traceback.print_stack() from twisted.internet import reactor reactor.callWhenRunning(stack) reactor.run()#摘录来自: likebeta. “Twisted与异步编程入门”。 iBooks. 异常时输出…

mysql事务所_mysql事务

1.事务的ACID属性事务(Database Transaction) ,是指作为单个逻辑工作单元执行的一系列操作。事务处理可以确保除非事务性单元内的所有操作都成功完成,否则不会永久更新面向数据的资源。通过将一组相关操作组合为一个要么全部成功要么全部失败的单元&…

[草稿]挂载新硬盘

查看新硬盘&创建分区 xxxxxx:/dev$ sudo fdisk -l [sudo] password for xxx: Disk /dev/sda: 85.9 GB, 85899345920 bytes 255 heads, 63 sectors/track, 10443 cylinders, total 167772160 sectors Units sectors of 1 * 512 512 bytes Sector size (logical/physical):…

php mysql 迁移_将phpstudy中的mysql迁移至Linux教程

项目目的将原来windows环境中使用phpstudy搭建的mysql 5.5.53 中的数据迁移至新主机Linux环境中环境情况新主机系统平台:CentOS release 7.4 (Final) 内核 3.10.0-693.el7.x86_64mysql环境:mysql> statusServer version: 5.6.39-log…

Swift 操作符

这里只记录一些swift特殊的运算符 1.swift里面 仅仅进行赋值操作,不再向右边返回左值 2.模运算的操作数可以是小数了 3.Nil Coalescing Operator nil coalescing operator用来判断一个可选值是否有值,如果没有的话就赋予其一个缺省值 注意这里面“&…

python json.dumps慢_python json.dumps中文乱码问题解决

json.dumps(var,ensure_asciiFalse)并不能解决中文乱码的问题json.dumps在不同版本的Python下会有不同的表现, 注意下面提到的中文乱码问题在Python3版本中不存在。注:下面的代码再python 2.7版本下测试通过# -*- coding: utf-8 -*-odata {a : 你好}print odata结果…

UIView常见方法总结

一、随机生成数 1. arc4random() 会生成任意正整数和0 2. arc4random_uniform(100) 会生成0~99的整数 (包括0和99) 二、UIView常见方法 1. addSubview:(UIView *)child 添加子控件用(最新添加的子控件,会显示在最上面)…

netty java_Netty框架学习及第一个Netty应用

编辑推荐:本文来自于csdn,文章主要介绍了Netty的基础,有什么特点,其构成部分是什么,以及相关的应用。1.什么是Netty?Netty是一个利用Java的高级网络的能力,隐藏其背后的复杂性而提供一个易于使用的API的客户端/服务器框…

兩端對齊

1.利用flex parentElement{display: flex;justify-content: space-between;} 左边对齐右边对齐<div class"justifySpan"><span>齐</span><span>齐</span></div> .justify {display: -webkit-box;display: -ms-flexbox;display: …

java拆装_Java自动拆装包

Java自动拆装包的例子这段代码在Java 1.5以前是不合法的Long v 0&#xff1b;v 1&#xff1b;需要写成这样&#xff1a;Long v 0&#xff1b;v new Long(1);在Java 1.5 以后&#xff0c;编译器帮我们做了上面的工作。这就是Java的自动拆装包&#xff0c;方便了很多&#xf…

Android学习(二十)Notification通知栏

一、通知栏的内容 1、图标 2、标题 3、内容 4、时间 5、点击后的相应 二、如何实现通知栏 1、获取NotificationManager。 2、显示通知栏&#xff1a;notify(id,notification); 3、取消通知栏&#xff1a;cancle(id); 4、构造Notification并设置显示内容; 5、通知栏通知可以设置…

java访问mongodb_Java中获取MongoDB连接的方法详解

首先是所需jar包&#xff0c;Maven中的配置如下&#xff1a;org.mongodbmongodb-driver3.4.1org.mongodbbson3.4.1org.springframework.dataspring-data-mongodb1.7.0.RELEASEorg.mongodbmongo-java-driver3.9.1获取连接的代码如下(本中用的是模板类)&#xff1a;List addrs n…

@jsonignore的作用

作用是json序列化时将java bean中的一些属性忽略掉,序列化和反序列化都受影响。 如下&#xff1a; package com.hzboy.orm;import java.util.List;import javax.persistence.CascadeType; import javax.persistence.Column; import javax.persistence.Entity; import javax.per…