Hive内部表与外部表区别详细介绍

文章转载自:http://www.aboutyun.com/thread-7458-1-1.html

1.创建内部表与外部表的区别是什么?
2.external关键字的作用是什么?
3.外部表与内部表的区别是什么?
4.删除表的时候,内部表与外部表有什么区别?
5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的?
6.磁盘,hdfs,hive表他们之间的过程是什么样子的?

好了,进入正题。今天我们要探讨的话题是Hive的里面的表与外部表两个概念,以及如何在Hive里面创建表和外部表,它们之间有什么区别等话题。在本博客的 让你彻底明白hive数据存储各种模式文章里面我们谈到了Hive的数据存储模式,里面简单的说到Hive中表以及外部表的简单概念,相信很多读者对这些概念还不是很了解,今天就给大家科普一下,希望对大家有所帮助。
  相信很多用户都用过关系型数据库,我们可以在关系型数据库里面创建表(create table),这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在Hive里面创建一个表:

hive> create table wyp(id int,> name string,> age int,> tele string)> ROW FORMAT DELIMITED> FIELDS TERMINATED BY '\t'> STORED AS TEXTFILE;
OK
Time taken: 0.759 seconds

复制代码
这样我们就在Hive里面创建了一张普通的表,现在我们给这个表导入数据:

hive> load data local inpath '/home/wyp/data/wyp.txt' into table wyp;
Copying data from file:/home/wyp/data/wyp.txt
Copying file: file:/home/hdfs/wyp.txt
Loading data to table default.wyp
Table default.wyp stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 67, raw_data_size: 0]
OK
Time taken: 3.289 seconds
hive> select * from wyp;
OK
1       wyp     25      13188888888888
2       test    30      13888888888888
3       zs      34      899314121
Time taken: 0.41 seconds, Fetched: 3 row(s)

复制代码

注意:/home/wyp/data/路径是Linux本地文件系统路径;而/home/hdfs/是HDFS文件系统上面的路径!从上面的输出我们可以看到数据是先从本地的/home/wyp/data/文件夹下复制到HDFS上的/home/hdfs/wyp.txt(这个是Hive中的配置导致的)文件中!最后Hive将从HDFS上把数据移动到wyp表中!移到表中的数据到底存放在HDFS的什么地方?其实在Hive的${HIVE_HOME}/conf/hive-site.xml配置文件的hive.metastore.warehouse.dir属性指向的就是Hive表数据存放的路径(在我的店电脑里面配置是/user/hive/warehouse),而Hive每创建一个表都会在hive.metastore.warehouse.dir指向的目录下以表名创建一个文件夹,所有属于这个表的数据都存放在这个文件夹里面。所以,刚刚导入到wyp表的数据都存放在/user/hive/warehouse/wyp/文件夹中,我们可以去看看:

hive> dfs -ls /user/hive/warehouse/wyp ;
Found 1 items
-rw-r--r-- 3 wyp supergroup   67 2014-01-14 22:23 /user/hive/warehouse/wyp/wyp.txt

复制代码

看到没,上面的命令就是显示HDFS上的/user/hive/warehouse/wyp中的所有内容。如果需要删除wyp表,可以用下面的命令:

hive> drop table wyp;
Moved: 'hdfs://mycluster/user/hive/warehouse/wyp' to trash at: hdfs://mycluster/user/hdfs/.Trash/Current
OK
Time taken: 2.503 seconds

复制代码

从上面的输出Moved: ‘hdfs://mycluster/user/hive/warehouse/wyp’ to trash at: hdfs://mycluster/user/hdfs/.Trash/Current我们可以得知,原来属于wyp表的数据被移到hdfs://mycluster/user/hdfs/.Trash/Current文件夹中(如果你的Hadoop没有取用垃圾箱机制,那么drop table wyp命令将会把属于wyp表的所有数据全部删除!),其实就是删掉了属于wyp表的数据。记住这些,因为这些和外部表有很大的不同。同时,属于表wyp的元数据也全部删除了!
我们再来创建一个外部表:

hive> create external table exter_table(> id int,> name string,> age int,> tel string)> location '/home/wyp/external';
OK
Time taken: 0.098 seconds

复制代码

仔细观察一下创建表和外部表的区别,仔细的同学们一个会发现创建外部表多了external关键字说明以及location ‘/home/wyp/external’。是的,你说对了!如果你需要创建外部表,需要在创建表的时候加上external关键字,同时指定外部表存放数据的路径(当然,你也可以不指定外部表的存放路径,这样Hive将在HDFS上的/user/hive/warehouse/文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据存放在这里):

hive> load data local inpath '/home/wyp/data/wyp.txt' into table exter_table;
Copying data from file:/home/wyp/data/wyp.txt
Copying file: file:/home/hdfs/wyp.txt
Loading data to table default.exter_table
Table default.exter_table stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 67, raw_data_size: 0]
OK
Time taken: 0.456 seconds

复制代码

和上面的导入数据到表一样,将本地的数据导入到外部表,数据也是从本地文件系统复制到HDFS中/home/hdfs/wyp.txt文件中,但是,最后数据不是移动到外部表的/user/hive/warehouse/exter_table文件夹中(除非你创建表的时候没有指定数据的存放路径)!大家可以去HDFS上看看!对于外部表,数据是被移动到创建表时指定的目录(本例是存放在/home/wyp/external文件夹中)!如果你要删除外部表,看看下面的操作:

hive> drop table exter_table;
OK
Time taken: 0.093 seconds

复制代码
和上面删除Hive的表对比可以发现,没有输出将数据从一个地方移到任一个地方!那是不是删除外部表的的时候数据直接被删除掉呢?答案不是这样的:

hive> dfs  -ls /home/wyp/external;
Found 1 items
-rw-r--r--  3 wyp supergroup 67 2014-01-14 23:21 /home/wyp/external/wyp.txt

复制代码

你会发现删除外部表的时候,数据并没有被删除,这是和删除表的数据完全不一样的!

最后归纳一下Hive中表与外部表的区别:
1、在导入数据到外部表,数据并没有移动到自己的数据仓库目录下,也就是说外部表中的数据并不是由它自己来管理的!而表则不一样;
2、在删除表的时候,Hive将会把属于表的元数据和数据全部删掉;而删除外部表的时候,Hive仅仅删除外部表的元数据,数据是不会删除的!
那么,应该如何选择使用哪种表呢?在大多数情况没有太多的区别,因此选择只是个人喜好的问题。但是作为一个经验,如果所有处理都需要由Hive完成,那么你应该创建表,否则使用外部表!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/570785.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

cloudera manager的7180 web界面访问不了的解决办法(图文详解)

说在前面的话 我的机器是总共4台,分别为ubuntucmbigdata1、ubuntucmbigdata2、ubuntucmbigdata3和ubuntucmbigdata4。(注意啦,以下是针对Ubuntu系统的) 在ubuntucmbigdata1上执行了 sudo apt-get install cloudera-manager-daemon…

pyspark与jupyter集成

最简单的一种方式: 修改环境变量 vi ~/.bashrc 添加 export PYSPARK_DRIVER_PYTHONjupyter export PYSPARK_DRIVER_PYTHON_OPTS’notebook’ source ~/.bashrc

java输入最大10位数,倒数输出(很鸡肋)

public class D { public static void main(String[] args) { System.out.println("请输入数字(最大十位数):"); Scanner sc new Scanner(System.in); int sun sc.nextInt(); System.out.println("已输…

安装Redis常见问题

Install yum -y install gcc gcc-c libstdc-devel sudo yum install tcl tar xzf redis-2.8.8.tar.gz cd redis-2.8.8.tar.gz make MALLOClibc make test Q: cc: command not found yum -y install gcc gcc-c libstdc-devel Q: 安装redis 报错 make cd src &&am…

Linux服务器重启失败,报错Readonly File system

问题背景:linux 磁盘根分区太小,在对根目录进行扩容以后,从home目录抽取一块磁盘挂载到 /root 目录下,完成以后并没有修改 /etc/fstab 文件,导致系统开机以后继续寻找执行原来的 /home目录 解决思路: 修改…

2018 ios开发者账号同意新协议加联系电话教程

苹果开发者账号经常会更新协议,需要同意新的协议账号才能正常使用。 1、首先登录苹果开发者中心https://developer.apple.com/account/ 会出现下面飘红的提示,就是提示你要同意新协议。因为苹果规则的改变,需要先到appid管理中心加个联系手机…

Django REST FRAMEWORK swagger(一)框架详解

Django REST FRAMEWORK swagger(一、框架详解) 一.Django REST SWAGGER框架图 具体见下图 二.说明 RESTFul说明 每一个URI代表一种资源; 客户端和服务器之间,传递这种资源的某种表现层; 客户端通过四个HTTP动词&…

Kylin启动异常:java.lang.outofMemoryError:Requested array size exceeds VM limit

问题背景: 1、在Kylin里跑一个较大的cube,其中这个cube是一个大表事实表,关联两张维度表,在第三步: Extract Fact Table Distinct 报错,查看Mapreduce的执行过程,发现其中有4个Reduce执行失败,…

Prism for WPF初探(构建简单的模块化开发框架)

Prism for WPF初探(构建简单的模块化开发框架) 原文:Prism for WPF初探(构建简单的模块化开发框架)先简单的介绍一下Prism框架,引用微软官方的解释: Prism provides guidance to help you more easily desi…

Linux yum 安装MariaDB

1、在 /etc/yum.repos.d/ 下建立 MariaDB.repo,内容如下: [azureusermono etc]cd/etc/yum.repos.d[azureusermonoyum.repos.d]cd /etc/yum.repos.d [azureuser@mono yum.repos.d] vi MariaDB.repo MariaDB 10.0 CentOS repository list - created 2013-08-23 13:08 UTC h…

EBITDA的计算公式

EBITDA基本原理 EBITDA最早是在20世纪80年代中期使用杠杆收购的投资机构在对那些需要再融资的账面亏损企业进行评估时开始被大量使用。他们通过计算EBITDA来快速检查公司是否有能力来偿还这笔融资的利息。玩杠杆收购的那些投资银行家们推广了EBITDA的使用,他们通过E…

Linux/Centos下安装部署phantomjs 及使用

文章转载自:http://www.cnblogs.com/10-22/articles/4383196.html PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速,原生支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas, …

Hadoop Balancer运行速度优化

1.修改dfs.datanode.max.transfer.threads 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers 2.修改dfs.datanode.balance.bandwidthPerSec 31457280 ,指定DataNode…

15-[JavaScript]-ECMAScript 1

0.javaScript的发展历程 https://zhuanlan.zhihu.com/p/27985124 1、javaScript是什么? javaScript是一种web前端的描述语言,也是一种基于对象(object)和事件驱动(Event Driven)的、安全性好的脚本语言。 它…

Spark性能调优

文章转载:http://gad.qq.com/article/detail/20239 通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。 一、性能监控工具 【Spark监控工具】   Spark提供了一些基本的Web监控页面&#xff0c…

WPF MVVM 架构 Step By Step(2)(简单的三层架构示例及粘合代码GLUE code)

WPF MVVM 架构 Step By Step(2)(简单的三层架构示例及粘合代码GLUE code) 原文:WPF MVVM 架构 Step By Step(2)(简单的三层架构示例及粘合代码GLUE code)我们第一步就是去了解三层架构和问题然后去看MVVM是怎么去解决这些问题的。…

基于YARN集群构建运行PySpark Application

文章转载:https://www.tuicool.com/articles/eaYVN3v Spark Application可以直接运行在YARN集群上,这种运行模式,会将资源的管理与协调统一交给YARN集群去处理,这样能够实现构建于YARN集群之上Application的多样性,比…

[luogu4133 BJOI2012] 最多的方案 (计数dp)

题目描述 第二关和很出名的斐波那契数列有关,地球上的OIer都知道:F11, F22, Fi Fi-1 Fi-2,每一项都可以称为斐波那契数。现在给一个正整数N,它可以写成一些斐波那契数的和的形式。如果我们要求不同的方案中不能有相同的斐波那契…

Apache nifi 集群安装

原文地址:https://pierrevillard.com/2016/08/13/apache-nifi-1-0-0-cluster-setup/ 文章写的很好了,步骤性的英文写得也比较易懂,原样搬过来了,没有再翻译 As you may know a version 1.0.0-BETA of Apache NiFi has been rele…

stixel提升思路总结

1.用psmnet获得更好的disparity 2.用edgebox获得整个rgb图片的边缘,然后通过原本的stixel的上下边缘去寻找最优,用两个的边缘去重新得到一个新的边缘,但获得的轮廓不仅仅是外轮廓还有内部的轮廓,得出的结果比之前没有太多提升. 目前可以尝试在disparity图求边缘这种方式 3.使用…