Hive的数据模型-管理表


概述

管理表,也称作内部表,受控表。
所有的 Table 数据(不包括 External Table)都保存在warehouse这个目录中。
删除表时,元数据与数据都会被删除。
在加载数据的过程中,实际数据会被移动到数据仓库目录中;之后对数据对访问将会直接在数据仓库目录中完成。删除表时,表中的数据和元数据将会被同时删除。


操作

创建数据文件

inner_table.dat


创建表
hive>create table inner_table (key string);


加载数据
hive>load data local inpath '/root/inner_table.dat' into table inner_table;


查看数据
select * from inner_table
select count(*) from inner_table


删除表 drop table inner_table


缺点

假设,t1表的文件路径在/home
t2表的文件路径在/home/t2
当删除t1表时,会把/home下的都删了。这是很危险的,所以实际开发中,不用管理表,很容易导致数据丢失。


修改管理表为外部表
alter table t1 set tblpropertise('EXTERNAL'='TRUE');
 EXTERNAL,TRUE 这个词必须大写,改回内部表用FALSE



---------------------------------------------------------------

hive (default)> desc formatted map_test;
OK
col_name        data_type       comment
# col_name              data_type               comment             
                 
id                      string                                      
perf                    map<string,int>                             
                 
# Detailed Table Information             
Database:               default                  
Owner:                  hadoop                   
CreateTime:             Wed Aug 31 20:15:40 CST 2016     
LastAccessTime:         UNKNOWN                  
Retention:              0                        
Location:               hdfs://hello110:9000/user/hive/warehouse/map_test        
Table Type:             MANAGED_TABLE            
Table Parameters:                
        COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
        numFiles                0                   
        numRows                 0                   
        rawDataSize             0                   
        totalSize               0                   
        transient_lastDdlTime   1472645800          
                 
# Storage Information            
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:             
        colelction.delim        ,                   
        field.delim             \t                  
        mapkey.delim            :                   
        serialization.format    \t                  
Time taken: 0.383 seconds, Fetched: 34 row(s)




本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/539193.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mft按钮设计_火力发电厂典型MFT逻辑控制实现.pdf

火力发电厂典型MFT逻辑控制实现.pdf火力发电厂典型MFT逻辑控制实现刘文丰 陈思铭湖南省电力试验研究院 (湖南长沙410007)摘要&#xff1a;以金竹山电厂扩建工程国产2600MW亚临界机组为例&#xff0c;概述了必力发电厂FSSS中典型MFT的原理及重要性&#xff0c;详细介绍各MFT条件…

oracle schema_oracle数据库全局统计更新

--oracle数据库优化 替换用户名 user&#xff0c;在该用户下执行begindbms_stats.gather_schema_stats(ownname >USER,options > GATHER,estimate_percent > dbms_stats.auto_sample_size,method_opt > for all columns size skewonly,degree > 7 );end;————…

python操作三大主流数据库(12)python操作redis的api框架redis-py简单使用

python操作三大主流数据库(12)python操作redis的api框架redis-py简单使用 redispy安装安装及简单使用&#xff1a;https://github.com/andymccurdy/redis-pyapi参考文档&#xff1a;http://redis-py.readthedocs.io/en/latest/ 1.安装redis-py pip install redis C:\Users\ajie…

Hive的数据模型-外部表

概述 包含External 的表叫外部表 删除外部表只删除metastore的元数据&#xff0c;不删除hdfs中的表数据 外部表 只有一个过程&#xff0c;加载数据和创建表同时完成&#xff0c;并不会移动到数据仓库目录中&#xff0c;只是与外部数据建立一个链接。当删除一个 外部表 时&…

对github的初步认识以及对软件技术基础课程的期待

对github的初步认识&#xff1a; Git是一个开源的分布式版本控制系统&#xff08;版本控制是一种记录一个或若干文件内容变化&#xff0c;以便将来查阅特定版本修订情况的系统&#xff09;&#xff0c;客户端并不只提取最新版本的文件快照&#xff0c;而是把代码仓库完整地镜像…

centos默认安装mysql_centos6.x默认安装mysql5.7

1. yum 安装 mysql5.7 yum 源yum localinstall mysql57-community-release-el6-8.noarch.rpm2. 查看是否成功安装MySQL Yum Repositoryyum repolist enabled|grep ""mysql.*-community.*3. 安装mysqlyum install mysql-community-server4.开启数据库服务service mys…

Hive的数据模型-分区表

需求 select * from t1 where xxxx; 这是全表扫描的。实际应用中&#xff0c;有时候不一定需要全表扫描。 比如电信的日志文件&#xff0c;一个表里存了从去年到现在的日志文件&#xff0c;那是很多很大的&#xff0c;实际需求要查今天的&#xff0c;如果用上面的sql&#xf…

arduino 停止程序_建立Arduino机器人,第五部分:障碍规避

欢迎阅读教程系列的第五篇文章&#xff0c;其中我正在构建一个基于遥控Arduino的车辆机器人。这是我到目前为止发表的文章列表&#xff1a;第一部分&#xff1a;硬件组件第二部分&#xff1a;Arduino编程第三部分&#xff1a;组装机器人第四部分&#xff1a;A(不是那样)基本机器…

debug error怎么解决_我要以血和泪的经历告诉你,这个 bug 太难解决了

[npm install报错: npm WARN tar ENOENT: no such file or directory]npm installnpm WARN deprecated request2.88.2: request has been deprecated, see request/request#3142npm WARN deprecated mkdirp0.5.1: Legacy versions of mkdirp are no longer supported. Please u…

Yarn简单介绍及内存配置

在这篇博客中&#xff0c;主要介绍了Yarn对MRv1的改进&#xff0c;以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是&#xff1a;在运行时&#xff0c;JobTracker既负责资源管理又负责任务调度&#xff0c;这导致了它的扩展性、资源利用率低等问…

mysql计算时间函数_mysql时间计算函数

当前一个业务需求&#xff0c;需要查找创建在三天以前的数据&#xff0c;表中是存了一个创建时间的&#xff1b;这个需求看起来很简单&#xff0c;直接全部查找出来然后用代码根据时间筛选一下就可以了。但这只是适用于数据量不大的情况下&#xff0c;如果数据量大&#xff0c;…

html上传文件_.NET基于WebUploader大文件分片上传、断网续传、秒传

(给DotNet加星标&#xff0c;提升.Net技能)转自&#xff1a;学习中的苦与乐cnblogs.com/xiongze520/p/10412693.html现在的项目开发基本上都用到了上传文件功能&#xff0c;或图片&#xff0c;或文档&#xff0c;或视频。我们常用的常规上传已经能够满足当前要求了&#xff0c;…

Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

原文链接&#xff1a;http://blog.csdn.net/dai451954706/article/details/50464036 ----------------------------------------------------------------------------------------------------- 今天&#xff0c;一大清早同事就让我帮他解决Hive的问题&#xff1a;他在Hive中…

git切换用户密码_Git 最基本的命令

本人比较懒&#xff0c;不是很爱学习新东西&#xff0c;之前用Git一直在用GUI SourceTree&#xff0c;今天因为用到Cloud IDEGitHub才迫不得已用一下Git的命令行&#xff0c;如果你是Git的新手&#xff0c;也分享给你最基本的命令。新建一个Git版本库把一个本地文件夹变成一个G…

动态分区装载数据

不开启 一个个分区导入&#xff0c;分区需要做到一对一。 hive (zmgdb)> insert overwrite table p_t3 partition (cityningbo) > select name,post,address from p_t1 where cityningbo; 会启动mapreduce进行导入&#xff0c;mr卡在kill job_xxxx&#…

python爬虫常见报错_对Python爬虫常见工具总结,欢迎补充

前言 以前写爬虫都是用requests包&#xff0c;虽然很好用&#xff0c;不过还是要封装一些header啊什么的&#xff0c;也没有用过无头浏览器&#xff0c;今天偶然接触了一下。 原因是在处理一个错误的时候&#xff0c;用到了几个以前没有用过的工具&#xff1b;这几个工具也挺常…

AI造福设计师:搭配色板这种苦差事交给GAN就好啦(教程)

本文来自AI新媒体量子位&#xff08;QbitAI&#xff09;设计师要开工&#xff0c;总是离不开配色方案&#xff0c;也就是色板。 不过&#xff0c;做色板可不是个简单的活&#xff0c;色板生成器Colormind的作者Jack Qiao&#xff08;名字来自Product Hunt&#xff0c;我们下面叫…

mapreduce yarn内存参数

1、yarn-site.xml 设置 1.1 RM设置 RM的内存资源配置&#xff0c;主要是通过下面的两个参数进行的&#xff08;这两个值是Yarn平台特性&#xff0c;应在yarn-sit.xml中配置好&#xff09;&#xff1a; yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocati…

python有哪些常用的package_个人Python常用Package及其安装

为了避免每次重装系统时又要东翻西找&#xff0c;现在此记录一下目前常用的Python包安装过程。 1) Python: 2.7.11, 下载地址&#xff1a;www.python.org。由于个人喜欢使用PyQt4&#xff08;其实是不会PyQt5……&#xff09;&#xff0c;因此选择安装Python2.7。 安装好Python…

html网页设计大赛_HTML5网页设计大赛 || 决赛名单公布

历经数日的HTML5网页设计大赛初赛已经落下的帷幕激动人心的决赛即将开始你们准备好了吗&#xff1f;①决赛名单在经过评委老师多轮评选后,有以下队伍/(个人)脱颖而出进入决赛&#xff1a;1.施佳镛_故宫旅游网2.王永校_神秘莫测的宇宙3.黄炜岳_广州旅游网站4.吴贵滨_NameLess5.陈…