hadoop fs:du统计hdfs文件(目录下文件)大小的用法

hadoop fs:du统计hdfs文件(目录下文件)大小的用法

hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

以下是我的使用统计文件时使用的记录:

复制代码
[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui
17/10/15 12:14:41 INFO hdfs.PeerCache: SocketCache disabled.
Found 113 items
-rwxrwx---+  3 t_user t_user_group  282171728 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000000_0
-rwxrwx---+  3 t_user t_user_group  281446475 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000001_0
-rwxrwx---+  3 t_user t_user_group  281021562 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000002_0
-rwxrwx---+  3 t_user t_user_group  280834172 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000003_0
-rwxrwx---+  3 t_user t_user_group  280411919 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000004_0
-rwxrwx---+  3 t_user t_user_group  279749295 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938
~]$ hadoop fs -du /t_user/my_hive_db/my_hive_table_test01 17/10/15 12:14:54 INFO hdfs.PeerCache: SocketCache disabled. 282171728 /t_user/my_hive_db/my_hive_table_test01/000000_0 281446475 /t_user/my_hive_db/my_hive_table_test01/000001_0 281021562 /t_user/my_hive_db/my_hive_table_test01/000002_0 280834172 /t_user/my_hive_db/my_hive_table_test01/000003_0 280411919 /t_user/my_hive_db/my_hive_table_test01/000004_0 279749295 /t_user/my_hive_db/my_hive_table_test01/000005_0 ...
[t@dv00938
~]$ hadoop fs -du -h /t_user/my_hive_db/my_hive_table_test01 17/10/15 12:17:05 INFO hdfs.PeerCache: SocketCache disabled. 269.1 M /t_user/my_hive_db/my_hive_table_test01/000000_0 268.4 M /t_user/my_hive_db/my_hive_table_test01/000001_0 268.0 M /t_user/my_hive_db/my_hive_table_test01/000002_0 267.8 M /t_user/my_hive_db/my_hive_table_test01/000003_0 267.4 M /t_user/my_hive_db/my_hive_table_test01/000004_0 266.8 M /t_user/my_hive_db/my_hive_table_test01/000005_0 ...
[t@dv00938
~]$ hadoop fs -du -s /t_user/my_hive_db/my_hive_table_test01 17/10/15 12:16:52 INFO hdfs.PeerCache: SocketCache disabled. 29959873142 /t_user/my_hive_db/my_hive_table_test01[t@dv00938 ~]$ hadoop fs -du -s -h /t_user/my_hive_db/my_hive_table_test01 17/10/15 12:17:17 INFO hdfs.PeerCache: SocketCache disabled. 27.9 G /t_user/my_hive_db/my_hive_table_test01
复制代码

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/423711.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mybatis学习(55):延迟加载

MyBatis中的延迟加载,也称为懒加载,是指在进行关联查询时,按照设置延迟规则推迟对关联对象的select查询。延迟加载可以有效的减少数据库压力。 注意:MyBatis的延迟加载只是对关联对象的查询有延迟设置,对于主加载对象都…

sqoop操作之Oracle导入到HDFS

导入表的所有字段 sqoop import --connect jdbc:oracle:thin:192.168.1.100:1521:ORCL \ --username SCOTT --password tiger \ --table EMP -m 1; 查看执行结果: hadoop fs -cat /user/hadoop/EMP/part-m-00000 7369,SMITH,CLERK,7902,1980-12-17 00:00:00.0,800,n…

three20 TTTableViewController + TTActionSheetController

1. 首页要实现TTActionSheetControllerDelegate interface TSPublishViewController : TTTableViewController<TTActionSheetControllerDelegate> {CATETYPE _cateType; } property(nonatomic,assign)CATETYPE cateType;end 2. 在init中声明URLMAP规则 - (id)initWithNib…

如果没有,那么就去创造

上周末在回北京的路上&#xff0c;看到一个广告牌&#xff0c;上面有一句&#xff1a;“如果没有&#xff0c;那么就去创造”。 是啊&#xff0c;自己的生活只能靠自己创造&#xff0c;从无到有。转载于:https://www.cnblogs.com/skogkatt/archive/2008/09/10/4163277.html

Java枚举类型 enum

定义 An enum type is a special data type that enables for a variable to be a set of predefined constants. The variable must be equal to one of the values that have been predefined for it.枚举类型是一种特殊数据类型&#xff0c;能够为一个变量定义一组预定义的常…

ps学习1:去除图片上的文字

首先我们看到如图所示的图&#xff0c;这个时候我们要给他右上角的文字去除 首先打开我们的ps工具--我登陆的在线ps教程 https://www.uupoop.com/ 点击编辑---填充 保存 完成修改

Git学习(3)GitHub和SVN的区别

GitHub和SVN的区别 之前用的版本控制系统是SVN&#xff0c;但是最近因为流行使用GitHub&#xff0c;这篇文章认识一下Git和SVN的区别。 1&#xff09;Git是分布式的&#xff0c;SVN不是&#xff1a; 这 是git和其它非分布式的版本控制系统&#xff0c;例如SVN&#xff0c;CVS等…

位运算 中度难度 子集

怎样将一个字符串中的单词单独存放在一个单词数组里&#xff1f; #include <iostream> #include <cstdio> #include <vector> #include <sstream> #include <string> using namespace std; int main() {string str[100];string str1 "i lo…

python3获取两个日期之间所有日期,以及比较大小

原创 2017年10月09日 14:00:14标签&#xff1a;python 1370 [python] view plaincopy import datetime [python] view plaincopy #获取两个日期间的所有日期 def getEveryDay(begin_date,end_date): date_list [] begin_date datetime.datetime.strptime(be…

关于换行符

在正则表达式中&#xff0c;有一个\n是newline的意思&#xff0c;又有一个\r是carriage return(就是这个导致了白痴中文翻译"回车")的意思 在处理String或者console输出的时候&#xff0c;无论带上哪个都能换行。 但是偏偏在txt中&#xff0c;哪个都不是标准的换行&a…

Java面试题15牛客 以下关于Integer与int的区别错误的是

Java面试题15牛客 以下关于Integer与int的区别错误的是 A int是java提供的8种原始数据类型之一 B Integer是java为int提供的封装类 C int的默认值为0 D Integer的默认值为1 懵逼树上懵逼果&#xff0c;懵逼树下你和我&#xff0c;这题难度一般&#xff0c;很显然&#xff…

用示例说明BitMap索引的效率要优于B-Tree索引

一、实验说明&#xff1a; 操作系统&#xff1a;rhel 5.4 x86 数据库&#xff1a;Oracle 11g R2 二、操作步骤&#xff1a; 首先创建一张t_btree表&#xff0c;并建立B-Tree索引&#xff0c;索引键是status&#xff1a; 1 SQL> create table t_btree as select * from dba_o…

使用grep -v时候,想去除多个pattern

使用grep -v时候&#xff0c;想去除多个pattern 原创 2014年05月27日 14:01:033845 grep -v with multiple patternsgrep test somefile | grep -v -e error -e critical -e warninggrep test somefile | grep -vE (error|critical|warning)grep test somefile | grep -vE err…

ISA Server 2004 0x80004005错误

客户的一台ISA Server EE中文版&#xff0c;运行服务器管理出现如下问题&#xff1a; “ISA服务器无法加载属性页”详细信息“错误&#xff1a;0x80004005未指定的错误”点“继续”后提示“管理单元初始化失败”&#xff0c;“确定”后再次弹出“ISA服务器无法加载属性页”的提…

Java面试题16 牛客 以下java程序代码,执行后的结果是()

Java面试题16 牛客 以下java程序代码&#xff0c;执行后的结果是&#xff08;&#xff09; 1 2 3 4 5 6 7 8 9 10 public class Test { public static void main(String[] args) { Object o new Object() { public boolean equals(Object o…

Singularity 介绍

"...it is impossible to predict how a singularity will affect objects in its causal future." - NCSA Cyberia Glossary 一些有用的连接&#xff1a; Microsoft Research Singularity Project Singularity RDK Singularity: Rethinking Dependable System De…

Hive压缩说明

为什么要压缩 在Hive中对中间数据或最终数据做压缩&#xff0c;是提高数据吞吐量和性能的一种手段。对数据做压缩&#xff0c;可以大量减少磁盘的存储空间&#xff0c;比如基于文本的数据文件&#xff0c;可以将文件压缩40%或更多。同时压缩后的文件在磁盘间传输和I/O也会大大减…

Java面试题17 牛客 下面哪个选项正确创建socket连接?

Java面试题17 牛客 下面哪个选项正确创建socket连接&#xff1f; Socket s new Socket(8080); Socket s new Socket(“192.168.1.1”,8080) SocketServer s new Socket(8080); Socket s new SocketServer(“192.168.1.1”,8080) 懵逼树上懵逼果&#xff0c;懵逼树下你…

视频素材网站

http://soft.dvedit.cn/soft/05/down-2172.html 转载于:https://www.cnblogs.com/liuguanghuiyes/archive/2008/10/04/1303830.html

kubelet源码学习(一):kubelet工作原理、kubelet启动过程

本文基于Kubernetes v1.22.4版本进行源码学习 1、kubelet工作原理 1&#xff09;、kubelet核心工作 kubelet的工作核心就是一个控制循环&#xff0c;即&#xff1a;SyncLoop&#xff08;图中的大圆圈&#xff09;。而驱动这个控制循环运行的事件&#xff0c;包括&#xff1a;P…