hadoop之文件管理基本操作


# 格式化hdfs hadoop namenode
-format # 查看hadoop下的文件夹 hadoop fs -ls # 创建hdfs文件夹 hadoop fs -mkdir /user/input # 将本地文件file.txt 复制到新建文件夹,file->hdfs hadoop fs -put /user/wangbin/input/ip_data.txt wangbin # 从hadoop复制到hadoop # 从wangbin复制到wangbin hadoop fs -put ip_list.txt /user/hadoop # 从本地复制到hdfs hadoop fs -copyFromLocal ip_data.txt /user/hadoop # 从hdfs复制到本地 hadoop fs -copyToLocal sample.txt sample.txt # 查看文件内容 hadoop fs -cat /user/output/outfile # 查看顺序文件的内容 hadoop fs -text input/numbers.seq |head # 从hdfs获取文件到本地,hdfs->file hadoop fs -get /user/output/ /home/hadoop_tp/ # 更改所有人 hadoop fs -chown -R wangbin:wangbin /user/wangbin # 删除含有文件的文件夹 hadoop fs -rmr output # 并行复制文件或文件夹,以MapReduce作业实现,-overwrite 覆盖目标文件,-update 仅更新发生变化的部分hadoop distcp ip_data.txt ip_datav2.txt # 打包project为jar包,上传文件 export HADOOP_CLASSPATH=mapReduceDemoV1.jar # 将hdfs上output目录下的多个文件合并成一个文件output-merge,并存储到本地,hdfs->file hadoop fs -getmerge output output-merge # 确定input存在,且output不存在,执行jar包 hadoop MaxTemperature sample.txt output
# 将本地文件追加到hdfs,file->hdfs
hadoop fs -appendToFile 1.txt 2.txt hdfs://cdh5/tmp/lxw1234.txt
# 将hdfs文件追加到hdfs
hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt

 

#查看hadoop所有命令
hadoop fs
#显示该目录中每个文件或目录的大小 
hadoop fs -du /tmp/logs/shtermuser/-1531305777000.txt
#类似于du,PATH为目录时,会显示该目录的总大小
hadoop fs –dus PATH 
#循环列出目录、子目录及文件信息
hadoop fs –lsr 
#从HDFS文件系统删除test.txt文件,rm命令也可以删除空目录
hadoop fs –rm /user/sunlightcs/test.txt 
#修改HDFS系统中/user/sunlightcs目录所属群组,选项-R递归执行,跟linux命令一样 
hadoop fs –chgrp [-R] /user/sunlightcs 
#修改HDFS系统中/user/sunlightcs目录拥有者,选项-R递归执行 
hadoop fs –chown [-R] /user/sunlightcs 
#修改HDFS系统中/user/sunlightcs目录权限,MODE可以为相应权限的3位数或+/-{rwx},选项-R递归执行
hadoop fs –chmod [-R] MODE /user/sunlightcs 
#清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除
hadoop fs –expunge 对PATH进行如下类型的检查: 
-e PATH是否存在,如果PATH存在,返回0,否则返回1 
-z 文件是否为空,如果长度为0,返回0,否则返回1 
-d 是否为目录,如果PATH为目录,返回0,否则返回1 
hadoop fs –test –[ezd] PATH    #显示文件的内容,当文件为文本文件时,等同于cat,文件为压缩格式(gzip以及hadoop的二进制序列文件格式)时,会先解压缩 
hadoop fs –text PATH 查看某个[ls]命令的帮助文档
hadoop fs –help ls 

 

#移动文件,源目录可以有多个,目标只能是一个
hadoop fs -mv src dst
#统计hdfs对应路径下的目录个数,文件个数,文件总计大小
hadoop fs -count <hdfs path> 

 

  #创建一个0字节的空文件

  hadoop fs -touchz pathname

  #计算目录、文件个数和字节数

  #hadoop fs -count path

  #将单个src或多个srcs从本地文件系统附加到目标文件系统。 还从stdin读取输入并附加到目标文件系统。

  hadoop fs -appendToFile localfile /user/hadoop/hadoopfile

  hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile

  hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile

  #返回文件的校验信息

  hadoop fs -checksum URI

  #显示目录可用空间

  hadoop fs -df path

  #查找与指定表达式匹配的所有文件,并将选定的操作应用于它们。 如果未指定路径,则默认为当前工作目录。

  hadoop fs -find / -name test -print

  #显示文件和目录的访问控制列表(ACL)。 如果目录具有默认ACL,则getfacl还会显示默认ACL。
  hadoop fs -getfacl [-R] <path>
  #显示文件或目录的扩展属性名称和值(如果有)。
  hadoop fs -getfattr [-R] -n name | -d [-e en] <path>

  #以指定格式打印<path>中文件/目录的统计信息。
  hadoop fs -stat [格式] <路径> ...

  #将所有与指定文件模式匹配的文件截断为指定的长度。
  hadoop fs -truncate [-w] <length> <paths>

 

转载于:https://www.cnblogs.com/wangbin2188/p/8252210.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/414945.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Highcharts隐藏网格线

原始效果 加上代码 yAxis: {gridLineWidth: 0,minorGridLineWidth: 0}

前端学习(2684):重读vue电商网站5之登录页面总结如何进行表单验证

Form 组件提供了表单验证的功能&#xff0c;只需要通过 rules 属性传入约定的验证规则&#xff0c;并将 Form-Item 的 prop 属性设置为需校验的字段名即可。 通过 rules 属性传入约定的验证规则 将Form-Item 的 prop 属性设置为需校验的字段名

Android 贴纸样式标签

demo链接&#xff1a;https://download.csdn.net/download/meixi_android/10802704 样式效果 实现方法&#xff1a; 1、自定义标签类 public class LabelImageView extends ImageView {LabelViewHelper utils;public LabelImageView(Context context) {this(context, null);…

Java研发工程师面试题(1)

Java研发工程师面试题(1) 基础题 一、String,StringBuffer, StringBuilder 的区别是什么&#xff1f;String为什么是不可变的&#xff1f;1. String是字符串常量&#xff0c;StringBuffer和StringBuilder是字符串变量。StringBuffer是线程安全的&#xff0c;StringBuilder是非线…

javascript 树结构过滤保留原始结构

需求&#xff1a;有一个树结构的JSON&#xff0c;被过滤后&#xff0c;希望结构保留树结构。 var tree [{text: "Parent 1",nodes: [{text: "Child 1",type: "Child",nodes: [{text: "Grandchild 1"type: "Grandchild"},{…

前端学习(2685):重读vue电商网站6之如何重置表单

element-ui 对表单提供了如下方法 resetFields&#xff0c;我们只需要获取表单对象数据即可重置我们的表单。 获取表单对象方式如下&#xff1a; 直接在表单处添加 ref属性&#xff0c;如下 loginFormRef&#xff0c;此引用即为我们表单实例。 然后&#xff0c;在我们重置按钮…

android Camera 设置焦距

1、添加Camera权限 2、判断是否支持变焦 public boolean isSupportZoom(){boolean isSuppport true;if (mCamera.getParameters().isSmoothZoomSupported()){isSuppport false;}return isSuppport;} 3、修改焦距 public void setZoom(){if (mIsSupportZoom){try{Parameters …

v-contextmenu的使用(右键菜单)

先来个自己改写的图&#xff1a; 代码&#xff1a; 结构&#xff1a;<div class"wrap" v-contextmenu:contextmenu><v-contextmenu ref"contextmenu"> <v-contextmenu-item ><i class"fa fa-search"></i>上插入&l…

js 树形json转以叶子结点为基准的扁平结构

需求&#xff0c;我需要根据树形结构&#xff0c;来实现自定义表格&#xff0c;所以需要转化&#xff0c;下面是代码&#xff1a; const shortid require(shortid)const data [{name: a,children: [{name: b,children: [{ name: e }, { name: i }],},{ name: c, children: […

前端学习(2686):重读vue电商网站7之登录预校验

在我们点击登录按钮&#xff0c;不应该直接发起网络请求&#xff0c;而是应该对表单进行预校验&#xff0c;检验成功才会发送请求。 拿到表单引用对象&#xff0c;即可进行对表单的校验。 首先&#xff0c;给登录按钮通过 click 来绑定一个事件 下一步&#xff0c;在 methods …

Android 循环滚动控件ViewFlipper,可实现跑马灯或轮播图效果

ViewFlipper——Android循环滚动控件 1、效果如下&#xff1a; 2、实现方法 &#xff08;1&#xff09;创建进出动画 上下滚动动画 y_in.xml <?xml version"1.0" encoding"utf-8"?> <set xmlns:android"http://schemas.android.com/a…

压缩及解压命令

*.tar 文件类型 打包&#xff1a; tar cvf tmp.tar /tmp #将目录打包成一个文件解包&#xff1a; tar xvf tmp.tar*.tar.gz 文件类型 打包&#xff1a;tar cvzf tmp.tar.gz /tmp解包&#xff1a;tar xvzf tmp.tar.gz*.tar.bz2 文件类型 打包&#xff1a;tar jcvf t…

vue js table colspan rowspan

需求&#xff0c;要写一个菜单权限表。需要做到单元格合并&#xff0c;本来用的antd-vue的表格&#xff0c;然后构造customRender,总感觉有点本末倒置&#xff0c;其实自己实现&#xff0c;更快&#xff0c;而且想改哪里&#xff0c;改哪里。下面是写这个功能前的测试demo。 效…

前端学习(2687):重读vue电商网站8之设置弹框提示组件

首先&#xff0c;在 element.js 中导入弹框提示组件&#xff0c;但是它的配置与其它组件不一样&#xff0c;它需要进行全局挂载。 全局导入后&#xff0c;我们就可以在我们的登录组件 login.vue 中通过 this来访问弹框提示组件了。 测试一下&#xff0c;输入 admin 和 123456&a…

table 权限 展示页面

上篇文件介绍了基本的colspan和rowspan&#xff0c;这篇贴上一个学习代码&#xff0c;供以后修改。 效果如下&#xff1a;&#xff08;这个demo v-if 和 v-for 混用了&#xff0c;这个不好&#xff09; <template><div class"rbac-table"><div clas…

vue 公用组件开发 确认框confirm

文件目录&#xff1a; github地址&#xff1a;https://github.com/xingkongwuyu/vue-spa-experience/tree/master/src/components 最终的效果&#xff1a; 组件的源码解析&#xff1a; confirm &#xff1a; confirm的框架 ./index.js import confirmBox from ./src/index; ex…

前端学习(2688):重读vue电商网站9之el-menu 默认会有一个 border-right

这样会导致我们的菜单栏右边会有一个若隐若现的线条凸起 解决办法如下&#xff0c;直接将 el-menu 的border-right 设置为 none 即可。

Android studio 导入module方法

添加module方法步骤&#xff1a; &#xff08;1&#xff09;File----->New------>Import Module找到下载的citypicker文件&#xff0c;点击OK&#xff0c;点击Finish &#xff08;2&#xff09;app的build.gradle下的dependencies下添加 compile project(:citypicker)如…

vue构建项目

想把项目公司一些基础公用组件进行封装&#xff0c;所以需要对单组件进行开发优化。使用到Vue Cli 官方文档&#xff1a;https://cli.vuejs.org/zh/guide/build-targets.html 1、一个新环境&#xff0c;需要安装Vue Cli npm install -g vue/cli npm install -g vue/cli-serv…

前端学习(2689):重读vue电商网站10之表格展开页

只需要将 el-table-column 中 type 属性设为 expand 即能将表格进行展开。 实现效果如下&#xff1a;