Hadoop3教程(三):HDFS文件系统常用命令一览

文章目录

  • 语法格式
  • (44) HDFS的文件系统命令(开发重点)
  • 参考文献

语法格式

hdfs命令的完整形式:

hdfs [options] subcommand [subcommand options]

其中subcommand有三种形式:

  • admin commands
  • client commands:如本节重点要讲的dfs
  • daemon commands

(44) HDFS的文件系统命令(开发重点)

dfs(文件系统命令),这个是HDFS里,日常使用最为频繁的一种命令,用来在HDFS的文件系统上运行各种文件系统命令,如查看文件、删除文件等。

基本语法:

hadoop fs 具体命令
hdfs dfs 具体命令

这俩基本是一样的。

前一个命令据说是可以用于其他文件系统,不止是hdfs文件系统内。

后一个命令是专门针对hdfs分布式文件系统。推荐使用这个吧

据说原先还有个hadoop dfs,目前已经废弃不用了,被hdfs dfs所取代。

在shell里打hdfs dfs,可以查看其帮助命令(可以看到展示的是hadoop fs的):

Usage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...][-chown [-R] [OWNER][:[GROUP]] PATH...][-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>][-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>][-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...][-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>][-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshotDir> <snapshotName>][-df [-h] [<path> ...]][-du [-s] [-h] [-v] [-x] <path> ...][-expunge][-find <path> ... <expression> ...][-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>][-getfacl [-R] <path>][-getfattr [-R] {-n name | -d} [-e en] <path>][-getmerge [-nl] [-skip-empty-file] <src> <localdst>][-help [cmd ...]][-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]][-mkdir [-p] <path> ...][-moveFromLocal <localsrc> ... <dst>][-moveToLocal <src> <localdst>][-mv <src> ... <dst>][-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>][-renameSnapshot <snapshotDir> <oldName> <newName>][-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...][-rmdir [--ignore-fail-on-non-empty] <dir> ...][-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]][-setfattr {-n name [-v value] | -x name} <path>][-setrep [-R] [-w] <rep> <path> ...][-stat [format] <path> ...][-tail [-f] <file>][-test -[defsz] <path>][-text [-ignoreCrc] <src> ...][-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...][-touchz <path> ...][-truncate [-w] <length> <path> ...][-usage [cmd ...]]Generic options supported are:
-conf <configuration file>        specify an application configuration file
-D <property=value>               define a value for a given property
-fs <file:///|hdfs://namenode:port> specify default filesystem URL to use, overrides 'fs.defaultFS' property from configurations.
-jt <local|resourcemanager:port>  specify a ResourceManager
-files <file1,...>                specify a comma-separated list of files to be copied to the map reduce cluster
-libjars <jar1,...>               specify a comma-separated list of jar files to be included in the classpath
-archives <archive1,...>          specify a comma-separated list of archives to be unarchived on the compute machinesThe general command line syntax is:
command [genericOptions] [commandOptions]

下面展示一下常用的:

hdfs dfs -ls <path>	# 常规的ls展示目录信息
hdfs dfs -rm		# 删除文件
hdfs dfs -rmdir		# 删除目录
hdfs dfs -mkdir			# 创建路径
hdfs dfs -cp src> ... <dst>	# 将前面路径的文件拷贝到后面路径
hdfs dfs -mv			# 功能同上,但是是剪切式移动文件
hdfs dfs -count <path>	# 依次展示路径下的目录数、文件数、占用空间大小、路径
hdfs dfs -stat
hdfs dfs -tail		# 可以用于采样展示文本内容,显示一个文件的末尾1KB的数据
hdfs dfs -cat <src>		# 显示文件内容
hdfs dfs -touch		# 路径处生成空白文件,若文件已存在,则修改文件的访问时间
hdfs dfs -touchz	# 路径处生成空白文件,若文件存在,则什么都不发生,不会更改现有文件的时间戳
hdfs dfs -du <path>	# 打印路径下各子目录的空间占用情况,第一列表示实际文件大小,第二列表示实际文件大小 * 备份数
hdfs dfs -du -s <path>	# 直接加和,只显示最终的
hdfs dfs -df <path>		# 显示目录所在磁盘的整体空间占用,包含所有副本
hdfs dfs -setrep 副本数 filepath # 设置HDFS中文件的副本数量。如果设置的副本数超过了节点数,则实际只能有多少节点建多少副本
chgrp、-chmod、-chown # 跟Linux文件系统中的用法一样,修改文件所属权限-getmerge # 合并下载hdfs dfs 
# 上传下载类指令hdfs dfs -appendToFile <localsrc>... <dst>	# 将所有给定的本地文件内容,全部追加到指定的hdfs文件末尾;若hdfs文件不存在则创建;若localstr是-,那么将会从终端stdin读取输入;
hdfs dfs -moveFromLocal <localsrc> ... <dst> # 从本地某个目录剪切到HDFS;
hdfs dfs -copyFromLocal <localsrc> ... <dst> # 从本地拷贝到HDFS
hdfs dfs -put <本地路径> <hdfs路径>	# 本地文件拷贝到hdfs中,作用等同于copyFromLocal,但生产中更常用-puthdfs dfs -get <hdfs路径> <本地路径>	# hdfs文件下载到本地,生产中更习惯用get,而不是copyToLocal
hdfs dfs -copyToLocal <src> ... <localdst> # 从HDFS拷贝到本地

如果是想看单独一个命令的帮助信息,可以使用以下指令,如:

hdfs dfs -help mv

参考文献

  1. 【尚硅谷大数据Hadoop教程,hadoop3.x搭建到集群调优,百万播放】
  2. hadoop dfs、hadoop fs和hdfs dfs的区别
  3. 周末杂谈:关于Hadoop集群中,其创建文件的touch命令和touchz命令有什么区别?以及在什么样的情况下创建文件使用不同的命令。
  4. Hadoop官方文档-文件系统shell页
  5. HDFS常用命令总结

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/105763.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【记录】使用Python读取Tiff图像的几种方法

文章目录 PIL.Imagecv2gdal 本文总结了使用 PIL Image, cv2, gdal.Open三种python package 读取多通道Tiff格式遥感影像的方法。 PIL.Image PIL对Tiff只支持两种格式的图像&#xff1a; 多通道8bit图像单通道int16, int32, float32图像 多通道多bit的tiff图像PIL不支持读取…

Java-数据库操作

文章目录 一、前言二、JDBC技术三、JDBC中常用的类和接口四、数据库操作 一、前言 本文主要讲述的是如何使用JDBC技术连接本地的数据库&#xff0c;编写Java语言代码来对本地的MySQL数据库进行基础的增删改查操作&#xff0c;所以阅读本文章之前还得对数据库的操作有基本的了解…

文件服务器管理服务器怎么设置

文件服务器是一种提供文件存储和共享服务的服务器&#xff0c;它可以方便企业内部的员工共享文件&#xff0c;提高工作效率。为了更好地管理和维护文件服务器&#xff0c;需要对其进行合理的设置。下面小编将介绍文件服务器管理服务器的基本设置方法。 一、选择合适的操作系统 …

Sui账户抽象消除用户使用障碍,让大规模用户使用区块链成为可能

Sui通过其本机语言和两个特定功能实现了账户抽象&#xff0c;使账户管理中更加细节化的过程自动化。无论是zkLogin还是赞助交易&#xff0c;都简化了用户的使用过程&#xff0c;而Sui Move的基本结构则使开发人员能够提供丝滑的体验。 最近&#xff0c;随着区块链寻求扩大其用…

基于Eigen的位姿转换

位姿中姿态的表示形式有很多种&#xff0c;比如&#xff1a;旋转矩阵、四元数、欧拉角、旋转向量等等。这里基于Eigen实现四种数学形式的相互转换功能。本文利用Eigen实现上述四种形式的相互转换。我这里给出一个SE3&#xff08;4*4&#xff09;(先平移、再旋转)的构建方法&…

有关范数的学习笔记

向量的【范数】&#xff1a;模长的推广&#xff0c;柯西不等式_哔哩哔哩_bilibili 模长 范数 这里UP主给了说明 点赞 范数理解&#xff08;0范数&#xff0c;1范数&#xff0c;2范数&#xff09;_一阶范数-CSDN博客 出租车/曼哈顿范数 det()行列式 正定矩阵&#xff08;Posit…

高校教务系统登录页面JS分析——皖西学院

高校教务系统密码加密逻辑及JS逆向 本文将介绍皖西学院教务系统的密码加密逻辑以及使用JavaScript进行逆向分析的过程。通过本文&#xff0c;你将了解到密码加密的基本概念、常用加密算法以及如何通过逆向分析来破解密码。 本文仅供交流学习&#xff0c;勿用于非法用途。 一、密…

软件工程与计算总结(十三)详细设计中的模块化与信息隐藏

一.模块化与信息隐藏思想 1.设计质量 好的设计要着重满足以下3方面&#xff1a;可管理性、灵活性、可理解性好的设计需要侧重于间接性和可观察性——简洁性使得系统模块易于管理&#xff08;理解和分解&#xff09;、开发&#xff08;修改与调试&#xff09;和复用。实践者都…

js中父子元素如何传值

在JavaScript中&#xff0c;父子元素之间可以通过以下方式传递值&#xff1a; Props&#xff08;属性传递&#xff09;&#xff1a;父组件通过属性传递给子组件&#xff0c;子组件可以通过props接收父组件传递的值。 父组件传递值&#xff1a; <ChildComponent propValue…

集成学习的小九九

集成学习&#xff08;Ensemble Learning&#xff09;是一种机器学习的方法&#xff0c;通过结合多个基本模型的预测结果来进行决策或预测。集成学习的目标是通过组合多个模型的优势&#xff0c;并弥补单个模型的不足&#xff0c;从而提高整体性能。 集成学习的主要策略 在集成…

如果不封车,坚持冬天骑行应该注意些什么?

亲爱的骑行爱好者们&#xff0c;你们好&#xff01;随着秋天的脚步渐行渐远&#xff0c;冬天也不远了。对于热爱骑行的你们来说&#xff0c;秋天的骑行是一种享受&#xff0c;而冬天的骑行则是一种挑战。那么&#xff0c;如果你打算在秋天骑行不封车&#xff0c;坚持过冬天&…

elementUI el-table+树形结构子节点选中后没有打勾?(element版本问题 已解决)

问题 1.不勾选父级CB111&#xff0c;直接去勾选子级&#xff08;ST2001…&#xff09;&#xff0c;子级选中后没有打勾显示 排查 一直以为是这个树形结构和表格不兼容产生的问题&#xff0c;到后来看官方demo都是可以勾选的&#xff0c;最后排查到了版本问题&#xff0c; 项…

竞赛选题 深度学习 机器视觉 车位识别车道线检测 - python opencv

0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; 深度学习 机器视觉 车位识别车道线检测 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f947;学长这里给一个题目综合评分(每项满分5分) …

软考 系统架构设计师系列知识点之特定领域软件体系结构DSSA(7)

接前一篇文章&#xff1a;软考 系统架构设计师系列知识点之特定领域软件体系结构DSSA&#xff08;6&#xff09; 所属章节&#xff1a; 第7章. 系统架构设计基础知识 第5节. 特定领域软件体系结构 相关试题 5. 特定领域软件架构&#xff08;Domain Specific Software Archite…

《UnityShader入门精要》学习5

Unity中的基础光照 从宏观上来说&#xff0c;渲染包含了两大部分&#xff1a;决定一个像素的可见性&#xff0c;决定这个像素上的光照计算 我们是如何看到这个世界的 通常来讲&#xff0c;我们要模拟真实的光照环境来生成一张图像&#xff0c;需要考虑3种物理现象。 首先&a…

JOSEF约瑟 可调漏电继电器RT-LB230KS+Q-FL-100 导轨安装 配套零序互感器

一、产品用途及特点 RT-LB230KS漏电继电器&#xff08;以下简称继电器&#xff09;适用于交流电压为660V.至1140V电压系统中,频率为50Hz,电流15~4000A线路中做有无中性点漏电保护. 该继电器可与带分励脱扣器或失压脱扣器的断路器、交流接触器、磁力启动器等组成漏电保护装置&…

机器学习: 初探 定义与应用场景

机器学习 第一课 初探 定义与应用场景 机器学习 第一课 初探 定义与应用场景机器学习的历史机器学习为什么重要?机器学习的定义机器学习在日常生活中的应用推荐系统语音识别图像识别 商业领域的机器学习金融风险评估股票市场预测客户关系管理 机器学习在医疗领域的应用疾病预测…

【Linux】:常见指令理解(3)

17.grep指令 grep参考文档 语法&#xff1a; grep [选项] 搜寻字符串 文件 功能&#xff1a; 在文件中搜索字符串&#xff0c;将找到的行打印出来 常用选项&#xff1a; -i &#xff1a;忽略大小写的不同&#xff0c;所以大小写视为相同 -n &#xff1a;顺便输出行号 -v &…

MBBF展示的奇迹绿洲:5G的过去、此刻与未来

如果你来迪拜&#xff0c;一定不会错过全世界面积最大的人工岛项目&#xff0c;这是被称为世界第八大奇迹的棕榈岛。多年以来&#xff0c;这座岛从一片砂石、一棵棕榈树开始&#xff0c;逐步建成了整个波斯湾地区的地标&#xff0c;吸引着全世界游人的脚步。 纵观整个移动通信发…

K8S:Rancher管理 Kubernetes 集群

文章目录 一.Rancher 简介1.Rancher概念2.Rancher 和 k8s 的区别 二.Rancher 安装及配置1.安装 rancher2.登录 Rancher 平台3.Rancher 管理已存在的 k8s 集群4.Rancher 部署监控系统5.使用 Rancher 仪表盘管理 k8s 集群 三.拓展1.Rancher和kubesphere相比较2.K3S和K8S相比较 一…