hadoop shell操作 hdfs处理文件命令 hdfs上传命令 hadoop fs -put命令hadoop fs相关命令 hadoop(十三)

hadoop fs -help rm 查看rm命令作用

hadoop fs 查看命令

1. 创建文件夹:

# hdfs前缀也是可以的。更推荐hadoop
hadoop fs -mkdir /sanguo

2.上传至hdfs命令:

   作用: 从本地上传hdfs系统 (本地文件被剪切走,不存在了)

   命令:

# 新建文件
vi shuguo.txt
#进入后 输入一些文字,保存退出即可#同shuguo.txt要在同目录下,输入命令
hadoop fs -moveFromLocal shuguo.txt /sanguo

 3. 拷贝文件上传到hdfs系统:

#新增文件
vi weiguo.txt
# 输入一些文字,保存并退出# 从本地复制一份文件,至hdfs文件系统
hadoop fs -copyFromLocal weiguo.txt /sanguo# 同上相同,更推荐这种,更加简洁
hadoop fs -put weiguo.txt /sanguo

4. 追加文件内容:

# 新建文件
vi liubei.txt
# 输入一些文字,保存并退出# 
hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

5. 从hdfs下载至本地:

# copy
hadoop fs -copyToLocal /sanguo/shuguo.txt ./# 更推荐这种,简洁
# 下载
hadoop fs -get /sanguo/shuguo.txt ./

6. ls命令:

hadoop fs -ls /sanguo

7. cat命令:

hadoop fs -cat /sanguo/shuguo.txt

 8.更改权限:

hadoop fs -chown hadoop:hadoop /sanguo/shuguo.txt

 9. cp 复制:

# 创建文件夹
hadoop fs -mkdir /jinguo
# 复制
hadoop fs -cp /sanguo/shuguo.txt /jinguo

10. mv 移动:

hadoop fs -mv /sanguo/weiguo.txt /jinguo

11. tail 查看

hadoop fs -tail /sanguo/shuguo.txt

12. 删除文件或文件夹

# 删除文件
hadoop fs -rm /sanguo/shuguo.txt# 递归删除文件夹
hadoop fs -rm -r /sanguo

13. 统计文件夹大小信息:

hadoop fs -du -s -h /sanguo

   27 文件大小81 副本*文件大小

下面是查看文件夹每个文件的统计信息

hadoop fs -du  -h /sanguo

14. 设置副本数量:

hadoop fs -setrep 2 /sanguo/shuguo.txt

  副本数量记录在NameNode,不要设置超过节点数量的副本,设置超过节点数,最多也只是总节点数量的副本,不会超过DataNode节点数, 如果设置8个副本,如果DataNode节点数有8个,才会有8个副本

总结:命令太多不一一列举了,同centos系统一样,只是前面加了hadoop fs, 很容易记住

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/161196.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

论防火墙的体系结构

防火墙的体系结构 防火墙的体系结构 双重宿主主机体系结构。屏蔽主机体系结构。屏蔽子网体系结构。 双重宿主主机体系结构 双重宿主主机体系结构是指以一台具有双重宿主的主机计算机作为防火墙系统的主体,执行分离外部网络与内部网络的任务。该计算机至少有两个…

【NGINX--4】大规模可扩展的内容缓存

1、缓存区 缓存内容并定义缓存的存储位置。 使用 proxy_cache_path 指令定义共享内存缓存区和内容的位置: proxy_cache_path /var/nginx/cachekeys_zoneCACHE:60m levels1:2inactive3h max_size20g; proxy_cache CACHE;上述缓存定义示例在文件系统 /var/nginx/ca…

为什么要用多线程?

提高响应速度:对于耗时操作,使用多线程可以使得应用程序更快地响应用户的请求,从而提高用户体验。实现并行计算:多线程可以同时执行多个任务,从而实现并行计算,提高程序的运行效率。提高CPU利用率&#xff…

html属性值可以不用引号吗,实例验证

html属性值可以不用引号 HTML元素的属性值可以不适用引号来包裹,浏览器一样可以将其进行渲染。不过,如果这样写HTML的代码的话,属性与属性值之间需要用空格来进行隔开,避免后面的属性变成前面属性的属性值。 提示:虽…

达梦列式存储和clickhouse基准测试

要验证达梦BigTable和ClickHouse的性能差异,您需要进行一系列基准测试。基准测试通常包括多个步骤,如准备测试环境、设计测试案例、执行测试、收集数据和分析结果。以下是您可以遵循的一般步骤: 准备测试环境: 确保两个数据库系统…

sql手工注入漏洞测试(MYSQL)-墨者-url信息

背景: 自己在墨者官网靶场练习的时候,一直出错,手工容易出错,所以列举一些信息供大家核对,可以参考改动。 数据库版本version() 5.7.22-0ubuntu0.16.04.1 当前数据库名称database() m…

模拟量采集----测量输入的电流

生活中的模拟量有很多 大多都为电压信号和电流信号 今天讲如何测量输入的电流信号 通过欧姆定律可知 电流测量的测量:是将电流加载在固定阻值的电阻上,来测量这个电阻二端的电压 最后反算出电流的大小 所用的公式是IU/R 我们使用仿真软件来看测量…

神经网络中间层特征图可视化(输入为音频)(二)

相比方法一个人感觉这种方法更好 import librosa import numpy as np import utils import torch import matplotlib.pyplot as pltclass Hook:def __init__(self):self.features Nonedef hook_fn(self, module, input, output):self.features output# 创建钩子的实例 hook …

EasyExcel listener无法通过Autowired注入xxMapper

easyexcel listener无法通过Autowired注入xxMapper 文章目录 easyexcel listener无法通过Autowired注入xxMapperbug记录:解决方案:easyexcel 使用例子controllerServiceImpllistener bug记录: productMapper注入一直为null,而procureDetailM…

Visual Studio(VS) C++程序LNK2005错误,提示“error LNK2005: _XXX已经在xxx.obj中定义”解决方案

1.问题如图 2.出现原因 项目中有多个源文件或头文件,include后导致有些变量重复定义,加上Visual Studio新版版要求更严格 3.解决办法 查询到的解决办法很多不好用,此处记录解决自己问题的一个办法:直接让编译器忽略第二次定义的…

图形数据库的实战应用:如何在 Neo4j 中有效管理复杂关系

关系数据库管理系统( RDBMS ) 代表了最先进的技术,这在一定程度上要归功于其由周边技术、工具和广泛的专业技能组成的完善的生态系统。 在这个涵盖信息技术(IT) 和运营技术(OT) 的技术革命时代,人们普遍认识到性能方面出现了重大挑战,特别是…

连续变量降维:主成分分析和因子分析

主成分分析(Principal Component Analysis,PCA)和因子分析(Factor Analysis)都是用于处理连续变量降维的统计方法,它们在数据分析和特征提取中经常被使用。尽管它们有一些相似之处,但它们的目标…

初识JVM(简单易懂),解开JVM神秘的面纱

目录 一、什么是JVM(Java虚拟机)? 二、JVM的功能 三、JVM的功能-即时编译 四、常见的JVM 五、JVM的组成 五、JVM的工作流程 参考资料 一、什么是JVM(Java虚拟机)? 在Java的世界里,Java虚…

代码文档浏览器 Dash mac中文版软件特色

Dash mac是一个基于 Python 的 web 应用程序框架,它可以帮助开发者快速构建数据可视化应用。Dash 的工作原理是将 Python 代码转换成 HTML、CSS 和 JavaScript,从而在浏览器中呈现交互式的数据可视化界面。Dash 提供了一系列组件,包括图表、表…

如何将设置为静态IP的VMware虚拟机进行克隆以便可以复刻相应的环境

一定要关闭需要克隆的虚拟机右键要选择克隆的虚拟机,选择管理->克隆,进入克隆虚拟机向导 设定克隆出来的虚拟机名称以及位置,选择完成 克隆完成之后将会生成虚拟机,示例中生成的虚拟机为ubuntu-dev2 因为原本的虚拟机为静态ip的…

区域人员超限AI算法的介绍及TSINGSEE视频智能分析技术的行业应用

视频AI智能分析已经渗透到人类生活及社会发展的各个方面。从生活中的人脸识别、停车场的车牌识别、工厂园区的翻越围栏识别、入侵识别、工地的安全帽识别、车间流水线产品的品质缺陷AI检测等,AI智能分析技术无处不在。在某些场景中,重点区域的人数统计与…

3:kotlin 逻辑控制(Control flow)

向其他语言一样,kotlin也有循环和逻辑控制 条件判断(Conditional expressions) kotlin使用if和when来进行条件判断 如果纠结选择if还是when,建议使用when,因为它更能提高程序的健壮性 if 普通写法 fun main() {val…

Java集合拓展01

1、List,Set,Map三者的区别 List:一个有序(元素存入集合的顺序和取出的顺序一致)容器,元素可以重复,可以插入多个null元素,元素都有索引。常用的实现类有 ArrayList、LinkedList 和…

EMG肌肉信号处理合集 (一)

本文归纳了常见的肌肉信号预处理流程,方便EMG信号的后续分析。使用pyemgpipeline库 来进行信号的处理。文中使用了 UC Irvine 数据库的下肢数据。 目录 1 使用wrappers 定义数据类,来进行后续的操作 2 肌电信号DC偏置去除 3 带通滤波器处理 4 对肌电…

SpringCloud - 新版淘汰 Ribbon,在 OpenFeign 中整合 LoadBalancer 负载均衡

目录 一、LoadBalancer 负载均衡 1.1、前言 1.2、LoadBalancer 负载均衡底层实现原理 二、整合 OpenFeign LoadBalancer 2.1、所需依赖 2.2、具体实现 2.3、自定义负载均衡策略 一、LoadBalancer 负载均衡 1.1、前言 在 2020 年以前的 SpringCloud 采用 Ribbon 作为负载…