shell 进入hadoop_Hadoop关于HDFS的基本操作(Shell命令)

在这里我给大家继续分享一些关于hdfs分布式文件的经验哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程序设计。在前面我已经写了关于如何去搭建hadoop这样一个大数据平台,还没搭好环境的童鞋可以转到我写的这篇文章hadoop在ubuntu的安装,接下来就开始我们本次的经验分享啦。

hdfs的shell命令操作

hdfs的格式化与启动

首次使用hdfs时,需要使用format 命令进行格式化

./bin/hdfs namenode -format

使用start-dfs.sh命令启动hdfs,可 使用jps命令查看是否成功启动

./sbin/start-dfs.sh

下面的图片是启动失败的截图,那么怎么解决这个问题呢。

hdfs启动失败

首先需要停止hdfs,这也是操作完hdfs的必要步骤。

./sbin/stop-dfs.sh

删除tmp/dfs目录下的data文件夹

rm -r ./tmp/dfs/data

最后重新执行hdfs的格式化与启动操作。

启动成功包括出现namenode、seconddarynamenode、以及datanode。

hdfs支持的命令

查看hdfs支持的所有命令

./bin/hdfs dfs

ps:查看hadoop下put的使用方法

./bin/hadoop fs -help put

hdfs文件系统中目录创建操作

创建用户目录

hadoop系统安装好以后,第一次使用hdfs时,需要首先在hdfs中创建用户目录。

./bin/hdfs dfs -mkdir -p /user/hadoop

用查询命令查看我们在路径user下面创建的文件夹hadoop

./bin/hdfs dfs -ls /user

创建二级目录

在hadoop目录下再创建一个input文件夹

./bin/hdfs dfs -mkdir /user/hadoop/input

根目录下创建目录

在hadoop根目录下创建一个input文件夹

./bin/hdfs dfs -mkdir /input

hdfs文件系统中目录删除操作

删除在hadoop根目录下面创建的input文件夹

./bin/hdfs dfs -rm -r /input

可以看到,hadoop根目录下的input文件夹已经被我们成功删除,现在只有存在user目录。

hadoop的文件操作

创建文件的方式

在当前环境目录下创建hello.txt文件,这里介绍两种方法。

number one

touch hello.txt

打开hello.txt文件,并写入如下内容并保存。

hello world

gedit hello.txt

number t two

利用vim编辑创建hello.txt。

vim hello.txt

关于vim怎么建立简单的文本文件我就不在这里解释了,不会的童鞋可以找找度娘。

传输文件

利用put命令将创建的hello.txt文件上传到user/hadoop/input的目录

./bin/hdfs dfs -put ./hello.txt /user/hadoop/input

/bin/hdfs dfs -ls /user/hadoop/input

在user/hadoop/input目录下利用cat命令查看hello.txt文件内容

./bin/hdfs dfs -cat /user/hadoop/input/hello.txt

hdfs中的文件下载到本地文件系统

使用-get命令将hdfs中的hello.txt文件下载到本地文件系统中的/home/hadoop/desktop这个目录下:

./bin/hdfs dfs -get /user/hadoop/input/hello.txt /home/hadoop/desktop

本次给大家分享的内容就到这里啦,觉得还不错的点个赞支持一下小编,你的肯定就是小编前进的动力。

转自:https://www.cnblogs.com/xiangjunhong/p/12737154.html

如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/538642.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

材料凝固计算机模拟,金属基复合材料凝固过程计算机模拟Ⅲ.pdf

金属基复合材料凝固过程计算机模拟Ⅲ,金属基复合材料,金属复合材料,金属陶瓷复合材料,金属基复合材料ppt,金属基复合材料导论,无机非金属基复合材料,双金属复合材料,金属基陶瓷复合材料,金属基复合材料的应用第 卷第 期"" $ 南方冶金学院学报 W;(#""VB;#$年…

java分治法求数列的最大子段和_同事为进大厂天天刷Java面试题,面试却履败!究其原因竟是它在捣鬼。...

写在前面疫情过后,招聘与求职受影响到底有多大?我不知道,但我的真实感受是,即使有疫情的影响,最近还是持续有朋友来跟我说他们今年工作的新动向。有人跳槽去了大厂,有人下定决心出来创业,也有人…

中国移动wlan优化app-截图

Nokia的wlan优化项目得到了中国移动省公司的认同,成为了重点项目,转移了其他项目组开发。 我单独负责开发Android端app。还没开发完,源码也移交了,不再继续参与开发。 新任务是负责现有平台从Oracle转为大数据。截图纪念下近半个…

soapui和cxf的却别_根据wsdl文件用soapUi快速构建webService服务(有图有真相)

最近公司业务上使用webservice 频繁。由于之前都是自己建立webservice 自己定义提供帮对方服务,现在则相反需求都是根据人家提供的wsdl 文件来生成 我们系统必须提供的接口。刚起初不知道如何生成soapui调用wsdl需要安全验证,为了一个webservice 服务&am…

linux软件安装管理

Linux软件安装管理 TonyLinux系统工程师难度初级 时长 3小时 6分 学习人数64016 综合评分9.8收藏上面是linux 的源代码安装包 linux有两种类型的软件安装方式: 1、源代码安装 这种方式的软件安装,可以指定软件的安装目录,软件的运行效率高&am…

ts语音自建服务器,自建TeamSpeak语音服务器,免费提供给专注游戏的玩家使用!...

先提一句,带过节奏的云玩家 可以滚了!​​​以下内容更新于2020/5/22 15:30:​根据 洛杉矶湖人名宿孙悦 ​的提醒,不推荐下载ts1.cn的盗版客户端,也不推荐俱乐部或者各位玩家租用ts1.cn的盗版服务器。具体可查看帖子 h…

hbase多master和动态添加节点

1、多个master节点。 在reginserver节点上使用命令: hbase-daemon.sh start master 在nbdo3机器上启动主备后,查看nbdo3机器上master产生的日志: 2017-04-08 09:37:52,471 INFO [nbdo3:16000.activeMasterManager] master.ActiveMasterMa…

电子电器架构刷写方案——General Flash Bootloader

电子电器架构刷写方案——General Flash Bootloader 我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 注:文章1万字左右,深度思考者入!!! 老规矩,分享一段喜欢的文字,避免…

python心理学实验程序_心理学实验程序编程(python)

任务一:实现简单的屏幕的颜色之间的切换 importpygamefrom pygame.locals import *pygame.init() win pygame.display.set_mode((800,600),DOUBLEBUF|HWSURFACE)for i in range(10): win.fill((0,255,0))if i%20: win.fill((255,0,0)) pygame.time.wait(500) pygame…

Java并发-ThreadLocal

原文地址:cmsblogs.com/?p2442 ThreadLocal介绍 ThreadLocal提供了一种解决多线程环境下成员变量的问题,但是它并不是解决多线程共享变量的问题。那么ThreadLocal到底是什么呢? API是这样介绍的:This class provides thread-loca…

vue 监听map数组变化_解决vue无法侦听数组及对象属性的变化问题

一、数组1、可以监听到的情况如push、splice、赋值(array[1,2,3])2、无法监听到的情况使用下标修改某个元素(这种比较常见)array[index] 1object.a 3直接修改数组lengtharray.length 53、解决方案this.$set(array, index, data) - 这是个深度的修改,某些情况下可…

哈维玛德学院 计算机,这些美国大学名气不高,却有最顶级的工程专业

上一期我们盘点了有博士学位的Top50 大学工程专业排名今天我们继续盘点 2018USNEWS 工程专业排名不过这个排名主要针对的是没有博士学位的 Top50 大学和上一期那些大名鼎鼎的大学相比这里面很多大学并不怎么为人熟知因为这个榜单大部分都是区域性大学事实上,工程专业…

Hbase介绍

1、为什么出现hbase?hadoop 的NameNode适合大文件,不适合小文件。HDFS不适合大量小文件的存储,因namenode将文件系统的元数据存放在内存中,因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Byt…

math 向上取整_自我说明:关于Math和File类的具体说明.

Math类:Math类,不允许有子类,它直接继承于object.Math类包含执行基本数字运算的方法.如基本指数,对数,平方根和三角函数.Math的基本方法:System.out.pintln(“1.绝对值:”Math.abs(16)”t”Math.abs(-16)”…

眼图 非差分线_LVDS低电压差分信号简介

LVDS低电压差分信号简介1. 名词解释1.1. 背景随着数据传输速率越来越高,现在计算机系统中的数据传输接口基本上都串行化了,像USB、PCIe、SATA、DP等等外部总线将并行总线挤压到只剩下内存总线这个最后的堡垒。当然,就算是并行传输总线最后的倔…

无内存在优盘可以启动计算机吗,没有U盘不要紧,内存卡做启动盘装Win7方法

现在最流行的win7系统安装方法大多以U盘来安装,那么如果你没有U盘呢?为了安装个Win7系统是不是要去买个U盘?当然不用,如果你还有空闲不用的手机内存卡,那么也是可以制作U盘启动盘来安装Win7系统的。准备工具&#xff1…

微信小程序request请求动态获取数据

微信小程序开发文档链接 1 后台代码: clickButton:function(){var that this;wx.request({url: http://localhost:9096/admin.php/index/jj,method : POST,header: { content-type: application/x-www-form-urlencoded },data : {},success: function (res) {//console.log(re…

HBase中的HMaster、HRegionServer、Zookeeper

原文链接:http://blog.csdn.net/mm_bit/article/details/51304233 ----------------------------------- HMaster是Hbase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master. Hbase每时每刻只有一个hm…

spyder python调试_使用spyder编译器单步调试python

1、将需要进行单步调试的函数在脚本中进行调用(十分重要的一步)。由于python是解释型语言,在进行单步调试的时候需要告诉系统你使用了这个函数,单步调试才会进入你所需要调式的函数。如下图所示,我们定义了createDataS…

label qt 自动换行_QT编写一个登录界面

前言继上篇:一起学Qt之基础篇---入门今天上手实操用QT编写一个登录界面~系统权限这个词大家肯定不陌生,你进入一个网站也是,如果不登录,就是以游客的身份进去的,要想看到某些信息肯定需要进行登录,更完善的…