hdfs复制文件夹_HDFS常用命令

一.HDFS命令行

Hadoop help命令的使用

1.hadoop -help查询所有Hadoop Shell支持的命令

99909bbd34a5ef5db188b705136ae40c.png

2.distcp

这是Hadoop下的一个分布式复制程序,可以在不t同的HDFS集群间复制数据,也可以在本地文件间复制数据。

hadoop distcp

8037b2845389288f1efed78e85f3ca19.png

将/test/test.txt文件复制到/test/cp下面:hadoop distcp/test/test.txt/test/cp

将master1集群/test目录(包含内容)复制到master2集群/test_cp目录下:

Hadoop distcp hdfs://master1/test hdfs://master2/test_cp

3.用户可以把MapReduce代码捆绑到jar文件中,使用这个jar文件

命令格式:hadoop jar [mainClass]arges

4.archive 创建一个Hadoop存档文件,这是一种特殊的文档格式。一个Hadoop archive对应一个文件系统目录。Hadoop archive的扩展名为*.har。可以将文件写入HDFS块,一定程度上解决了大量小文件耗费NameNode节点的现象,同时允许对文件的透明访问。

命令格式:hadoop archive-archiveName*

命令选项:

-archiveName 要创建存档文件的名字

src 文件系统的路径名,和通常含正则表达式一样

dest 保存存档文件的目录索引目标

for example:

1.hadoop archive-archiveName part-20170906-0.har -p/input/ child1 child2/ah_input/har

2.查看归档后的目录结构:hadoop fs-lsr/

3.查看结果文件part -0的内容:hadoop fs-cat /test/in/har/0825.har/part-0

4.使用har uri访问原始数据

har是HDFS之上的一个文件系统,因此所有fs shell命令对har文件有用,只不过路径格式不一样

hadoop -lsr har://ah_input/har/part-20170906-0.har

5. 用har uri访问下一级目录

hdfs dfs-lsr har://ah_input/har/part-20170906-0.har/input

6.远程访问

hadoop fs-lsr har://master:8020/ah_input/har/part-20170906-0.har

其中master是NameNode所在节点的主机名,8020是core-site.xml文件中的fs.defaultFS参数配置中对应的端口号

7.删除har文件

必须使用rmr命令来删除har文件,rm命令是不行的

hadoop fs-rmr/ah_input/har/part-20170906-0.har

除此之外,har还可以作为MapReduce的输入进行使用。

HDFS常用命令行操作

1.dfsadmin -help

help命令会在屏幕客户端列出dfsadmin下的命令的列表及语法的命令格式的帮助信息

hadoop dfsadmin -help

2.report

-report [-live][-dead][-decommissioning]:报告HDFS的基本信息和统计信息

3.safemode

-safemode:安全模式维护命令,可以说它是NameNode状态。处于安全模式时,它不接受对空间名字的修改(即只读),同时它不复制或删除块。在NameNode启动时,系统自动进入安全模式,当配置最小的Block百分比满足最小的复制条件时,就会自动离开安全模式。安全模式也可以手动输入,此时只能手动关闭。

4.job -history 看历史日志汇总

5.dfs- mkdir在DFS创建目录

hadoop dfs- mkdir/testmkdir

6.fs- put该命令上传本地file到HDFS指定目录

7.fs-lsr查看所有文件以及所在的目录信息

8.fs- cat查看HDFS上的文件内容

9.fs-rm删除指定文件

10.fs-rm-r 删除HDFS上的文件夹以及文件夹的内容

11.fs-chmod更改HDFS文件权限

-r只读权限

-w写入权限

-rw读写权限

-x执行权限

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/470423.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

人工智能python零基础入门教程_人工智能零基础入门视频教程

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼人工智能零基础入门视频教程100天人工智能工程师学习计划 —— 全程实战案例,从机器学习原理到推荐系统实现,从深度学习入门到图像语义分割及写诗机器人,再到专属GPU云平台上的四大工业级实战项目…

处理相对时间(Day.js、Moment.js)(案例:结合vue的过滤器使用)

推荐两个第三方库: Moment.jsDay.js 两者都是专门用于处理时间的 JavaScript 库,功能差不多,因为 Day.js 的设计就是参考的 Moment.js。但是 Day.js 相比 Moment.js 的包体积要更小一些,因为它采用了插件化的处理方式。 Day.js…

Linux之Json20160705

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。JSON采用完全独立于语言的文本格式,这些特性使JSON成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解析和生成。 基础结构 JSON建构于两种结构:1. “名称/值”对的集…

下载 嵌入式qt实战教程pdf_Qt之JSON教程-实战篇

以实战例子讲述JSON三兄弟的后续故事。实战一:发送JSON网络请求作为JSON老大哥的QJsonValue自知对面的大户人家妹子貌美如花,心里已经打起算盘,先下手为强,后下手遭殃。决定显示下自己的家底,想起这件事,老…

注册tomcat为服务

http://guomingjun.iteye.com/blog/1564894转载于:https://www.cnblogs.com/diyunpeng/p/5646055.html

Vue移动端项目——搜索联想建议功能的实现(结合watch属性和使用lodash防抖节流)

搜索联想建议 1. 基本思路: 当搜索框输入内容的时候,请求加载联想建议的数据 将请求得到的结果绑定到模板中 2. 基本功能 一、将父组件中搜索框输入的内容传给联想建议子组件 二、在子组件中监视搜索框输入内容的变化,如果变化则请求获取…

.net get set 初始化_.NET项目升级:可为空引用

(给DotNet加星标,提升.Net技能)转自:波多尔斯基cnblogs.com/podolski/p/12692888.html前言C#8引入了新特性:可为空引用https://docs.microsoft.com/zh-cn/dotnet/csharp/nullable-references这个功能个人觉得挺好的,能够非常明确的…

用GDB排查Python程序故障

某Team在用Python开发一些代码,涉及子进程以及设法消除僵尸进程的需求。实践中他们碰上Python程序非预期退出的现象。最初他们决定用GDB调试Python解释器,查看exit()的源头。我听了之后,觉得这个问题应该用别的调试思路。帮他们排查这次程序故…

解决后端返回数据中的大数字问题(使用第三方包json-bigint )

JavaScript 能够准确表示的整数范围在-2^53到2^53之间(不含两个端点),超过这个范围,无法精确表示这个值,这使得 JavaScript 不适合进行科学和金融方面的精确计算。 Math.pow(2, 53) // 90071992547409929007199254740…

java 静态代码块_关于Java你不知道的那些事之代码块

前言普通代码块:在方法或语句中出现的{},就被称为代码块静态代码块:静态代码块有且仅加载一次,也就是在这个类被加载至内存的时候普通代码块和一般语句执行顺序由他们在代码中出现的次序决定,先出现先执行代码一/**对于…

Vue项目开发过程中解决跨域问题(vue.config.js结合axios)

一、问题描述 在本地开发过程中,调用后端提供的接口获取数据将获取的数据渲染到页面中,但是浏览器报错: // 控制台报错信息 Access to XMLHttpRequest at http://x.x.x.x/app/v1_0/user/followings from origin http://localhost:8080 has…

css之规范命名

Css的规范命名 头:header   内容:content/container   尾:footer   导航:nav   侧栏:sidebar 栏目:column   页面外围控制整体布局宽度:wrapper   左右中:left r…

python 查询sqlserver 视图_SQL Server查看视图定义总结

在SQL Server中如何查看数据库视图的定义呢? 其实官方文档已经有一个较详细的总结了,这里在官方文档的基础上,我们再深入展开分析一下,例如如何获取系统视图的定义。知其然知其所以然吗。1:使用SQL Server Management …

WebSocket实现实时通信

WebSocket 是一种数据通信协议,也是用于客户端和服务端数据通信,类似于我们常见的 http 既然有 http,为啥还要 WebSocket http 通信是单向的 请求 响应 没有请求也就没有响应 初次接触 WebSocket 的人,都会问同样的问题&#xf…

response.setContentType()的作用及MIME参数详解

转自脚本之家 原文http://www.jb51.net/article/32773.htmresponse.setContentType(MIME)的作用是使客户端浏览器,区分不同种类的数据,并根据不同的MIME调用浏览器内不同的程序嵌入模块来处理相应的数据,本文详细介绍,需要了解的朋友可以参考…

使用socket.io搭建一个实时聊天机器人

一、安装socket.io npm i socket.io --save二、使用 第一种:服务端使用原生node // 创建http服务器 const http require(http) var fs require(fs) const app http.createServer()app.on(request, (req, res) > {fs.readFile(__dirname /index.html, funct…

真随机和伪随机区别_用骰子DIY真随机助记词 | 火星号精选

免责声明:本文旨在传递更多市场信息,不构成任何投资建议。文章仅代表作者观点,不代表火星财经官方立场。小编:记得关注哦

EasyDarwin开源流媒体服务器性能瓶颈分析及优化方案设计

EasyDarwin现有架构介绍 EasyDarwin的现有架构对网络事件的处理是这样的,每一个Socket连接在EasyDarwin内部的对应存在形式就是一个Session,不论是RTSP服务对应的RTSPSession,还是HTTP服务对应的HTTPSession,都是一个继承自Task类…

python对文件的写操作方法writetext_用python实现读写文件常见操作方式

1 文件读取全文本操作在一定场景下我们需要把文本全部内容读取出来,进行处理。python提供三种函数读取文件,分别是read readline readlines,read():读取文件的全部内容,加上参数可以指定读取的字符。readline()&#…

Vue 中的组件缓存

一、介绍 先来看一个问题? 从首页的区块链模块切换到文章详情页面,再从文章详情页面回到首页,我们发现首页重新渲染原来的状态没有了,又回到了推荐模块。 首先,这是正常的状态,并非问题,路由…