shell 删除了hdfs 文件_从零开始学大数据(三) Shell操作HDFS文件系统-中

1、格式化

[root@master sbin]# hdfs namenode -format

2、命令hdfs dfsadmin

  • 查看(hdfs dfsadmin -report)
[root@master ~]# hdfs dfsadmin -report
  • 安全模式
#获取安全模式状态[root@master ~]# hdfs dfsadmin -safemode get#进入安全状态[root@master ~]# hdfs dfsadmin -safemode enter#离开安全模式[root@master ~]# hdfs dfsadmin -safemode leave
  • 刷新节点
[root@master ~]# hdfs dfsadmin -refreshNodesRefresh nodes successful
  • 打印网络拓扑
[root@master ~]# hdfs dfsadmin -printTopologyRack: /default-rack   192.168.30.11:50010 (slave1)   192.168.30.12:50010 (slave2)   192.168.30.13:50010 (slave3)

5、命令 hdfs fsck

  • 查看坏块
[root@node1 ~]# hdfs fsck -list-corruptfileblocksConnecting to namenode via http://node1:50070The filesystem under path '/' has 0 CORRUPT files[root@node1 ~]# hdfs fsck -locationsConnecting to namenode via http://node1:50070FSCK started by root (auth:SIMPLE) from /192.168.30.11 for path / at Thu Jan 30 22:38:10 CST 2020.Status: HEALTHY Total size:1414 B Total dirs:3 Total files:1 Total symlinks:0 Total blocks (validated):1 (avg. block size 1414 B) Minimally replicated blocks:1 (100.0 %) Over-replicated blocks:0 (0.0 %) Under-replicated blocks:0 (0.0 %) Mis-replicated blocks:0 (0.0 %) Default replication factor:3 Average block replication:3.0 Corrupt blocks:0 Missing replicas:0 (0.0 %) Number of data-nodes:3 Number of racks:1FSCK ended at Thu Jan 30 22:38:10 CST 2020 in 1 millisecondsThe filesystem under path '/' is HEALTHY
  • 删除坏块
[root@node1 ~]# hdfs fsck -delete

6、命令hdfs balancer

  • 设置平衡阀
[root@node1 ~]# hdfs balancer -threshold 10

7、配置机架感知

  • 修改core-site.xml文件
topology.script.file.name/opt/hadoop/etc/hadoop/topology.py
  • 创建对应文件
[root@node1 current]# vi /opt/hadoop/etc/hadoop/topology.py#添加如下代码:#!/usr/bin/python#coding=utf-8import sysrack={"192.168.30.12":"/dc1/rack1",          "192.168.30.13":"/dc1/rack1",          "192.168.30.14":"/dc1/rack2",          "node2":"/dc1/rack1",          "node3":"/dc1/rack1",         "node4":"/dc1/rack2"        }if __name__=="__main__":   print rack.get(sys.argv[1],"/default-rack")
  • 添加执行权限
[root@node1 current]#chmod u+x topology.py
1a716354abf6ca1ce5e2784828fc410f.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/455568.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机硬件

计算机硬件 一、为什么要学习计算机基础 程序员编程的本质就是让计算机去工作,而编程语言就是程序员与计算机沟通的介质。程序员要想让计算机工作,就要知道计算机能干什么、是怎么样的一个完成过程,这也是我们必须学习计算机基础的原因。 …

铁路售票系统_铁路资讯:复兴号动车、智能京张高铁…中国最高端铁路装备看这里...

今天上午,两年一度的中国国际现代化铁路技术装备展在京开展,会期3天,将集中展示路网建设、客货运输、经营管理、工程建造、技术装备、旅客服务等铁路行业各领域的先进产品及技术。展会现场智能京张:将首次实现时速350公里自动驾驶…

CentOS下安装MySQL报安装文件conflicts错误:

2019独角兽企业重金招聘Python工程师标准>>> 第一:报这个错误,说明已经安装或相关文件已经存在,把已经存在的文件卸载了就可以了: rpm -e --nodeps mysql-libs-5.1.* 转载于:https://my.oschina.net/u/3197158/blog/1…

inc指令是什么意思_西门子PLC一些指令

指令(英文全称意思)∶指令含义1、LD ( Load装载):动合触点2、LDN (Load Not不装载):动断触点3、A(And与动合):用于动合触点串联4、AN (And Not与动断):用于动断触点串联5、o(Or 或动合):用于动合触点并联6、ON(Or Not 或动断):用于动断触点并联7、(Out输出):用于线圈输出8、OLD…

touchesEnded不响应

为什么80%的码农都做不了架构师?>>> http://blog.csdn.net/assholeu/article/details/16363241 touchesEnded不响应主要存在以下几种情况 case 1 : userInteractionEnabled 部分控件如UIImageView,userInteractionEnabled默认为NO&#xff0…

iOS开发人员不容错过的10大工具

内容简介 1、iOS简介 2、iOS开发十大实用工具之开发环境 3、iOS开发十大实用工具之图标设计 4、iOS开发十大实用工具之原型设计 5、iOS开发十大实用工具之演示工具 6、iOS开发十大实用工具之视频制作 7、iOS开发十大实用工具之分析工具 iOS简介 说起iOS,自然不必多介…

算法学习系列(十):用数组模拟链表、双链表、栈、队列、单调栈、单调队列

目录 引言一、数组模拟链表1.模板2.例题3.测试 二、数组模拟双链表1.模板2.例题3.测试 三、数组模拟栈1.模板2.例题3.测试 四、数组模拟队列1.模板2.例题3.测试 五、数组模拟单调栈1.例题模板2.测试 六、数组模拟单调队列1.例题模板2.测试 引言 首先说一下为什么要拿数组来模拟…

为什么你的路由器穿墙能力差?看完秒懂

1、信号弱赖我咯? 不管你承认与否,只要有墙家中就会存有信号死角,不要小看一墙之隔。如何让路由器的信号增强? 网上一搜旁门左道真不少,什么调整天线寻找合理角度,又或是用易拉罐DIY一个信号放大器,然鹅并非简单的将…

fish工具_Python程序员使用哪些开发工具

Python程序员使用哪些开发工具?很多Python学习者想必都会有如下感悟:最开始学习Python的时候,因为没有去探索好用的工具,吃了很多苦头。后来工作中深刻体会到,合理使用开发的工具的便利和高效。今天,北京学佳澳小编总…

[shiro学习笔记]第二节 shiro与web融合实现一个简单的授权认证

本文地址:http://blog.csdn.net/sushengmiyan/article/details/39933993shiro官网: http://shiro.apache.org/shiro中文手冊:http://wenku.baidu.com/link?urlZnnwOHFP20LTyX5ILKpd_P94hICe9Ga154KLj_3cCDXpJWhw5Evxt7sfr0B5QSZYXOKqG_FtHeD-RwQvI5ozyT…

Web安全之Cookie劫持

1.Cookie是什么? 2.窃取的原理是什么? 3.系统如何防Cookie劫持呢? 看完这三个回答,你就明白哪位传奇大侠是如何成功的!!! Cookie: HTTP天然是无状态的协议,为了维持和跟踪用户的状态,引入了Cookie和Session。Cookie包含了浏览器客户端的用…

运动估计简介

运动估计( Motion Estimation) 维基百科链接:http://en.wikipedia.org/wiki/Motion_estimation运动估计的应用有很多,最初的应用的领域是视频的编码。运动估计算法一般分为: 像素递归法pel-recursive algorithm (PRA)和块匹配法 block-matching algorith…

andriod studio 运行 无结果_华为物联网操作系统LiteOS内核教程01——IoT-Studio介绍及安装...

1. 物联网一站式开发工具 —— IoT StudioIoT Studio 是支持 LiteOS 嵌入式系统软件开发的工具,提供了代码编辑、编译、烧录 及调试等一站式开发体验,支持 C、C、汇编等多种开发语言,让您快速,高效地进 行物联网开发。2. IoT Stud…

颜色转换

以蓝色为例,#0000FF应该被表示成rgb(0,0,255)。 我们将函数命名为getRGB() (可以将字符串视为数组,这个数组的元素为字符) function getRGB(color) {var rgb [parseInt(0xcolor.slice(1,3)),parseInt(0xcolor.slice(3,5)),parseI…

android 按键会触发ontouch吗?_Android实现炫酷的拖拽浮动按钮

IOS的Assistive Touch效果很炫酷,可以任意拖拽,同时点击后会展开菜单栏。然而,这不只是IOS的特权,Android也可以实现。但是由于悬浮窗需要申请权限,所以本文仅在app内实现,可以任意拖拽,并可以响…

强名称程序集(strong name assembly)——为程序集赋予强名称

引言:在曾经的项目开发中,在程序集中见到过一个后缀为*.snk的文件。当时看这个文件的图标。感觉可能是企业内部保护版权啥的一种方式。一,强程序集攻克了哪些问题?1,唯一标识一个程序集2,放置程序集被仿冒和…

如何成为一名合格的数据分析师

“21世纪什么最贵,人才”,在目前大数据时代下,什么最难找,什么最贵,实现数据价值的人,数据分析师。 但是对于数据分析师的认识,比较极端,但对数据分析师价值的认识正在回归理性。很多…

银联pos小票word模板_商家pos机刷卡必须知道的知识

相信很多卡友伙伴或者商铺店家都装有pos机,然后一般pos机都没有使用说明书,更没有结合刷卡方法在内的秘籍。今天我就分享下刷卡必须知道的一些知识。刚刚办理pos机的当天一定要注意:使用之前呢,务必核对一下基本信息,例…

java 空接口_学Java,java接口搞明白了吗?大牛让你一文搞清楚

前言对于面向对象编程来说,抽象是一个极具魅力的特征。如果一个程序员的抽象思维很差,那他在编程中就会遇到很多困难,无法把业务变成具体的代码。在 Java 中,可以通过两种形式来达到抽象的目的,一种是抽象类&#xff0…

Check Point CEO:“我们正在积极寻找收购目标”

Check Point Sofrware Technologies很可能成为下一个会产生收购案的主流安全厂商,首席执行官Gil Shwed在该公司第二季度财报电话会议上这样表示。 “我们正在积极地寻求收购目标,期待无论是大规模的还是小规模的扩张,”Shwed表示。“我们在并…