第10章-管理Hadoop集群-hadoop 安全模式相关知识点

为什么80%的码农都做不了架构师?>>>   hot3.png

1、namenode启动时,namenode节点都做了哪些动作?fsimage和edits有什么变化?

2、namenode什么时候开始监听RPC和HTTP请求?

   namenode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。

    一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件(这个操作不需要借助辅助namenode)和一个空的编辑日志。此时,namnode开始监听RPC和HTTP请求。

3、namenode在什么阶段会处于安全模式?

    在启动阶段。

4、namenode运行在安全模式下,文件系统对于客户端可以读写吗?

    但是此刻,namenode运行在安全模式,即namenode的文件系统对于客户端来说是只读的。

    严格来说,在安全模式下,只有那些访问文件系统元数据的文件系统操作是可以成功的,例如显示目录列表等。

    对于读文件操作来说,只有集群中当前datanode上的块可用时,才能够读取文件。但文件修改操作(包括写、删除或重命名)均会失败。

5、系统中数据块的位置是由谁来维护的?

    需要强调的是,系统中数据块的位置并不是由namenode维护的,而是以块列表的形式存储在datanode中

6、namenode会在哪儿保留所有块位置的映射信息?

    在系统的正常操作期间,namenode会在内存中保留所有块位置的映射信息   

7、安全模式下,namenode、datanode都做了哪些动作? 

    1)、datanode向namenode检查块列表信息。

    2)、namenode不向datanode发出任何块复制或块删除命令。即,执行复制或删除块失败。

详细过程为:

    1)、在安全模式下,各个datanode会向namenode检查块列表信息(即向namenode发送块列表的最新情况)

    2)、namenode了解到足够多的块位置信息之后,即可高效运行文件系统。

    3)、但如果namenode没有检查到足够多的datanode,则需要将块复制到其他datanode,而在大多数情况下这都是不必要的(因为只需等待检查到若干datanode检入),并会极大地浪费集群的资源。

    4)、实际上,在安全模式下,namenode并不向datanode发出任何块复制或块删除的命令。

8、什么时候退出安全模式?

    当满足“最小复本条件”(minimal replication condition),namenode会在30秒钟之后就退出安全模式

9、最小副本条件是指什么?

    最小副本条件是在整个文件系统中有99.9%的块满足最小副本级别(默认值是1,由dfs.replication.min属性设置)。

10、安全模式相关属性

1)、dfs.replication.min

2)、dfs.safemode.threshold.pct

3)、dfs.safemode.extension

如下表:

165151_lCad_870039.png

11、启动一个刚刚格式化的HDFS集群时,namenode是否会进入安全模式?为什么?

    因为系统中还没有任何块,所以namenode不会进入安全模式

12、如何进入和离开安全模式?

    1)、#查看namenode是否处于安全模式?

        hadoop dfsadmin -safemode get

        在HDFS的网页界面也能够显示namenode是否处于安全模式。

    2)#等待namenode退出安全模式

        当用户期望在执行某条命令之前namenode先退出安全模式,如何操作?

        有时用户期望在执行某条命令之前namenode先退出安全模式,特别是在脚本中。使用wait选项能够达到这个目的:

        hadoop dfsadmin -safemode wait

    3)、#进入安全模式

        管理员随时可以让namenode进入或离开安全模式。这项功能在维护和升级集群时非常关键,因为需要确保数据在指定时段内是只读的。

        hadoop dfsadmin -safemode enter

    4)、#离开安全模式                

         hadoop dfsadmin -safemode leave

13、使namenode永远处于安全模式的方法?

        1)、namenode启动阶段,运行hadoop dfsadmin -safemode enter

          namenode在启动阶段会处于安全模式。在此期间也可使用这条命令,从而确保namenode在启动完毕之后不离开安全模式。

        2)、将dfs.safemode.threshold.pct值设为大于1

          另一种使namenode永远处于安全模式的方法是将属性dfs.safemode.threshold.pct的值设为大于1











   


转载于:https://my.oschina.net/HIJAY/blog/332960

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/299000.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

oracle挂证多少钱一个月_惊呆,一条sql竟然把Oracle搞挂了

一条sql就能把oracle搞挂了,真的是不敢相信啊,前几天生产上确实出现了这样一个故障,我们来一起做一个事件回放。系统介绍系统架构见下图:fileapplication1和application2是一个分布式系统中的2个应用,application1连接…

linux图形界面鼠标变成小手_加载Linux系统,树莓派变身桌面电脑

开始正文前,我们想听听娃说了什么操作系统,英文名叫做Operation System,简写为OS,是电子设备运行的基础软件,按运行的设备类型来分,操作系统分为手机操作系统,桌面电脑操作系统和服务器操作系统…

二叉查找树转换成有序的双向链表

首先对于二叉查找树的定义和性质,以及如何得到二叉查找树某个节点的子树下的最大值和最小值和插入一个值的内容可以参考这两篇文章: (1)http://www.cnblogs.com/chenping-987123/archive/2010/09/25/1834341.html (2&a…

就你这个求婚态度,能嫁给你才怪!

1 兄弟!哪有求着婚还走神的?!▼2 喝奶茶专用口罩!▼3 把广东茶楼的菜都点一遍是什么体验?▼4 你觉不觉得这个门锁有点像托马斯的小火车▼5 手里的塑料袋像极了塑料兄弟情▼6 小朋友看《喜羊羊》看到的是坏人的愚…

Remoting and MSMQ 结合做的一个DEMO

真的非常感谢CnBlogs.com,因为有很多教程里写的知识点并不全面,而且也没附带例子.通过这里我学习到了很多很多.希望网站能越办越好哦.下面是我学习分布式开发时写的一个小demo,当然功能有限,技术也很低.希望大师们能拍拍砖,不吝赐教.呵呵软件运行的一个截图下面说说流程吧,1:利…

再聊一次值类型和引用类型

C#值类型,作为函数形参,形参被修改,不影响原值。这是我们在初始学习编程时需要记住的内容,我们也是一直这样践行的。先说结论:这是不准确的。为什么提出这样看似很浅显的问题,是因为有次我在使用ArraySegme…

java+字节码工具64位_jclasslib 下载-jclasslib 32位64位(java字节码查看工具) 5.1 官方版 - 河东下载站...

jclasslib是款免费的开源java字节码的查看工具;它支持进行查看您需要进行使用汉字运用到的Java字节码,并且还拥有一个的类库来让开发者进行读取,包括了修改、对JavaClass文件、字节码的写入等;用户这进行使用的过程中,…

ado filter 多条记录_注意!武汉江南中心绿道武九线综合管廊工程开工,青山区多条道路通行规则有变...

楚天都市报10月29日(记者吴昌华 通讯员 李佳 陈菲)今日记者从武汉交管部门获悉,本周六,10月31日,武汉市江南中心绿道武九线综合管廊工程开始施工,青山区多条道路通行规则有变,部分道路禁止通行。交管部门提供详细绕行建…

深度学习框架再次升级,它们都有什么优点?

全世界只有3.14 % 的人关注了爆炸吧知识经过几年的发展,深度学习方法摧枯拉朽般地超越了传统方法,成为人工智能领域最热门的技术。之后,谷歌、亚马逊、百度、Facebook 纷纷开源了自己的深度学习框架。而支撑AlphaGo的核心技术架构--TensorFlo…

SQL Server 2005的安装,SQL Server 2005系列之一

最近复习SQL Server 2005,忽然有了写系列的打算,也不知道能不能写好,今天先写一篇关于SQL Server 2005的安装的博文吧。和往常一样,我们先来看看SQL Server 2005到底是个什么东西?SQL Server 2005是一种以高性能、高可靠性和可用性…

Quartz - 作业调度框架-插件化开发

背景大部分业务都是基于定时的任务,特别适合使用quartz这类框架解决定时问题。具体quartz的使用,看官方文档就可以了。下面谈谈对quartz插件化的封装。我们使用quartz.plugin。然后在quartz_jobs.xml方法里面定义了schedule,其中灵活的地方在…

cgi备份还原和ghost有什么区别_手动GHOST还原重装系统详细教程

一键重装虽好,但也不是万能的。俗语说:治标不治本。也许你懂得用各种一键备份还原工具重装,但不一定懂得手动GHOST重装。为此,吻妻为大家分享一下如何手动GHOST还原重装系统,本教程步骤虽多,但很多都是点“…

图解一步步安装SharePoint Foundation 2010

图解一步步安装SharePoint Foundation 2010 下载后在Windows Server 2008 R2上进行安装安装产品必须的一些组件,比原来好多了不用自己一个个下了。同意许可,此产品为不收费版本,不用序列号了!!!安装相关的…

MYSQ 查看 2 进制日志

方法 1: myqlbinlog filename; -----------------------------------------------------------------------------------------------------------------------------------------------

当身为老师的爸爸上课时......​

1 当身为老师的爸爸上课时......▼2 气氛突然微妙......▼3 隔壁的一家人都馋哭了!▼4 结束疫情隔离的你▼5 WOW!AMAZING!▼6 女孩子喜欢帅哥是不分年龄的▼‍‍7 单身狗又做错了什么呢?▼你点的每个赞,我都认真当成了喜欢

amos里CFA可行性辨别结果怎么看_论文用问卷调查法,数据分析怎么做?

论文问卷数据的分析,看起来简单,好像每个人都会做。但是做起来还真的有点难度。很多初次使用问卷调查方法的人大多以为,问卷数据分析嘛,无外乎对单选题做做频率分析,看看选择不同的选项的人占比有多少。对于评分题目&a…

Hello Blazor:(10)按需加载JavaScript脚本

前言Blazor支持执行JavaScript脚本,通常是将脚本放在wwwroot/index.html(Blazor WebAssembly)或Pages/_Host.cshtml(Blazor Server)中。但是,这种方式会将所有JS方法用全局函数加载,即使某些方法只需要在特定组件中使用。既影响加载性能&…

只有学霸才懂的学习技巧,看完脑洞大开,绝对涨姿势!

▲ 点击查看法国生物学家乔治.居维叶曾说:“天才,首先是注意力。”事实上,除开那些逆天的天才之外,大部分人的智商,在先天因素的决定下,都是差不多的。但是专注力却可以因为后天的刻意训练,而有…

解析邻居的耳朵音乐地址(单页下载)

偶尔听歌的时候发现了一个很小众的音乐分享网站,邻居的耳朵,有个人的电台类型,属于音乐分享文字分享,觉得很不错。从域名来看,属于多米旗下的网站:http://ear.duomi.com/ 看来多米收购了很多这样的小站&am…

为什么电脑不能打字_嘉兴在线丨「生活经济学」为什么笔记本电脑能在任何国家的供电标准下运作,其他大部分电器却不能?...

【生活热搜】从日本背回来的电饭煲煮饭口感总是不对,用几天就坏了;英国邮回来的吹风机怎么都插不上电源只能闲置……如果你有从国外买家用电器的经历,你一定会发现很多电器因为每个国家或地区的供电标准不同而无法正常使用的情况。但笔记本电…