高可用性的HDFS—Hadoop分布式文件系统深度实践

《高可用性的HDFS—Hadoop分布式文件系统深度实践》
基本信息
作者: 文艾 王磊
出版社:清华大学出版社
ISBN:9787302282587
上架时间:2012-5-14
出版日期:2012 年5月
开本:16开
页码:371
版次:1-1
所属分类: 计算机 > 软件与程序设计 > 分布式系统设计
 

更多详情 》》》高可用性的HDFS—Hadoop分布式文件系统深度实践
内容简介
计算机书籍
   《高可用性的hdfs—hadoop分布式文件系统深度实践》专注于hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元 数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新的ha解决方案cloudrea ha name node等。其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍,同时还总结 了各种异常情况下avatarnode的各种处理方案。
  《高可用性的hdfs—hadoop分布式文件系统深度实践》从代码入手并结合情景分析、案例解说对hdfs的元数据以及主流的hdfs ha解决方案的运行机制进行了深入剖析,力求使读者在解决问题时做到心中有数,不仅知其然还知其所以然。
  本书光盘包含本书部分操作的视频教程以及所有源代码、脚本等开发文件。
  《高可用性的hdfs—hadoop分布式文件系统深度实践》读者主要为云计算相关领域的研发人员、云计算系统管理维护人员,也适合作为高校研究生和高年级本科生的专业课辅助教材。
目录
《高可用性的hdfs—hadoop分布式文件系统深度实践》
第1章 hdfs ha及解决方案 1
1.1 hdfs系统架构 2
1.2 ha定义 3
1.3 hdfs ha原因分析及应对措施 4
1.3.1 可靠性 4
1.3.2 可维护性 5
1.4 现有hdfs ha解决方案 5
1.4.1 hadoop的元数据备份方案 6
1.4.2 hadoop的secondarynamenode方案 7
1.4.3 hadoop的checkpoint ode方案 7
1.4.4 hadoop的backupnode方案 8
1.4.5 drdb方案 9
1.4.6 facebook的avatarnode方案 10
1.5 方案优缺点比较 10
第2章 hdfs元数据解析 13
2.1 概述 14
2.2 内存元数据结构 14
2.2.1 inode 15
2.2.2 block 16

.2.2.3 blockinfo和datanodedescriptor 17
2.2.4 小结 17
2.2.5 代码分析——元数据结构 18
2.3 磁盘元数据文件 24
2.4 format情景分析 27
2.5 元数据应用场景分析 45
第3章 hadoop的元数据备份方案 47
3.1 运行机制分析 48
3.1.1 namenode启动加载元数据情景分析 50
3.1.2 元数据更新及日志写入情景分析 64
3.1.3 checkpoint过程情景分析 73
3.1.4 元数据可靠性机制 109
3.1.5 元数据一致性机制 110
3.2 使用说明 110
第4章 hadoop的backup node方案 113
4.1 backup node概述 114
4.1.1 系统架构 115
4.1.2 使用原则 115
4.1.3 优缺点 116
4.2 运行机制分析 116
4.2.1 启动流程 117
4.2.2 元数据操作情景分析 141
4.2.3 日志池(journal spool)机制 151
4.2.4 故障切换机制 156
4.3 实验方案说明 158
4.4 构建实验环境 158
4.4.1 网络拓扑 159
4.4.2 系统安装及配置 160
4.4.3 安装jdk 170
4.4.4 虚拟机集群架设 171
4.4.5 namenode安装及配置 173
4.4.6 backup node安装及配置 173
4.4.7 data node安装及配置 174
4.4.8 clients安装及配置 175
4.5 异常解决方案 175
4.5.1 异常情况分析 175
4.5.2 namenode配置 175
4.5.3 backup node配置 182
4.5.4 data node配置 185
4.5.5 namenode宕机切换实验 189
4.5.6 namenode宕机读写测试 196

第5章 avatarnode运行机制 205
5.1 方案说明 206
5.1.1 系统架构 206
5.1.2 思路分析 208
5.1.3 性能数据 209
5.2 元数据分析 209
5.2.1 类fsnamesystem 210
5.2.2 类fsdirectory 210
5.2.3 avatarnode的磁盘元数据文件 211
5.3 avatarnode primary启动过程 211
5.4 avatarnode standby启动过程 217
5.4.1 avatarnode的构造方法 217
5.4.2 standby线程的run()方法 218
5.4.3 ingest线程的run()方法 220
5.4.4 ingest线程的ingestfsedits ()方法 220
5.4.5 standby线程的docheckpoint()方法 221
5.5 用户操作情景分析 223
5.5.1 创建目录情景分析 223
5.5.2 创建文件情景分析 231
5.6 avatarnode standby故障切换过程 240
5.7 元数据一致性保证机制 242
5.7.1 元数据目录树信息 242
5.7.2 data node与block数据块映射信息 243
5.8 block更新同步问题 246
5.8.1 问题描述 246
5.8.2 结论 246
5.8.3 源码分析 246
第6章 avatarnode使用 253
6.1 方案说明 254
6.1.1 网络拓扑 254
6.1.2 操作系统安装及配置 255
6.2 使用avatar打补丁版本 255
6.2.1 hadoop源码联机build 256
6.2.2 hadoop源码本地build 262
6.2.3 nfs服务器构建 264
6.2.4 avatar分发与部署 267
6.2.5 primary(namenode0)节点配置 269
6.2.7 data node节点配置 276
6.2.8 client节点配置 278
6.2.9 创建目录 279
6.2.10 挂载nfs 280
6.2.11 启动ucarp 280
6.2.12 格式化 281
6.2.13 系统启动 281
6.2.14 检查 282
6.2.15 namenode失效切换写文件实验 283
6.2.16 namenode失效切换读文件实验 291
6.3 avatar facebook版本的使用 294
6.3.1 hadoop facebook版本安装 294
6.3.2 节点配置 295
6.3.3 启动hdfs 300
6.3.4 namenode失效切换 302
第7章 avatarnode异常解决方案 305
7.1 测试环境 306
7.2 primary失效 306
7.2.1 解决方案 306
7.2.2 写操作实验步骤 307
7.2.3 改进写操作机制 313
7.2.4 读操作实验步骤 313
7.2.5 小结 317
7.3 standby失效 317
7.4 nfs失效(数据未损坏) 317
7.4.1 解决方案 317
7.4.2 写操作实验步骤 318
7.4.3 读操作实验步骤 320
7.4.4 小结 322
7.5 nfs失效(数据已损坏) 323
7.5.1 解决方案 323
7.5.2 写操作实验步骤 324
7.5.3 读操作实验步骤 327
7.5.4 小结 330
7.6 primary先失效,nfs后失效(数据未损坏) 331
7.6.1 解决方案 331
7.6.2 写操作实验步骤 331
7.6.3 读操作实验步骤 333
7.6.4 小结 334
7.7 primary先失效(数据未损坏),nfs后失效(数据损坏) 335
7.7.1 解决方案 335
7.7.2 写操作实验步骤 335
7.7.3 读操作实验步骤 338
7.7.4 小结 339
7.8 nfs先失效(数据未损坏),primary后失效 340
7.8.1 解决方案 340
7.8.2 写操作实验步骤 340
7.8.3 读操作实验步骤 342
7.8.4 小结 343
7.9 nfs先失效(数据损坏),primary后失效(数据损坏) 344
7.9.1 解决方案 344
7.9.2 写操作实验步骤 344
7.9.3 读操作实验步骤 346
7.9.4 小结 348
7.10 实验结论 348
第8章 cloudera ha namenode使用 349
8.1 ha namenode说明 350
8.2 cdh4b1版本hdfs集群配置 351
8.2.1 虚拟机安装 351
8.2.2 nn1配置 351
8.2.3 dn1~dn3配置 355
8.2.4 hdfs集群构建 358
8.3 ha namenode配置 361
8.3.1 nn1配置 361
8.3.2 其他节点配置 365
8.4 ha namenode使用 367
8.4.1 启动ha hdfs集群 367
8.4.2 第1次failover 368
8.4.3 模拟写操作 368
8.4.4 模拟active name node失效,第2次failover 369
8.3.5 模拟新的standby namenode加入 370
8.5 小结 371
本图书来源:中国互动出版网

转载于:https://www.cnblogs.com/china-pub/archive/2012/05/21/2511779.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/462113.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

推荐:解析“extern”

http://blog.csdn.net/keensword/article/details/401114 写的很不错转载于:https://www.cnblogs.com/ATually/archive/2012/04/05/2432826.html

【字符串问题】求一个字符串中重复出现的最长的子串

2013-09-14 15:34:16 用后缀数组求一个字符串中重复出现的最长的子串。 用C中的string类可以很方便地进行操作&#xff0c;需将后缀数组保存在vector<string>&#xff0c;如下面代码中的string版本所示&#xff0c;但这样就会因为<string>有很大的开销&#xff1b;…

关于scanf和的问题

简单地说&#xff0c;如果使用scanf函数把一个字符串读进一个字符数组中&#xff0c;不要使用&&#xff1b;读取其他基本变量类型时&#xff0c;在变量名之前添加&。或者说&#xff0c;字符串名字本身就是一个地址了&#xff0c;所以不用取地址符。 如以下代码&#xf…

Oracle lower() Upper()函数

即将某字段信息中的字母转成小写、大写的方法。 将 user表里的user_name字段信息中含有字母的全部转成大写的方法&#xff1a; update user set  user_nameUpper(user_name) 同理得到将 user表里的user_name字段信息中含有字母的全部转成小写的方法&#xff1a; update user …

【作品】超级玛丽射击版

【下载地址】稍后上传 【以下内容摘自试验报告&#xff0c;可能狗屁不通&#xff0c;尽情谅解】 &#xff0d;游戏介绍: 简单的射击游戏,键盘控制动作[角色的移动,跳跃等],鼠标控制攻击的位置方向, 单击鼠标即射击,同时可以设置游戏规定时间,时间到则结束游戏. &#xff0d;游戏…

嵌入式系统Linux内核开发工程师必须掌握的三十道题

嵌入式系统Linux内核开发工程师必须掌握的三十道题 如果你能正确回答以下问题并理解相关知识点原理&#xff0c;那么你就可以算得上是基本合格的Linux内核开发工程师&#xff0c;试试看&#xff01; 1) Linux中主要有哪几种内核锁&#xff1f; Linux的内核锁主要是自旋锁和信号…

MySQL锁的用法之行级锁

2019独角兽企业重金招聘Python工程师标准>>> 行级锁是MySQL中粒度最小的一种锁&#xff0c;他能大大减少数据库操作的冲突。但是粒度越小&#xff0c;实现的成本也越高。MYISAM引擎只支持表级锁&#xff0c;而INNODB引擎能够支持行级锁&#xff0c;下面的内容也是针…

matlab中二维插值函数interp2的使用

下面是一段产生log-normal分布的代码&#xff0c;以此进行说明。 clear all; clc; for t1:100Traffic(t) curve(t); end MaxTraffic max(Traffic); w 0.2; Wmax 2*pi*w/3000; x[0:10:300]; y[0:10:300]; Nxlength(x); Nylength(y); Sigma 0.53; t 0&#xff1b; M 10*cu…

8天玩转并行开发——第五天 同步机制(下)

承接上一篇&#xff0c;我们继续说下.net4.0中的同步机制&#xff0c;是的&#xff0c;当出现了并行计算的时候&#xff0c;轻量级别的同步机制应运而生&#xff0c;在信号量这一块 出现了一系列的轻量级&#xff0c;今天继续介绍下面的3个信号量 CountdownEvent&#xff0c;Se…

hive中not in优化

比如&#xff1a;A,B两表&#xff0c;找到ID字段中&#xff0c;存在A表&#xff0c;但不存在B表的数据。A表共13w&#xff0c;去重后3w,B表共2W&#xff0c;且有索引方法一not in&#xff0c;易理解&#xff0c;效率低&#xff0c;时间&#xff1a;1.395sselect distinct A.id …

Quartz 2D编程笔记

当我们需要在一个图形上下文中构建一个路径时&#xff0c;我们需要调用CGContextBeginPath来标记Quartz。然后&#xff0c;我们调用函数CGContextMovePoint来设置每一个图形或子路径的起始点。在构建起始点后&#xff0c;我们可以添加直线、弧、曲线。记住如下规则&#xff1a;…

bitmap算法

博文转载于http://www.cnblogs.com/dyllove98/archive/2013/07/26/3217741.html概述所谓bitmap就是用一个bit位来标记某个元素对应的value&#xff0c;而key即是这个元素。由于采用bit为单位来存储数据&#xff0c;因此在可以大大的节省存储空间算法思想 32位机器上&#xff0c…

Ubuntu下如何解压缩zip,tar,tar.gz,tar.bz2文件

tar解包&#xff1a;tar xvf FileName.tar打包&#xff1a;tar cvf FileName.tar DirName&#xff08;注&#xff1a;tar是打包&#xff0c;不是压缩&#xff01;&#xff09;———————————————.gz解压1&#xff1a;gunzip FileName.gz解压2&#xff1a;gzip -d F…

SELECT INTO 和 INSERT INTO SELECT 两种表复制语句

Insert是T-sql中常用语句&#xff0c;Insert INTO table(field1,field2,...) values(value1,value2,...)这种形式的在应用程序开发中必不可少。但我们在开发、测试过程中&#xff0c;经常会遇到需要表复制的情况&#xff0c;如将一个table1的数据的部分字段复制到table2中&…

向前插入迭代器

**向前插入迭代器&#xff0c;是架构在具有push_front向前插入函数的序列容器&#xff08;比如deque list&#xff09;上的输出迭代器&#xff0c;可以利用*改迭代器提供的“”&#xff0c;“*”&#xff0c;“”以“*fii9;”的类似的形式完成容器元素的赋值。**其中“*”和&qu…

Discuz!X集群部署的系统方案和改造方式讨论

多WEB部署时&#xff0c;面临的核心问题是WEB服务器间的数据共享和同步。就数据存储的方式而言&#xff0c;Discuz数据包含两部分&#xff0c;一部分存储在MySQL数据库中&#xff08;用户、帖子等文本类、结构化的数据&#xff09;&#xff0c;一部分存储为文件&#xff08;附件…

static和extern的用法总结

static用法见&#xff1a; 1、http://www.cnblogs.com/yezhenhan/archive/2011/10/31/2229724.html2、http://www.52rd.com/Blog/Detail_RD.Blog_imjacob_5297.htmlextern用法&#xff1a;1、http://blog.csdn.net/cameracanon/article/details/40614192、http://blog.csdn.net…

给vmware虚拟机中的ubuntu 14.04扩大磁盘分区

一.先取得root 权限 $ su - root Password: su: Authentication failure Sorry. 这时候输入 $ sudo passwd root Enter new UNIX password: Retype new UNIX password: passwd: password updated successfully 这时候就可以进入根目录了。 二.具体安装步骤 用VMware安装了一…

个人管理 - 书籍推荐(待读)

在《个人管理 &#xff0d; 书籍推荐&#xff08;已读&#xff09;》中推荐了一些书籍&#xff0c;有些人从中选取了一些&#xff0c;但其实还有很多好书我还没有读&#xff0c;为了给大家更多选择&#xff0c;我把我欠下的书债也贴上来。由于豆瓣还没有提供书列表的功能&#…

windows7旗舰版序列号[经测试,第一枚即可完成升级!]

windows7旗舰版序列号[经测试&#xff0c;第一枚即可完成升级!] 第一枚&#xff1a;TFP9Y-VCY3P-VVH3T-8XXCC-MF4YK 第二枚&#xff1a;KH2J9-PC326-T44D4-39H6V-TVPBY 第三枚&#xff1a;C4M9W-WPRDG-QBB3F-VM9K8-KDQ9Y 第四枚&#xff1a;J783Y-JKQWR-677Q8-KCXTF-BHWGC 第五…