Google File System 学习笔记

GFS翻译:https://www.cnblogs.com/cxxjohnson/p/4984309.html

 

一、GFS架构:

二、保存文件的方式

1、保存小文件:磁盘中分块,每个block大小为1024Byte,每个文件的索引由块号+偏置组成

2、保存大文件:把block换成chunk,每个chunk为64MB.

3、保存超大数据:把chunk放在不同的chunk服务器上,有一个Master服务器存放所有chunk所在的ChunkServer编号。每个chunkserver保存每个chunk在其中的偏移量。

 

三、ChunkServer和Master服务器

1、如何发现数据损坏

  • 每一个block都保存32bit校验信息

2、减少ChunkServer挂掉带来的损失

  • 保存额外两个chunk副本

  • 选择硬盘利用率低的但是不能把新的chunk都写在一个硬盘上,避免形成热点

  • 2+1:跨数据中心,在一个数据中心中放在不同的机架上

3、chunkserver损坏的解决方法:

  • 向master报告损坏的数据块

  • master返回其他副本的chunkserver号

  • 向最近的副本请求受损chunk

4、如何发现chunkserver挂掉

心跳:定时向master报告存活

 

5、应对热点

 

四、读文件过程

 

五、写文件过程

  1. 向Master询问chunkserver位置

  2. 向最近的chunkserver写文件

  3. chunkserver之间高速同步(只写在cache里)

  4. 由主chunkserver发出写命令

  5. 副本通知主chunkserver写成功

  6. 通知应用写成功

 

 

 

转载于:https://www.cnblogs.com/pihaochen/p/10968387.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/536419.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

探讨奇技淫巧

2019独角兽企业重金招聘Python工程师标准>>> 探讨奇技淫巧 起源 在工程实践中,我们常常会遇到一些奇技淫巧。所谓奇技淫巧,就是官方在设计或者实践中并未想象出的代码风格或者使用场景。其实也就是类似于 react 的 hoc,本来源自于社区&#x…

悼念512汶川大地震遇难同胞——选拔志愿者【博奕】

悼念512汶川大地震遇难同胞——选拔志愿者 Time Limit: 1000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 11716 Accepted Submission(s): 7537 Problem Description 对于四川同胞遭受的灾难,全国人民纷纷伸出援…

mall整合SpringBoot+MyBatis搭建基本骨架

本文主要讲解mall整合SpringBootMyBatis搭建基本骨架,以商品品牌为例实现基本的CRUD操作及通过PageHelper实现分页查询。 mysql数据库环境搭建 下载并安装mysql5.7版本,下载地址:dev.mysql.com/downloads/i…设置数据库帐号密码:r…

Web框架之Django_01初识(三大主流web框架、Django安装、Django项目创建方式及其相关配置、Django基础三件套:HttpResponse、render、redirect)...

摘要: Web框架概述 Django简介 Django项目创建 Django基础必备三件套(HttpResponse、render、redirect) 一、Web框架概述: Python三大主流Web框架: Django:大而全,自带了很多功能模块,类似于航空母舰&am…

Bone Collector【01背包】

F - Bone Collector HDU - 2602 Many years ago , in Teddy’s hometown there was a man who was called “Bone Collector”. This man like to collect varies of bones , such as dog’s , cow’s , also he went to the grave … The bone collector had a big bag wit…

Gamma阶段第八次scrum meeting

每日任务内容 队员昨日完成任务明日要完成的任务张圆宁#91 用户体验与优化https://github.com/rRetr0Git/rateMyCourse/issues/91(持续完成)#91 用户体验与优化https://github.com/rRetr0Git/rateMyCourse/issues/91牛宇航#86 重置密码的后端逻辑https:/…

【动态规划】多重背包

问题 Q: 【动态规划】多重背包 时间限制: 1 Sec 内存限制: 64 MB 提交: 112 解决: 49 [提交] [状态] [讨论版] [命题人:admin] 题目描述 张琪曼:“魔法石矿里每种魔法石的数量看起来是足够多,但其实每种魔法石的数量是有限的。” 李旭琳:…

【动态规划】完全背包问题

问题 O: 【动态规划】完全背包问题 时间限制: 1 Sec 内存限制: 64 MB 提交: 151 解决: 71 [提交] [状态] [讨论版] [命题人:admin] 题目描述 话说张琪曼和李旭琳又发现了一处魔法石矿(运气怎么这么好?各种嫉妒羡慕恨啊),她们有…

springboot超级详细的日志配置(基于logback)

前言 java web 下有好几种日志框架,比如:logback,log4j,log4j2(slj4f 并不是一种日志框架,它相当于定义了规范,实现了这个规范的日志框架就能够用 slj4f 调用)。其中性能最高的应该使…

【动态规划】简单背包问题II

问题 J: 【动态规划】简单背包问题II 时间限制: 1 Sec 内存限制: 64 MB 提交: 127 解决: 76 [提交] [状态] [讨论版] [命题人:admin] 题目描述 张琪曼:“为什么背包一定要完全装满呢?尽可能多装不就行了吗?” 李旭琳:“你说得…

Vue组件通信

前言 Vue组件之间的通信 其实是一种非常常见的场景 不管是业务逻辑还是前段面试中都是非常频繁出现的 这篇文章将会逐一讲解各个传值的方式 不过在此之前 先来总结一下各个传值方式吧 1.父组件向子组件传值 > props2.子组件向父组件传值 > $emit3.平级组件传值 > 总线…

【动态规划】0/1背包问题

问题 H: 【动态规划】0/1背包问题 时间限制: 1 Sec 内存限制: 64 MB 提交: 152 解决: 95 [提交] [状态] [讨论版] [命题人:admin] 题目描述 张琪曼和李旭琳有一个最多能用m公斤的背包,有n块魔法石,它们的重量分别是W1,W2,…&a…

猫哥教你写爬虫 005--数据类型转换-小作业

小作业 程序员的一人饮酒醉 请运用所给变量,使用**str()**函数打印两句话。 第一句话:1人我编程累, 碎掉的节操满地堆 第二句话:2眼是bug相随, 我只求今日能早归 number1 1 number2 2 unit1 人 unit2 眼 line1 我编程累 line2 是bug相…

索引失效

转载于:https://blog.51cto.com/11009785/2406488

棋盘问题【深搜】

棋盘问题 POJ - 1321 在一个给定形状的棋盘(形状可能是不规则的)上面摆放棋子,棋子没有区别。要求摆放时任意的两个棋子不能放在棋盘中的同一行或者同一列,请编程求解对于给定形状和大小的棋盘,摆放k个棋子的所有可行…

python isinstance()

isinstanceisinstance(object, classinfo) 判断实例是否是这个类或者object是变量 classinfo 是类型(tuple,dict,int,float) 判断变量是否是这个类型 举例: class objA: pass A objA() B a,v C a string print isinstance(A, objA) #注意该用法 print isinst…

P1303 A*B Problem 高精度乘法

复习了一下高精乘 #include<bits/stdc.h> using namespace std; const int maxn1e67; char a1[maxn],b1[maxn]; int a[maxn],b[maxn],c[maxn*10],lena,lenb,lenc,x; int main() {scanf("%s",a1);scanf("%s",b1);lenastrlen(a1);lenbstrlen(b1);for(i…

Catch That Cow【广搜】

Catch That Cow POJ - 3278 Farmer John has been informed of the location of a fugitive cow and wants to catch her immediately. He starts at a point N (0 ≤ N ≤ 100,000) on a number line and the cow is at a point K (0 ≤ K ≤ 100,000) on the same number l…

Go2Shell 已无法使用

在更新 Mac 系统时提醒了这个, 像我一样对 Go2Shell 中毒的人来说, 这是无法忍受的。貌似 Go2Shell 没有升级&#xff0c;没有办法&#xff0c;就直接找来了一个替代品。cd to, 下载入口如下&#xff1a;目前感觉良好。 转载于:https://juejin.im/post/5cfe82e15188252b1b0366e…

Fliptile【搜索】

Fliptile POJ - 3279 Farmer John knows that an intellectually satisfied cow is a happy cow who will give more milk. He has arranged a brainy activity for cows in which they manipulate an M N grid (1 ≤ M ≤ 15; 1 ≤ N ≤ 15) of square tiles, each of which…