Google File System 学习笔记

GFS翻译:https://www.cnblogs.com/cxxjohnson/p/4984309.html

 

一、GFS架构:

二、保存文件的方式

1、保存小文件:磁盘中分块,每个block大小为1024Byte,每个文件的索引由块号+偏置组成

2、保存大文件:把block换成chunk,每个chunk为64MB.

3、保存超大数据:把chunk放在不同的chunk服务器上,有一个Master服务器存放所有chunk所在的ChunkServer编号。每个chunkserver保存每个chunk在其中的偏移量。

 

三、ChunkServer和Master服务器

1、如何发现数据损坏

  • 每一个block都保存32bit校验信息

2、减少ChunkServer挂掉带来的损失

  • 保存额外两个chunk副本

  • 选择硬盘利用率低的但是不能把新的chunk都写在一个硬盘上,避免形成热点

  • 2+1:跨数据中心,在一个数据中心中放在不同的机架上

3、chunkserver损坏的解决方法:

  • 向master报告损坏的数据块

  • master返回其他副本的chunkserver号

  • 向最近的副本请求受损chunk

4、如何发现chunkserver挂掉

心跳:定时向master报告存活

 

5、应对热点

 

四、读文件过程

 

五、写文件过程

  1. 向Master询问chunkserver位置

  2. 向最近的chunkserver写文件

  3. chunkserver之间高速同步(只写在cache里)

  4. 由主chunkserver发出写命令

  5. 副本通知主chunkserver写成功

  6. 通知应用写成功

 

 

 

转载于:https://www.cnblogs.com/pihaochen/p/10968387.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/536419.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

探讨奇技淫巧

2019独角兽企业重金招聘Python工程师标准>>> 探讨奇技淫巧 起源 在工程实践中,我们常常会遇到一些奇技淫巧。所谓奇技淫巧,就是官方在设计或者实践中并未想象出的代码风格或者使用场景。其实也就是类似于 react 的 hoc,本来源自于社区&#x…

Web框架之Django_01初识(三大主流web框架、Django安装、Django项目创建方式及其相关配置、Django基础三件套:HttpResponse、render、redirect)...

摘要: Web框架概述 Django简介 Django项目创建 Django基础必备三件套(HttpResponse、render、redirect) 一、Web框架概述: Python三大主流Web框架: Django:大而全,自带了很多功能模块,类似于航空母舰&am…

Bone Collector【01背包】

F - Bone Collector HDU - 2602 Many years ago , in Teddy’s hometown there was a man who was called “Bone Collector”. This man like to collect varies of bones , such as dog’s , cow’s , also he went to the grave … The bone collector had a big bag wit…

Gamma阶段第八次scrum meeting

每日任务内容 队员昨日完成任务明日要完成的任务张圆宁#91 用户体验与优化https://github.com/rRetr0Git/rateMyCourse/issues/91(持续完成)#91 用户体验与优化https://github.com/rRetr0Git/rateMyCourse/issues/91牛宇航#86 重置密码的后端逻辑https:/…

索引失效

转载于:https://blog.51cto.com/11009785/2406488

WordPress忘记密码的5种解决方法

为什么80%的码农都做不了架构师?>>> 无意中忘记wordpress的密码了,恰巧在后台又没来得及设置邮件,只好四处苦寻解决办法,还好总算找到了…… 1. WordPress内置的找加密码方法 如果你的admin帐户的电子邮件地址是正确的…

在linux上执行.net Console apps

为什么80%的码农都做不了架构师?>>> 有个程序,在.net下写了半天,总算跑起来了,发现有个问题,在windows上不好弄,而同事前一段时间已经有Linux下的解决方法了,于是想直接将.net程序放…

Android4.0设置界面修改总结

为什么80%的码农都做不了架构师?>>> 笔者前段时间完成设置的圆角item风格的修改,但最近,客户新增需求,想把设置做成Tab风格的,没办法,顾客就是上帝,咱得改啊。今天算是初步改完了&a…

Android之仿网易V3.5新特性

为什么80%的码农都做不了架构师?>>> 最近,网易新闻更新到V3.5了,给我印象最深的是第一次进应用时显示新特性的ViewPager变成垂直滑动了。于是,小小的模仿了一下,我们来看看效果: 本文源码下载地…

Android_内存泄露

2019独角兽企业重金招聘Python工程师标准>>> 1.资源对象没关闭造成的内存泄漏 描述: 资源性对象比如(Cursor,File文件等)往往都用了一些缓冲,我们在不使用的时候,应该及时关闭它们,以…

CYQ.Data 轻量数据层之路 使用篇三曲 MAction 取值赋值(十四)

2019独角兽企业重金招聘Python工程师标准>>> 上一篇:CYQ.Data 轻量数据层之路 使用篇二曲 MAction 数据查询(十三) 内容概要 本篇继续上一篇内容,本节介绍所有取值与赋值的相关操作。1:原生:像操作Row一样…

CYQ.Data 数据框架 发放V1.5版本源码

2019独角兽企业重金招聘Python工程师标准>>> 本篇的内容很简单,就发放V1.5版本源码,同时补充了所有发布版本的API文档。 具体相关下载地址见: 秋色园下载中心:http://www.cyqdata.com/download/article-detail-426 如何…

爱说说技术原理:与TXT交互及MDataTable对Json的功能扩展(二)

2019独角兽企业重金招聘Python工程师标准>>> 关于爱说说在技术选型的文章见:"爱说说"技术原理方案的定选思考过程 本篇将讲述“爱说说”比较重大的技术问题点及解决手段: 爱说说:http://speak.cyqdata.com/ 杂说几句&am…

如何制作VSPackage的安装程序

2019独角兽企业重金招聘Python工程师标准>>> 第一步,生成一个REG文件: 收钱进入目录: C:\Program Files\Microsoft Visual Studio 2008 SDK\VisualStudioIntegration\Tools\Bin 这是SDK的目录,使用regpkg.exe 命令 命令格式为: …

MyBatis学习总结(1)——MyBatis快速入门

2019独角兽企业重金招聘Python工程师标准>>> 一、Mybatis介绍 MyBatis是一个支持普通SQL查询,存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装。MyBatis可以使用简单的XML或注解用于配置和…

MyEclipse+Tomcat+MAVEN+SVN项目完整环境搭建

2019独角兽企业重金招聘Python工程师标准>>> 这次换了台电脑,所以需要重新配置一次项目开发环境,过程中的种种,记录下来,便于以后再次安装,同时给大家一个参考。 1.JDK的安装 首先下载JDK,这个从…

Java基础学习总结(10)——static关键字

2019独角兽企业重金招聘Python工程师标准>>> 一、static关键字 原来一个类里面的成员变量,每new一个对象,这个对象就有一份自己的成员变量,因为这些成员变量都不是静态成员变量。对于static成员变量来说,这个成员变量只…

ActiveMQ学习总结(3)——spring整合ActiveMQ

2019独角兽企业重金招聘Python工程师标准>>> 1.参考文献 Spring集成ActiveMQ配置Spring JMS异步发收消息 ActiveMQ2.环境 在前面的一篇 ActiveMQ入门实例中我们实现了消息的异步传送,这篇博文将如何在spring环境下集成ActiveMQ。如果要在spring下集成Act…

堆树

一、堆树的定义 堆树的定义如下: (1)堆树是一颗完全二叉树; (2)堆树中某个节点的值总是不大于或不小于其孩子节点的值; (3)堆树中每个节点的子树都是堆树。 当父节点的键…

问题 G: 区间权值

问题 G: 区间权值 时间限制: 1 Sec 内存限制: 128 MB 提交: 112 解决: 49 [提交] [状态] [讨论版] [命题人:admin] 题目描述 小Bo有n个正整数a1..an,以及一个权值序列w1…wn,现在他定义 现在他想知道的值,需要你来帮帮他 你只需要输出答案…