Hbase读写数据的原理解析

  • 目录
  • 1、体系图
    • 写数据的流程(参考上图):
    • 读数据的流程(参考下图):

目录

1、体系图

这里写图片描述
针对上图的一些解释:
这里面数据分区(region)存储是为了查询方便(即因为是集群所以能充分利用磁盘的IO性)。添加数据时,数据先进入Hlog–预写日志(数据只能追加不能修改)<防止数据丢失>,数据在Hlog写完后再写到内存中
HFile:认为是将数据进行序列化。
StoreFile:认为是一个文件。
DFS:调用HDFS的客户端API来将数据传到HDFS。

写数据的流程(参考上图):

1、客户端向hregionServer请求写数据
2、hregionServer将数据先写入hlog中。
3、hregionServer将数据后写入memstore中。
4、当内存中的数据达到阈值64M的时候,将数据Flush到硬盘中,并同时删除内存和hlog中的历史数据。
5、将硬盘中数据通过HFile来序列化,再将数据传输到HDFS进行存储。并对Hlog做一个标记。
6、当HDFS中的数据块达到4块的时候,Hmaster将数据加载到本地进行一个合并(如果合并后数据的大小小于256M则当数据块再次达到4块时(包含小于256M的数据块)将最新4块数据块再次进行合并,此时数据块大于256M)。
7、若数据块大于256M,则将数据重新拆分,将分配后的region重新分配给不同的hregionServer进行管理。
8、当hregionServer宕机后,将hregionServer上的hlog重新分配给不同的hregionServer进行加载(修改.META文件中关于数据所在server的信息)。注意:hlog会同步到HDFS中。

读数据的流程(参考下图):

1、通过zk来获取ROOT表在那个节点上,然后进一步通过-ROOT表和-META表来获取最终的位置信息。
2、数据从内存和硬盘合并后返回到客户端。
这里写图片描述

PS:由上图可看到,当客户端在执行查询语句的时候,会先到zk上寻找对应-ROOT表(主要描述-META表在哪里)的位置信息(由此也知道ZK在Hbase中的作用),接下来根据-ROOT表中数据进而找到对应的HRegionServer,在对应的HRegionServer上的-META表(主要记载表的元数据信息)中找到对应的Table表在哪个HRegionServer上,再到对应的HRegionServer中查找对应的数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/456664.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

anaconda来创建python环境

Anacond下载 下载地址&#xff1a;https://www.anaconda.com/download/ 管理虚拟环境 接下来我们就可以用anaconda来创建我们一个个独立的python环境了.接下来的例子都是在命令行操作的,请打开你的命令行吧. activate activate 能将我们引入anaconda设定的虚拟环境中, 如果你后…

Zookeeper的简介及命令行操作

目录前言1、Zookeeper简介2、Zookeeper结构3、Zookeeper常用的命令行操作 总结&#xff1a; 目录 前言 作为一款第三方的协调服务框架&#xff0c;ZK被应用在许多地方&#xff0c;如&#xff1a;Hbase中用于存储-ROOT表的位置信息&#xff1b;Storm中用于保存任务分配的信息、…

移动端开发文章导航

1. 微信企业号 微信企业号 介绍微信企业号 获取AccessToken微信企业号 获取用户信息微信企业号 JS-SDK&#xff1a;上传图片2. 微信公众号 微信公众号 订阅号与服务号的区别微信公众号 几种移动端UI框架介绍转载于:https://www.cnblogs.com/polk6/p/6217835.html

打开cmd窗口新技巧get

1.在当前目录下&#xff0c;按住shift键点击右键,选择在此处打开命令窗口 很多时候我们需要打开命令行然后进入到相应目录进行一些操作。 常规的做法是: WinR打开运行窗口输入"cmd"回车打开命令行窗口 假如我们要进入的是D盘foo文件夹下的一个bar子文件夹&#xff0c…

【python】pycharm启动 一直index,无法运行

花了几个小时找相关资料&#xff0c;按网上提供答案操作&#xff0c;依然没有解决, 最后让它自动更新完才好&#xff08;大概更新了十分钟 有固态情况&#xff09; 参考链接 pycharm启动后总是不停的updating indices...indexing? pycharm 启动后一直更新index的问题

Zookeeper集群角色分配原理

ZK内部存在Leader和Follower两个角色&#xff0c;那么这两种角色是怎样划分呢&#xff1f;或者说是怎么样被选举出来呢&#xff1f;以下将详细介绍ZK内部的选举机制。 ZK是通过内部的选举算法来选出Leader。&#xff08;服务器需要配置对应的ID和文件&#xff09;如下图所示&a…

2016大数据发展7大趋势

1.算法&#xff08;Algorithms&#xff09;的崛起 大数据已过时&#xff0c;算法正当道。数据已经成为一种商品&#xff0c;每个组织都能够收集和存储大量的数据。分析大数据也不再那么引人注目了。每个组织都可以聘用或培训大数据分析人员来了解数据模式。 2016年&#xff0c;…

请编写一个方法,实现整数的乘法、减法和除法运算(这里的除指整除)。只允许使用加号。

方法思路 乘法&#xff1a;a*b就等于b个a相加。题目也说了不考虑性能。 减法&#xff1a;a-b就等于a(-1)*b;就等于a加上b的相反数&#xff0c;得到b的相反数就解决了。 除法&#xff1a;a/bn&#xff1b;就是说有n个b相加小于等于a;可以采用b一直加&#xff0c;直到大于a结束。…

MySQL数据库重点概要总结

目录前言&#xff1a;1、结构化查询语言(Structured Query Language)简称SQL。2、基本SELECT语句语法3、多表链接4、笛卡尔积5、ANSI SQL ANSI SQL&#xff1a;1999标准的连接语法6、单行函数和分组函数的区别&#xff1a;7、分组函数8、SQL语句的执行顺序&#xff1a;9、子查询…

《MySQL排错指南》——1.9 许可问题

本节书摘来自异步社区出版社《MySQL排错指南》一书中的第1章&#xff0c;第1.9节&#xff0c;作者&#xff1a;【美】Sveta Smirnova&#xff08;斯维特 斯米尔诺娃&#xff09;&#xff0c;更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.9 许可问题 MySQL有复杂的…

毕业半年,码过5个城市

时间飞逝&#xff0c;半年前我还在想我的毕业设计要怎么做&#xff0c;还在担心自己的答辩能够拿多少分&#xff0c;而此刻我正在成都写我喜欢的代码&#xff0c;过着我想过的生活。毕业半年&#xff0c;码过5个城市&#xff0c;从厦门->太原-》合肥-》北京-》成都。2016是我…

python ---单例(Singleton)

单例&#xff08;Singleton&#xff09; 单例是一种 设计模式 &#xff0c;应用该模式的类只会生成一个实例。 单例模式保证了在程序的不同位置都 可以且仅可以取到同一个对象实例 &#xff1a;如果实例不存在&#xff0c;会创建一个实例&#xff1b;如果已存在就会返回这个实例…

Oracle-11g-R2 RAC 环境下 GPnP Profile 文件

GPnP Profile 文件的作用&#xff1a; GPnP Profile 文件是一个保存于$GRID_HOME/gpnp/<hostname>/profiles/peer目录下的小型 XML 文件&#xff0c;名称为 profile.xml。其用于正确描述 RAC 每个节点的全局特性。每个节点上都会保存一个本地的 GPnP Profile&#xff0c;…

《Pro/ENGINEER野火版5.0从入门到精通》——2.5 设置零件单位

本节书摘来自异步社区《Pro/ENGINEER野火版5.0从入门到精通》一书中的第2章&#xff0c;第2.5节&#xff0c;作者 暴风创新科技&#xff0c;更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.5 设置零件单位 由于不同国家单位制的不相同&#xff0c;在企业间合作或沟通…

元类被称为 Python 中的“深奥的巫术“

元类被称为 Python 中的“深奥的巫术”。尽管你需要用到它的地方极少&#xff08;除非你基于 zope 编程&#xff09;&#xff0c;可事实上它的基础理论其实令人惊讶地易懂。 一切皆对象 一切都有类型 “class”和“type”之间本质上并无不同 类也是对象 它们的类型是 type 以…

机器学习之必知开源数据集

之前看到的不错的文章&#xff0c;玩机器学习数据是关键&#xff0c;有了这些东西&#xff0c;你就不必再为没有数据而苦恼。 转自&#xff1a;https://www.toutiao.com/i6432197108580745730/ 目录UCIGoogleTrendsKaggleAWS公用数据集ImagenetMINIST/r/数据集其他数据集 目录…

PHP中header函数的用法及其注意重点是什么呢

1、使用header函数进行跳转页面&#xff1b; header(Location:.$url);  其中$url就是将要跳转的url了。 这种用法的注意事项有以下几点&#xff1a; •Location和":"之间不能有空格&#xff0c;否则会出现错误&#xff08;注释&#xff1a;我刚测试了&#xff0c;在…

《计算机科学概论》—第3章3.3节文本表示法

本节书摘来自华章出版社《计算机科学概论》一书中的第3章&#xff0c;第3.3节文本表示法&#xff0c;作者&#xff3b;美]内尔黛尔&#xff08;Nell Dale&#xff09;约翰路易斯&#xff08;John Lewis&#xff09;&#xff0c;更多章节内容可以访问云栖社区“华章计算机”公众…

习题

# -*- coding: utf-8 -*- # Time : 2019/08/08 17:38 # Author : Liu # File : zuoye.py# 一、 # 将此功能定义成一个函数&#xff0c; # 电脑随机生成1~100随机数&#xff0c;用户输入一个数字&#xff0c;电脑提示用户大或者小&#xff0c;猜错&#xff0c;继续提示&a…

经典技术面试指南

目录计算机基础知识数据结构算法操作系统计算机网络数据库海量数据处理C语言基础Java基础Java高级Java Web设计模式知识的综合能力工具使用项目相关技术热情表达能力思考方式其他推荐阅读 目录 最近看到一份不错的面试总结&#xff0c;也是每位程序猿都应该掌握的基础&#x…