Hbase rowkey设计原则,热点问题

rowKey的作用

  1. 读写数据时通过 RowKey 找到对应的 Region;
  2. MemStore 中的数据按 RowKey 字典顺序排序;
  3. HFile 中的数据按 RowKey 字典顺序排序。

rowkey设计原则

  1. 唯一性:类似于MySQL、Oracle中的主键,用于标示唯一的行;
  2. 随机性:有效解决hbase热点问题,避免大量客户端只访问一个或几个节点;
  3. 长度设计:越短越好,8字节的整数倍利用了操作系统的最佳特性。如太长会影响HFile的存储效率;且MemStore将缓存部分数据到内存,内存的有效利用率会降低,检索效率低。

解决hbase热点问题

  即增加rowkey的随机性,常见一下三种做法:

  • 反转:如手机号或者时间等,开始位相似性较高,手机号第一位都是1,结束位有一定随机性,做rowkey时反转即可
  • 加盐:在rowkey前加随机数
  • hash处理:建议使用MD5

 


        你是砍柴的,他是放羊的,你和他聊了一天,你们决定合作一起开个烤全羊的店,你的柴烤出来的羊很美味,他的羊纯天然的,几年后你们公司上市了...

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/494930.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MEF: MSDN 杂志上的文章(15) 拒绝【多个导出,但只用一个导入,会拒绝,但还是稳定的组合】...

http://msdn.microsoft.com/zh-cn/magazine/ee291628.aspx转载于:https://www.cnblogs.com/Ken-Cai/archive/2012/06/22/2558978.html

全球11个行业、71家知名企业的创新Lab与布局

来源:CBInsights新技术的革新引发了商业世界重构的浪潮,在这一波由人工智能引领的创新潮流里唯有拥抱变化才能不为时代淘汰,顺应趋势取得更大的发展。新技术的革新引发了商业世界重构的浪潮,在这一波由人工智能引领的创新潮流里唯…

组队竞赛

题目解析: 队伍的水平值等于该队伍队员中第二高水平值,为了所有队伍的水平值总和最大的解法,也就是说每个队伍的第二个值是尽可能大的值。所以实际值把最大值放到最右边,最小是放到最左边。 解题思路: 本题的主要思路是…

【SD】差异值 生成 同一人物 制作 表情包 【1】

说明:只对AI生成的人物,效果稳定。 Reference差异值 生成表情 首先生成一张图片。 测试命令:1 man,chibi,full body, 模型:envyclarityxl02_v10.safetensors [f6c13197db] 种子:2704867166 》》测试命令&#xff1a…

MySQL索引原理、失效情况

声明:本文是小编在学习过程中,东拼西凑整理,如有雷同,纯属借鉴。 Mysql5.7的版本, InnoDB引擎 目录 1 mysql索引知识 1.1 BTree索引 1.2 主键索引和普通索引的区别 1.3 唯一索引vs普通索引 2 mysql索引优化 2.1 查看索引使…

2018年人工智能全景图与发展趋势分析

来源:专知摘要:风险资本家马特图尔克(Matt Turck)最近发布文章,能力越大,责任越大,介绍了大数据与人工智能在2018年发展的趋势,并发布了全景图,涵盖基础架构、开源框架、…

李晨 | 无人机市场浅析

来源:无人机作者简介:西北工业大学民用无人机研发中心副主任无人机市场浅析无人机市场分类过去无人机一直是军用为主,不论是伊拉克战争还是好莱坞大片,无人机在执行军事任务方面起到了不可替代的作用。在2010年以前,军…

[转载] 财经郎眼20120423:长点心吧“两桶油”!

转载于:https://www.cnblogs.com/6DAN_HUST/archive/2012/06/24/2559970.html

linux 监控网络IO、磁盘、CPU、内存

linux 监控网络IO、磁盘、CPU、内存 CPU:vmstat ,sar –u,top磁盘IO:iostat –xd,sar –d,top网络IO:iftop -n,ifstat,dstat –nt,sar -n DEV 2 3磁盘容量&a…

不要二

题目解析: 本题的重点是要读懂题意,并且需要多读两遍,才能读懂,本题本质就是在二维数组中每个坐标去放蛋糕, 一个坐标位置放了蛋糕,跟他欧几里得距离为2的位置不能放蛋糕,这个就是关键点。对于两…

干货|100张PPT讲透工业机器人的机械结构

来源:机电微学堂未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网&…

现实生活中我们常常遭遇“怀疑”

现实生活中,我们常常遭遇这样的“怀疑”。“最美婆婆”陈贤妹打破路人冷漠出手相救女童,被人猜度为“想出名”;“最美司机”吴斌忍着剧痛完成了“最后的制动”,有人却质疑他违章在先才这么做;看到热心人帮扶摔倒的老人…

虚拟机磁盘扩容流程

磁盘扩容: 1.vgdisplay #查看vg 2.lvdisplay #查看需扩容目录的全名 3.df -h #查看lv 4.fdisk /dev/sdb 依次输入:n p 回车 回车 回车 w …

最低票价

题目: 在一个火车旅行很受欢迎的国度,你提前一年计划了一些火车旅行。在接下来的一年里,你要旅行的日子将以一个名为 days 的数组给出。每一项是一个从 1 到 365 的整数。 火车票有三种不同的销售方式: 一张为期一天的通行证售价为…

基础理论研究是人工智能持续发展的保证

来源:图灵人工智能摘要: 人工智能的主流技术的发展大致经历了三个重要的历程。人工智能的主流技术的发展大致经历了三个重要的历程。1956-1965年,人工智能的形成期,强调推理的作用。一般认为只要机器被赋予逻辑推理能力就可以实现…

鼠标关机后仍然发光的实用解决方法

现在朋友们用的鼠标大多数都是光电鼠了,但是大家注意到这样一个现象没有呢?就是在正常关机以后鼠标仍然在继续发光而不会灭,为什么呢??如何才能解决这样的问题呢??下面就介绍一下“让鼠标在关机…

kettle创建mysql资源库

步骤: 1. 创建一个库: create database xxx; 2. 创建kettle用户,密码也为kettle 3. 给kettle用户使用xxx 库的权限。 4. 刷新权限,使权限生效。 代码: create database xxx; DROP USER kettle10.150.xx.xx ; CREATE USER ket…

代换链表入口节点

题目: 给定一个链表,返回链表开始入环的第一个节点。 如果链表无环,则返回 null。为了表示给定链表中的环,我们使用整数 pos 来表示链表尾连接到链表中的位置(索引从 0 开始)。 如果 pos 是 -1,…

新AI技术破解“人脑密码”的艰辛历程

来源:人工智能大健康摘要: 就智能感知而言,如何获取人类脑部思维同样是业内长期探索的问题。就智能感知而言,如何获取人类脑部思维同样是业内长期探索的问题。可以预见的是,单纯通过思维指令来控制人工智能的行为&…

JavaScript事件捕获与事件冒泡原理 IE和DOM之间存在哪些主要差别

事件——怎样使用事件以及IE和DOM事件模型之间存在哪些主要差别。 (1)冒泡型事件:事件按照从最特定的事件目标到最不特定的事件目标(document对象)的顺序触发。 IE 5.5: div -> body -> document IE 6.0: div -> body -> html -&…