阿里云HBase发布冷存储特性,助你不改代码,1/3成本轻松搞定冷数据处理

 

9月27日,阿里云HBase发布了冷存储特性。用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间,并通过建表语句指定将冷数据存放在冷存储介质上面,从而降低存储成本。冷存储的存储成本仅为高效云盘的1/3,适用于数据归档、访问频率较低的历史数据等各种场景。

阿里云HBase是基于Apache HBase深度优化的全托管、PB级、千万级QPS随机读写的云数据库,其在物联网、车联网、用户画像、历史数据存储、AI人工智能、Feeds等场景有广泛的应用。自产品发布以来,我们一直在努力优化,为用户提供更高的性能和更低的成本。此次发布的冷存储特性,针对冷数据存储的场景,可以在保证数据随时可访问及不低于云盘的写入性能的前提下,大幅降低用户的存储成本。

适用场景

一般随着业务的发展,HBase中存储的数据量会逐渐变大。在这些数据中,业务最关心的,最常访问的,往往是某些特定范围的数据,比如说最近7天的数据,业务对这类数据访问频次高,延迟要求高,即所谓的热数据。而其他的数据,一般访问量极少,性能要求不高, 但这类数据往往数据量大,即冷数据。如果能把冷热数据分离开,把热数据存储在性能更好的介质中,而把庞大的冷数据放到成本更低的介质中,从而实现把更多优质资源用来提高热数据的读写性能,同时节省存储成本的目的。

通常来说,冷数据具有如下特点:
1 数据量大,因此对成本更敏感。
2 较低的访问频率,因此可以容忍更低的访问qps和更高的访问延时,但是大多数场景下都要求随时可以访问。
3 写入tps并不低。无论是历史数据还是归档数据,他们的写入速度其实都和热数据相当。

基于以上这些特点,HBase冷存储在优化成本的同时,提供了和高效云盘相当的写入性能,并保证数据随时可访问。当然,作为优化成本的代价,冷存储上HBase的读操作qps较低,延时(在不命中缓存情况下)也比云盘要高一些。

下表对HBase上的冷存储和高效云盘两种形态做了比较。可以看出,冷存储在冷数据场景下有极大的优势。

存储介质

冷存储

高效云盘

存储成本(元/GB/月)

0.2

0.7

单机最大支持数据量

11TB

8TB

起步购买量

800GB

800GB

扩容最小单位

1GB

1GB

机型要求

无要求

无要求

写入性能

较好(具体数据和机型有关)

较好(具体数据和机型有关)

查询性能

较差(具体数据和机型有关)

较好(具体数据和机型有关)

大幅降低存储成本

只看存储成本的话,冷存储的成本不到高效云盘的1/3,由于冷数据的量通常都比较大,存储介质的成本占大头,因此即使考虑到计算资源的成本不变,整体上成本仍然有很大幅度的下降。
以某车联网应用为例:拥有10万台车, 每台车每30秒上传7K的包,数据半年后就很少访问了,但是有时会有查询历史数据的需求,所以这部分冷数据又不能删除。有了云HBase的冷存储特性,就可以把半年之前的数据放在冷存储上面节约存储成本,半年内的数据仍然放在高效云盘保证热数据的高效访问。
我们以3年的存储 ( 约2P)来估算成本,见下图。

可见,对于冷热数据混合的场景,通过把冷数据存放在冷存储上面可以大幅降低存储成本。对于纯冷数据的场景(例如归档数据),节省的成本就更加可观了。

写入性能与云盘相当

测试环境:
HDFS 6台8核32G DataNode
HBase 1台8核32G RegionServer
每台ECS挂载4块300G 高效云盘valueSize=100B
threads=120
测试结果:

 

无需代码改动,轻松搞定冷数据

冷存储可以独立购买,作为一个附加存储空间使用。购买冷存储介质后,可以在建表时候中指定把表创建在冷存储上(即冷表),默认是创建在云盘介质上(即热表)。HBase会根据表的属性将数据放在对应的存储介质上面,这个细节对应用是透明的,应用不需要关心表的数据存储在哪里,都是通过hbase的API对表进行读写操作,因此访问冷数据的代码不需要做任何改动。

注意事项
1.冷存储的__读IOPS__能力很低,所以冷表只适合存储冷数据。
2.写入吞吐上,冷表和基于高效云盘的热表相当,可以放心写入数据。
3.建议平均每个core节点管理冷数据不要超过10T。如果是同时有冷热表的集群,需要看region数量来衡量。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520781.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

pb怎么设置 allow editing_Deno TCP Echo Server 是怎么运行的?

创建了一个 “重学TypeScript” 的微信群,想加群的小伙伴,加我微信 "semlinker",备注重学TS。在 “了不起的 Deno 入门教程”这篇文章中,我们介绍了如何使用 Deno 搭建一个简单的 TCP echo server,本文将使用…

阿里云朱照远:边缘计算,无处不在

在2018杭州云栖大会19号下午的论坛上,朱照远对边缘计算进行了深入的阐述,他认为边缘计算是云计算的一部分,是对云计算边界的拓展,云和边缘、终端协同,是万物智联时代的基本形态,这一组合,将满足…

5G 比 4G 快,不只是因为......

【程序人生 编者按】对于技术人来说,知其然,更要知其所以然。人们都知道,5G比4G快。那么到底快在哪里?因为什么这么快?我们请到了北邮通信博士崔原豪、知乎大V“甜草莓”来为大家剖析这个问题!作者 | 崔原豪…

在vm中安装linux虚拟机,如何在vm虚拟机中安装linux

1、首先在vm中新建一个虚拟机2、选择典型3、点击稍后安装操作系统4、选择安装linux,版本可以选择centOS64位的,根据自己系统的位数选择即可5、选择安装路径,建议装在其他盘,..反正最好别装在c盘就行了6、磁盘大小可以根据自身需求…

当学术大家遇到技术大拿,如何攻克数据库应用头号难题?数位产学研大咖这样解读

10月12日-14日,一年一度的中国数据库领域最高学术会议——NDBC 2018如期在大连举行。在这场代表了国内数据库领域最强实力的学术盛宴上,阿里巴巴不但集结了强大的参会阵容,由阿里巴巴集团副总裁、达摩院科学家、数据库与存储技术负责人李飞飞…

函数计算搭建 Serverless Web 应用(一)- HTTP 触发器

函数计算简介 阿里云 函数计算(Function Compute) 是事件驱动的全托管计算服务,是阿里云的 Serverless 计算平台。基于函数计算构建应用,您无需管理服务器等基础设施,而是专注于应用逻辑的开发,大幅提高开发效率。 借助函数计算…

java opencv4.5 人脸对比_2020大数据Java面试总结(未完待续)

导读:纪录面试的经过,成功有经验,失败则有教训。目前已找到工作,做Java大数据,月base45k,整理总结,希望对你也有帮助。自我介绍公司介绍,近期的三家公司,在线教育独角兽、…

“毕业1年,做Python挣了50W!”网友:吹得太少..

现状揭秘:Python岗位大厂50K起?程序员:心态崩了!屠杀各种榜单,拿下语言排行榜的Python,薪酬真的如同网传开挂了吗?笔者在脉脉上发现了这样的一个信息:但Python真的这么火&#xff1f…

函数计算搭建 Serverless Web 应用(二)- 自定义域名

简介 阿里云 函数计算(Function Compute) 是事件驱动的全托管计算服务,是阿里云的 Serverless 计算平台。基于函数计算构建应用,您无需管理服务器等基础设施,而是专注于应用逻辑的开发,大幅提高开发效率。 文章 函数计算搭建 Se…

全面升级 | 阿里云中间件推出3款新品和3项产品新特性,加速企业中台落地

自2015年年底,阿里巴巴对外宣布全面启动2018年中台战略,构建符合DT时代的更具创新性、灵活性的“大中台、小前台”组织机制和业务机制后,承载中台战略的企业级互联网架构已在各行业快速复制,帮助各行业客户进行业务创新&#xff0…

Apache JMeter 字体、字体大小修改

jmeter.properties jsyntaxtextarea.font.familyHack jsyntaxtextarea.font.size20

AliOS Things 电源管理框架使用说明

一、电源管理框架简介 电源管理框架的目的在于节约CPU的功耗。传统上,当操作系统处于空闲状态时,比如所有用户任务和系统任务处于阻塞状态,将执行idle task。idle task的通常做法是一个while(1)空循环,从汇编视角看是不断执行跳转…

i 智慧 | 深度广度并举,AWS容器服务再推利器!

戳蓝字“CSDN云计算”关注我们哦!作者 | 晶少责编 | 阿秃出品 | CSDN云计算(ID:CSDNcloud)据晶少了解,国庆假期后的首个工作日,AWS就在中国区域放出了一款“重量级”容器服务,名为 AWS Fargate…

阿里巴巴研究员刘国华:阿里巴巴智能运维体系建设

导语:在2018年开放数据中心峰会(Open Data Center Summit 2018)开幕式上阿里巴巴研究员刘国华发表了《阿里巴巴智能运维体系建设》的主题演讲。演讲中,刘国华介绍了智能化给阿里巴巴未来基础设施带来的三大价值:数据驱…

Jmeter5 语言中文

文章目录1. 临时调整2. 永久中文1. 临时调整 2. 永久中文 默认启动中文 进入安装目录:apache-jmeter-5.1.1\bin\ 找到 jmeter.properties,打开 搜索“ languageen ”,前面带有“#”号 去除“#”号,并修改为:language…

13岁小孩都跟我抢Python了,完了!

以下来自一位程序员母亲和工作人员的对话。程序员妈妈:您好,可以帮我推荐一本适合我家小孩看的编程书籍吗?兔子:可以的呀,《Scratch从入门到精通》,这本书适合小孩学习,您可以先看一下哦~程序员…

Nacos服务发现控制台预览

Nacos是阿里巴巴中间件部门最近开源的一款用于服务发现和配置管理的产品。在既0.1版本发布基本功能和0.2版本发布与Spring生态结合的功能后,0.3版本将释放全新的控制台界面。配置管理功能相关的控制台,将会由阿里云商业产品ACM控制台改造而来&#xff0c…

阿里巴巴高级技术专家至简:聊工程师思维

为什么想到写这篇文章?作者是想通过对工程师思维的分析和解读,让工程师能正确对待那些在现实工作中看上去与本职岗位无关,却对团队效能影响极大的一些点和一些事。 至简:阿里巴巴高级技术专家,是集团Service Mesh方向的…