Redis 混合存储最佳实践指南

Redis 混合存储实例是阿里云自主研发的兼容Redis协议和特性的云数据库产品,混合存储实例突破 Redis 数据必须全部存储到内存的限制,使用磁盘存储全量数据,并将热数据缓存到内存,实现访问性能与存储成本的完美平衡。

架构及特性

 

命令兼容

混合存储兼容绝大多数 Redis 命令,与原生 Redis 相比,如下命令不支持或受限制;不支持的主要原因是考虑到性能,如业务中有使用到,请提交工单。

Keys(键)List(链表)Scripting(Lua脚本)
RENAMELINSERTSCRIPT 不支持LOAD和DEBUG子命令
RENAMENXLREM 
MOVE  
SWAPDB  
SORT 不支持STORE选项  

选型指南 - 场景

 

选型指南 - 规格

选择混合存储实例时,需要选择合适的【内存配置 + 磁盘配置】;磁盘决定能存储的数据总量,内存决定能存储的热数据总量,实例生产时会根据存储的规格配置选择合适的CPU资源配置,目前暂不支持自定义CPU核数。

比如【64GB内存 + 256GB磁盘】实例,意思是实例最多能存储 256GB 的数据(以KV存储引擎的物理文件总大小为准),其中 64GB 数据可以缓存在内存。

案例1:用户A 使用 Redis Cluster 存储了 100GB 的数据,总的访问QPS不到2W,其中80%的数据都很少访问到。用户A 可以使用 【32GB内存 + 128GB磁盘】 混合存储实例,节省了近 70GB 的内存存储,存储成本下降50%+。
   
案例2:用户B 在IDC自建 Pika/SSDB 实例,解决Redis存储成本高的问题,存储了约 400GB 的数据,其中活跃访问的在10%左右,集群运维负担很重,想迁移至云数据库;用户B 可以使用 【64GB内存 + 512GB磁盘】混合存储实例,来保证免运维的同时,服务质量不下降。

注:因 Redis 数据存储到 KV 存储引擎,每个key都会额外元数据信息,存储空间占用会有一定的放大,建议在磁盘空间选择上,留有适当余量,按实际存储需求的 1.2 - 1.5倍预估。

性能指标

Redis 混合存储的性能与内存磁盘配比,以及业务的访问高度相关;根据规格配置及业务访问模式的不同,简单 set/get 的性能可在几千到数万之间波动。最好情况所有的访问都内存命中,性能与 Redis 内存版基本一致;最差情况所有的访问都需要从磁盘读取。

测试场景:2000w key,value大小为1KB,25%的热key能存储在内存,get 请求测试数据如下

测试集内存版(100%数据在内存)混合存储版(25%数据在内存)
随机访问12.3(万)1.5
高斯分布80%的概率访问20%的key12.05.4
高斯分布99%的概率访问1%的key13.511.4

应用场景

视频直播类

视频直播类业务往往存在大量热点数据,大部分的请求都来自于热门的直播间。使用 Redis 混合存储型实例,内存中保留热门直播间的数据,不活跃的直播间数据被自动存储到磁盘上,可以达到对有限内存的最佳利用效果。

电商类

电商类应用有大量的商品数据,新上架的商品会被频繁访问,而较老的商品访问热度不高;使用 Redis 混合存储型实例,可以轻松突破内存容量限制,将大量的商品数据存储到磁盘,在正常业务请求中,活跃的商品数据会逐步缓存在内存中,以最低的成本满足业务需求。

在线教育类

在线教育类的场景,有大量的课程、题库、师生交流信息等数据,通常只有热门课程、最新题库题库会被频繁访问; 使用 Redis 混合存储型,将大量的课程信息存储到磁盘,活跃的课程、题库信息会换入到内存并常驻内存,保证高频访问数据的性能,实现性能与存储成本的平衡。

其他场景

其他数据访问有明显冷热特性,对性能要求不高的场景均可使用Redis混合存储来降低存储成本。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/518057.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android 控件 - EditText输入框、ImageView图片、ProgressBar进度条

1、EditText输入框 1.1 输入提示 以及 提示颜色 android:hint &#xff1a; 输入提示 android:textColorHint &#xff1a; 提示颜色 <EditTextandroid:hint"请输入用户名"android:textColorHint"#95a1aa"android:layout_width"200dp"andr…

项目启动时flowable报错提示 version mismatch: library version is *, db version is *

项目启动时flowable报错提示 version mismatch: library version is *, db version is * 可能原因 1.项目中的flowable版本更换了但是数据库中缓存了之前的版本信息 解决&#xff1a; 找到数据库中act_ge_property(ACT_GE_PROPERTY)表更改schema.version的版本或者全部改掉&…

云控平台的双向音频解决方案

导读 随着移动互联网的发展&#xff0c;行业内衍生了基于移动平台的各类解决方案。其中&#xff0c;设备规模化管理的云控能力是各互联网公司在设备集群控制背景下的诉求。因此涌现了大批提供类似解决方案的平台。如&#xff1a;阿里系的阿里云MQC、阿里无线和菜鸟Nimitz等&am…

蚂蚁金服高要求的领域建模能力,对研发来说到底指什么?

来源 | 独自慎思责编 | Carol封图由 CSDN 付费下载于视觉中国最近&#xff0c;由于工作需要&#xff0c;作者接触了网商银行的一个项目。项目里对应的业务模型设计&#xff0c;是我工作这三年来见过的所有模型里最复杂的。于是&#xff0c;利用五一这个短暂的假期&#xff0c;我…

如何造一个“钉钉”?谈谈消息系统架构的实现

阿里妹导读&#xff1a;消息类场景是表格存储&#xff08;Tablestore&#xff09;主推的方向之一&#xff0c;因其数据存储结构在消息类数据存储上具有天然优势。为了方便用户基于Tablestore为消息类场景建模&#xff0c;Tablestore封装Timeline模型&#xff0c;旨在让用户更快…

SprinBoot 集成 Flowable 工作流引擎镜像制作

文章目录一、实现原理1. 镜像制作个数2. 调用流程3. 调用流程分析二、前期准备2.1. 克隆项目到本地2.2. 修改数据库连接和容器别名2.3. 修改请求地址为容器别名&#xff08;后端&#xff09;三、 修改请求地址为容器别名&#xff08;前端&#xff09;3.1. 环境配置3.2. 安装依赖…

Android 控件 - Notification通知、Toolbar、AlertDiallog、PopupWindow

1、Notification通知 创建一个NotificationManager NotificationManager类是一个通知管理器类&#xff0c;这个对象是由系统维护的服务&#xff0c;是以单例模式的方式获得&#xff0c;所以一般并不直接实例化这个对象。在Activity中&#xff0c;可以使用Activity.getSystemSe…

阿里云 ESSD 采用自研新一代存储网络协议,打造“超级高速”

8月26日&#xff0c;阿里云透露&#xff0c;正投入自研数据存储“超级高速”&#xff0c;核心存储产品ESSD已率先采用这一最新的自研存储网络协议&#xff0c;并实现大规模商用&#xff0c;数据传输效率提高50%。 据了解&#xff0c;未来该协议还将继续演进&#xff0c;有望取…

1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contai

文章目录1. 现象2. docker内部mysql容器 解决方案3. windows和linux 解决方案1. 现象 在使用sql语句创建表时&#xff0c;报错&#xff1a; 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column ‘information_schema.PRO…

10 人,2 个月 | 虾米音乐的监控体系升级之路

背景 监控一直是服务端掌握应用运行状态的重要手段&#xff0c;经过近几年的发展&#xff0c;阿里虾米服务端目前已经有 100 多个 Java 应用&#xff0c;承担核心业务的应用也有将近 50 个&#xff0c;对于应用的监控配置也是因人而异。有的人配置的监控比较细&#xff0c;有的…

Python 本身真的没什么用!

越来越多的人学习编程不再只是为了当程序员&#xff0c;而是为了提升效率&#xff0c;多一份职业技能&#xff0c;正面应对瞬息万变的全球大环境。据麦肯锡全球研究院发布的一份就业报告中显示&#xff0c;到 2030 年&#xff0c;中国预计将有 1200 万&#xff5e; 1.02 亿人面…

Timestream开发最佳实践

背景 Timestream模型是针对时序场景设计的特有模型&#xff0c;可以让用户快速完成业务代码的开发&#xff0c;实现相关业务需求。但是&#xff0c;如果业务系统不仅想实现基础的相关业务功能&#xff0c;还要达到最佳的性能&#xff0c;并且兼顾到未来的扩展性的话&#xff0…

linux-ubuntu-16.04 安装系统、安装 SSH 服务、设置root用户密码

1、ubuntu-16.04安装 使用UltraISO 软碟通 将 ubuntu-16.04-desktop-amd64.iso 制作为U盘镜像插入U盘&#xff0c;开机按F12选择U盘启动安装过程参考 https://blog.csdn.net/weixin_59605625/article/details/125807363 2、ubuntu-16.04 安装 SSH 服务 $ 在linux中代表普通用…

Error starting userland proxy: listen tcp 0.0.0.0:8080: bind: address already in use.

文章目录一、现象二、解决方案一、现象 [rootlocalhost app]# docker run -p 8080:8080 -p 9326:9326 --name eblog --link es_643:ees --link myrabbit:erabbit --link mymysql:emysql --link myredis:eredis -d eblog:1.0a74c2caaca88203c1ca575cd2f8a0e0426d892d5800c487…

助力企业应用与基础架构现代化 VMware这波组合拳够强!

顺应时代的发展&#xff0c;“数字化转型”已经成为企业发展的必由之路。应用作为数字化转型的核心&#xff0c;能够帮助企业向客户提供定制化的数字化体验&#xff0c;创造新的收入来源。在数字化转型道路上&#xff0c;中国企业走的并不慢甚至非常之快&#xff0c;在此过程中…

应用架构的核心使命是什么?阿里高级技术专家这样说

阿里妹导读&#xff1a;什么是架构&#xff1f;关于架构这个概念很难给出一个明确的定义&#xff0c;也没有一个标准的定义。如果&#xff0c;硬是要给一个概述&#xff0c;阿里巴巴高级技术专家张建飞认为架构就是对系统中的实体以及实体之间的关系所进行的抽象描述。今天&…

2分钟学会Docker部署SpringBoot项目

文章目录一、安装docker1. 在线安装docker2. 换镜像源二、安装redis三、安装mysql四、安装RabbitMq五、安装ElasticSearch5.1. 修改服务器配置5.2. 创建容器并启动 ES5.3. 查看启动日志5.4. 进入镜像5.5. 修改cluster-name5.6. 安装中文分词插件5.7. 退出并重启镜像5.8. 查看启…

linux-ubuntu-16.04 安装 java8、 firewalld、 mysql5.7、Redis 5.0.3、FastDFS、nginx1.18

1、安装java 新建jdk目录 cd /usr/local mkdir java下载JDK8上传到java目录下&#xff0c;解压文件 cd java tar -zxvf jdk-8u201-linux-x64.tar.gz链接&#xff1a;https://pan.baidu.com/s/155P1Y5YetBD0E4PhcPgNfg 提取码&#xff1a;z27j 配置环境变量 vi /etc/profi…

K8s 学习者绝对不能错过的最全知识图谱(内含 56个知识点链接)

导读&#xff1a;Kubernetes 作为云原生时代的“操作系统”&#xff0c;熟悉和使用它是每名用户的必备技能。本篇文章概述了容器服务 Kubernetes 的知识图谱&#xff0c;部分内容参考了网上的知识图谱&#xff0c;旨在帮助用户更好的了解 K8s 的相关知识。 1. 概述 容器服务 …

利用 Docker 在不同宿主机做 CentOS 系统容器 | 原力计划

作者 | 于先森2017责编 | 伍杏玲出品 | CSDN博客最近公司新接到一个项目&#xff0c;惯例是通过技术架构、业务需求、用户量还有以往的经验大概评估出一份资源配置表格提供给客户&#xff0c;让客户参考采购的服务器资源。但这次客户根本没有根据我们提供的参考表格来&#xff…