Redis 内存满了怎么办?这样置才正确!

11bbad947035fac577a35a2ae0255fa6.gif

作者 | 码哥呀

来源 | 码哥字节

上回在《Redis 数据过期了会被立马删除么?》说到如果过期的数据太多,定时删除无法删除完全(每次删除完过期的 key 还是超过 25%),同时这些 key 再也不会被客户端请求,就无法走惰性删除,内存被打满会怎样?

答案是走内存淘汰机制


故事从一个叫 Redis 帝国的三公九卿官职说起……

在 Redis 帝国中,整个帝国的国法、家法和军法等都记录在 redis.conf中,它控制着整个帝国的运行。

公务员占用的国家地盘资源大小限定由名叫「maxmemory」的司法官员制定,一共有两种方式实现:

  • 在运行时使用 CONFIG SET maxmemory 4gb指定帝国官职人员最大地盘资源为 4GB;

  • maxmemory 4gb法令记录到 redis.conf「法典」中,在帝国运转指定使用该「法典」运行。

需要注意的是,如果 maxmemory 为 0 ,在 64 位「空间」上则没有限制,而 32 位「空间」则有 3GB 的隐式限制。

a8f7d3f7730f9e70630ea21b9835629b.png

Redis 内存淘汰策略

设置了帝国官职地盘资源限制,每年选拔新人就会导致没有地盘资源可以使用怎么办?如何选择一些公务员淘汰?

在 Redis 4.0 时代,一共有 6 种淘汰策略,之后,又新增了 2 种策略。

总体上我们可以根据是否需要淘汰可以分为两大类:

  • 不执行淘汰策略,noeviction

  • 根据不同法则淘汰的其他 7 种策略。

noeviction 不退伍策略

默认情况下,资源超过 maxmemory 的值也不会执行淘汰,不允许新人加入。

关系户啊这是,皇亲国戚,永久 vip 啊喂。

随着官职人员的新增,由于不会淘汰,资源容量迟早会满。满了以后,当有「新人」想要进来的时候,Redis 直接返回错误,并罢工

秀,真是任性。

各式各样的淘汰策略

剩下的 7 种策略还可以根据淘汰的候选集合和淘汰范围分为两大类:

  • 有设置任职过期时间的职员进行淘汰,没有设定任职过期时间的不会淘汰,淘汰策略如下:

    • volatile-lru:淘汰最近最少上一线干活的人员;

    • volatile-lfu:4.0 之后新增的策略,淘汰上一线干活次数最少的人员;

    • volatile-random:随机淘汰,腾出坑位给新人;

    • volatile-ttl:淘汰设置了任期时间的公务员,谁最接近任期时间就先淘汰谁。

  • 所有类型人员淘汰,不管是永久 vip 的皇亲国戚还是设置了任职过期时间的人员。

    • allkeys-lru:淘汰最近最少上一线干活的职员;

    • allkeys-lfu:淘汰最少上一线干活的公务员;

    • allkeys-random:随机淘汰职员,为新兵腾出空位。

故事到这里就结束了,接下来「码哥」分享下在实际 Redis 中如何选择合适的淘汰策略和设置最佳缓存大小给大家。

淘汰执行过程如下图所示:

5ad114baf2677110abfcdabb5746a412.png

redis-eviction
  • 客户端发送新命令到服务端;

  • 服务端收到客户端命令,Redis 检查内存使用情况,如果大于 maxmemory 限制,则根据策略驱逐数据。

  • 执行新命令。

allkeys-lru 使用场景

假如你的应用存在明显的冷热数据区别,根据经验推荐你使用这个策略,充分利用 LRU 算法把最近最常访问的数据保留,有限的内存提高访问性能。

allkeys-random 使用场景

假如数据没有明显的冷热分别,所有的数据分布查询比较均衡,这些数据都会被随机查询,那就使用 allkeys-random 策略,让其随机选择淘汰数据。

volatile-lru 使用场景

业务场景有一些数据不能删除,比如置顶新闻、视频,这时候我们为这些数据不设置过期时间,这样的话数据就不会被删除,该策略就会去根据 LRU 算法去淘汰那些设置了过期时间且最近最少被访问的数据。

有一个点需要注意下,为 key 执行 expire 设置过期时间会消耗一些内存,所以使用 allkeyds-lru 会提高内存效率。

将需要持数据不能删除的和全都可以淘汰数据的业务系统分别使用不同的 Redis 实例集群是更好的方案。

针对业务场景有一些数据不能删除的使用 volatile-lru策略,另一类则可以使用 allkyes-lru 或者 allkeys-random

9690d5d7b3898df0c78746d7bea34fce.png

Redis 容量设置多大合适

缓存并不是越大越好,用最小的代价去获得最高的收益才是老板想要的。

数据访问有局部性,根据「二八原理」:通常 20% 的数据能支撑 80% 的访问请求。

所以我们可不可以把缓存容量大小设置为总数据量的 20%?

当然,不能这么绝对,这是理想状态。因为可能存在一些个性化需求,不同的用户访问的数据可能差别很大,不完全具备「二八原理」。

我们应当结合实际的访问特点和成本来综合评估。根据经验建议将容量设置成总数据量的 15%~30%。

码哥,其他淘汰规则比较简单,volatile-lru 和 volatile-lfu 则比较复杂,他们的算法是怎样的?

volatile-lru 使用了 LRU 算法,淘汰最近最少使用的数据。而 volatile-lfu 使用了 LFU 算法,它在 LRU 算法基础上同时考虑了数据的时效性和访问频率,最少访问的 key 会被删除。

至于具体算法细节,我们下回分解。一次性太多的话大家容易在知识的海洋里里呛水。

参考资料

1.https://redis.io/docs/manual/eviction/

2.Redis 核心技术与实战

63af57b8596d7f8ff901c3ac74b73b4f.gif

往期推荐

换个姿势看 hooks,灵感来源组合和 HOC 模式下逻辑视图分离新创意

Docker:从入门到实战过程全记录

没有操作系统程序可以运行起来吗?

如何在 Kubernetes Pod 内进行网络抓包

49a744cbe2011c98ed6c9a8f50ea6147.gif

点分享

83a7c3a74bc7ba76137c63879e430b8e.gif

点收藏

d21b587fd2d0c44997c458303678b68c.gif

点点赞

bf73724c208b14ef00d69bad25850dc6.gif

点在看

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/511874.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2000坐标系高程与85高程转换_【科普】测量人必须知道的几大坐标系

导读 不了解坐标系的测绘测量人员,不是好员工!无论科研的还是外业的,亦是如此。小编今天就为大家盘点出这几大传统坐标系,各位大大赶快收藏起来吧! 1 北京54坐标系 新中国成立以后,我国大地测量进入了全面发展时期,在全国范围内开展了正规的,全面的大地测量和测图工作,…

云原生数据仓库AnalyticDB支撑双11,大幅提升分析实时性和用户体验

简介:2021年双十一刚刚落幕,已连续多年稳定支持双十一大促的云原生数据仓库AnalyticDB,今年双十一期间仍然一如既往的稳定。除了稳定顺滑的基本盘之外,AnalyticDB还有什么亮点呢?下面我们来一一揭秘。 作者 | Analytic…

漫画:什么是IaaS、PaaS、SaaS?

‍‍作者 | 小灰来源 | 程序员小灰假如你想要一栋属于自己的房子,你有什么样的选择呢?第一种方式,我们可以自己上山砍树准备木材,然后自己去烧制砖瓦,还需要自己研磨油漆等其他材料.....材料准备齐全以后,我…

app获取个人信息是否合法_重拳出击!42款APP过度收集用户信息被点名

驱动中国2019年9月10日消息 近年来我国不断加强对互联网应用中个人信息的保护,但因相关监管机制尚不健全,实际上多数APP并未遵循最少够用原则,仍存在违规收集使用个人信息现象。日前,广东省公安厅持续加强对超范围收集用户信息行为…

无接触式智能服务 用“减法”重塑企业前台场景

简介:为了更好解决企业对前台工作效率、服务体验等诉求,阿里巴巴企业智能事业部联合阿里行政,推出的“非接触式服务”——云前台,集物品暂存、自助领取、物品临时借用、查询周边配套信息、一键呼叫视频客服、报销单收取等功能于一…

阿里园区的这个“格子间” 成为企业高效协同新利器

简介:第一期《数智进化论》带你走进阿里园区的“网红”格子间——视频会议吧,了解它是如何提升办公空间利用率,解决会议室资源供给不足的问题。 会议室是企业员工进行创意、讨论、决策的重要协作场所。传统会议室数量有限、大小相对固定&…

仅用一个 HTML 标签,实现带动画的抖音 Logo

作者 | 零一来源 | 前端印象今天给大家表演 仅用一个HTML标签实现带动画的抖音LOGO,涉及了很多知识点,欢迎交流讨论先上结果,最终实现效果如下:成品图还原度应该还可以吧?抖音Logo结构想要用CSS来画抖音的Logo&#xf…

vaex 处理海量数据_核心业务“瘦身”进行时!手把手带你搭建海量数据实时处理架构...

01 背景在线交易服务平台目的是减轻核心系统计算压力和核心性能负荷压力,通过该平台可以将核心系统的交易数据实时捕获、实时计算加工、计算结果保存于SequoiaDB中。并能实时的为用户提供在线交易查询服务。在线交易服务平台基于实时处理架构设计,通过将…

自己动手写符合自己业务需求的eslint规则

简介:eslint是构建在AST Parser基础上的规则扫描器,缺省情况下使用espree作为AST解析器。rules写好对于AST事件的回调,linter处理源代码之后会根据相应的事件来回调rules中的处理函数。另外,在进入细节之前,请思考一下…

双11特刊|一站式在线数据管理平台DMS技术再升级,高效护航双11

简介: 10万企业共同选择的数据库服务平台 阿里云数据库已连续多年稳定支撑天猫双11,历经极端流量场景淬炼。除了保障稳定顺滑的基本盘,今年大促期间数据库通过全面云原生化,大幅提升用户体验,让技术帮助业务产生更有价…

账户配置阻止使用计算机.怎样开机,开机自启动设置怎么操作 开机自启动设置如何禁止【图文介绍】...

我们都知道,如今的电脑被我们广泛地运用着, 因为它具有很多的功能,比如我们可以通过电脑实现我们平时工作的需要,还可以不出 门 便能够网上购物,非常方便快捷。电脑一般来说都是由硬件系统和软件系统组成的。有时候可能…

Gartner:2021年全球半导体收入增长26%

供稿 | Gartner 出品 | CSDN 云计算 根据Gartner公司的最终统计结果,2021年全球半导体收入同比增长26.3%,总计5950亿美元。 Gartner研究副总裁Andrew Norwood表示:“引起当前芯片短缺的各种事件继续影响全球原设备制造商(OEM&…

pandas 判断是否等于nan_Python之pandas笔记

一、创建1.创建 Series (一维,带标签的数组)t pd.Series(np.arange(10), index list(string.ascii_uppercase[:10]))2.创建 DataFrame (二维,Series的容器 )t pd.DataFrame(np.arange(6).reshape((2,3)), indexlist(ab),columnslist(csr) )3.DataFrame…

解密 Dubbo 三大中心的部署架构

简介:Dubbo作为一个微服务框架,Dubbo SDK与应用服务绑定在同一个进程内,它跟随着应用服务被部署在分布式集群各个位置,为了在分布式环境下实现各个应用服务间的协作, Dubbo 定义了一些中心化组件。 作者 | 华钟明 01…

历经7年双11实战,阿里巴巴是如何定义云原生混部调度优先级及服务质量的?

简介: 本文将聚焦在 K8s 层的容器优先级和服务质量模型上,希望给业界提供一些可借鉴的思路。 作者:南异 引言 阿里巴巴在离线混部技术从 2014 年开始,经历了七年的双十一检验,内部已经大规模落地推广,每…

python 判断是否有余数_判断多个坐标是否在同一条直线上|Python练习系列[13]

练习内容:判断多个坐标是否在同一条直线上判断多个坐标是否在同一条直线上|Python练习系列[13]_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili​www.bilibili.comprint(请输入几个点的横纵坐标,程序将会返回这几个点是否在同一条直线上) def coor_nums():#获得每个值的横纵坐标int_list…

阿里云 FaaS 架构设计

简介:本篇内容将从 2 个部分为读者介绍关于阿里云 FaaS 架构设计和神龙高密部署的 FaaS,希望可以让大家对阿里云 FaaS 有更深入的了解,并可以将 FaaS 应用到项目中,达到降本提效的目的。 一、基于 ECS 的 FaaS 在阿里云传统架构…

MLPerf纪录技术分享:优化卷积合并算法提升Resnet50推理性能

作者 | 王申领 供稿 | 浪潮 MLPerf是一套衡量机器学习系统性能的权威标准,将在标准目标下训练或推理机器学习模型的时间,作为一套系统性能的测量标准。MLPerf推理任务包括图像识别(ResNet50)、医学影像分割(3D-UNet&a…

nas存储如何做远程服务器数据备份_备份数据?7 个理由告诉你为什么要用 NAS,而不用移动硬盘...

您有遇过这样的情况吗?用 U 盘或移动硬盘备份文件,但在重要时刻却找不到 U 盘,甚至遇到移动硬盘毁损的状况。这个时候是不是忽然间好恨自己,拿什么拯救你——我亲爱的数据。转而使用 NAS 的原因。让我们来看看地球上最安全的存储是…

用手机写代码:基于 Serverless 的在线编程能力探索

简介:Serverless 架构的按量付费模式,可以在保证在线编程功能性能的前提下,进一步降低成本。本文将会以阿里云函数计算为例,通过 Serverless 架构实现一个 Python 语言的在线编程功能,并对该功能进一步的优化&#xff…