Redis缓存淘汰策略

Redis缓存淘汰策略

1、各种面试题

  • 生产上你们的redis内存设置多少?
  • 如何配置、修改redis的内存大小
  • 如果内存满了你怎么办?
  • redis清理内存的方式?定期删除和惰性删除了解过吗?
  • redis缓存淘汰策略有哪些?分别是什么?你用哪个?
  • redis的LRU了解过吗?请手写LRU。
  • lru和lfu算法的区别是什么?

2、Redis内存

Redis内存满了怎么办?redis默认内存多少?在哪里查看?如何设置修改?

查看Redis最大占用内存

在redis配置文件中,MEMORY MANAGEMENT选项

image-20231126160325070

如果不设置最大内存大小或者设置最大内存大小为0,在64位操作系统下不限制内存大小,在32位操作系统下最多使用3GB内存。

image-20231126160616423

注意,在64bit系统下,maxmemory设置为0表示不限制 Redis内存使用

一般推荐Redis设置内存为最大物理内存的四分之三

怎么修改内存大小?

  1. 修改配置文件然后重启即可。

    举例:配个100M

    image-20231126161938594

  2. 可以直接通过命令修改config set maxmemory 104857600当然这个一重启就没有了只是暂时的。

    image-20231126162111172

查看redis内存使用情况

  1. info memory
  2. config get maxmeory

image-20231126162347814

真要打满了会怎么样? 如果Redis内存使用超出了设置的最大值会怎样?

我们把内存设置成1字节

image-20231126162629590

image-20231126162700277

报OOM的错误。

所以,有一个场景,没有加上过期时间就会导致数据写满maxmemory,为了避免类似情况,我们需要内存淘汰策略。

往redis里写的数据是怎么没了的?它如何删除的?

  • redis过期键的删除策略

    如果一个键是过期的,那它到了过期时间之后是不是马上就从内存中被被删除呢?

    并不是的

  • 三种不同的删除策略

    1. 立即删除。–对CPU不友好,用处理器性能换取存储空间(拿时间换空间)

      Redis不可能时时刻刻都遍历所有被设置了生存时间的key,来检查数据是否到了过期时间,然后删除它,立即删除能保证内存中数据的最大新鲜度,因为它保证过期建值会在过期后马上删除,它所占的内存也会得到释放。但是立即删除是对CPU一个不小的压力,删除操作会占用CPU时间,如果此时的CPU正非常的忙,比如它正在做交集或者排序计算时,就会给CPU造成额外的压力,这样会产生大量的性能消耗,同时也会影响数据的读取操作。

    2. 惰性删除。–对memory不友好,用存储空间换取处理器性能(拿空间换时间)

      数据到达过期时间,不做处理,等到下次访问该数据时,如果未过期,返回数据,如果已经过期,就删除,返回不存在。

      惰性删除的缺点就是太占内存。

      如果一个键已经过期,而这个键又仍然保留在redis中,那么只要这个过期键不被删除,它所占用的内存就不会释放。
      在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB),我们甚至可以将这种情况看作是一种内存泄漏-无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。

      开启惰性淘汰,lazyfree-lazy-eviction=yes

      image-20231126164623110

    3. 上面俩方案都极端,折中一下---->定期删除

      定期删除策略是前两种方案的折中

      定期删除策略每隔一段时间执行一次删除过期键操作并通过限制删除操作执行时长和频率来减少删除操作对CPU时间的影响。

      周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度

      特点1:CPU性能占用设置有峰值,检测频度可自定义设置
      特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理总结:周期性抽查存储空间(随机抽查,重点抽查)

      redis默认每隔100ms检查是否有过期的key,有过期key则删除。注意: redis不是每隔100ms将所有的key检查一次而是随机抽取进行检查(如果每隔100ms,全部key进行检查,redis直接进去ICU)。因此,如果只采用定期删除策略,会导致很多key到时间没有删除。

      定期删除策略的难点是确定删除操作执行的时长和频率:如果删除操作执行得太频繁或者执行的时间太长,定期删除策略就会退化成立即删除策略,以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除束略一样,出现浪费内存的情况。因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率。

  • 总会有漏网之鱼的,定期删除时,从来没有被抽查到,惰性删除时,也从来没有被点中使用过,然后就会导致大量的key堆积在内存中,导致redis内存空间紧张或者很快耗尽,所以得有缓存淘汰策略。

3、Redis缓存淘汰策略

先看配置文件中的配置在哪

image-20231126170252192

3.1、lru和lfu算法的区别

此时计算机操作系统学的东西要想起来了!!!

LRU

最近最少使用页面置换算法,淘汰最长时间未使用的页面,看页面最后一次被使用到发生调度的时间长短,时间长的就被淘汰了。

LFU

最近最不常用页面置换算法,淘汰一定时期内被访问次数最少的页,看一定时间段内页面被使用的频率,淘汰一定时期内被访问次数最少的页。

举例:

某次时期Time为10分钟,如果每分钟进行一次调页,主存块为3,若所需页面走向为2121234假设到页面4时会发生缺页中断
若按LRU算法,应换页面1(1页面最久未被使用),但按LFU算法应换页面3(十分钟内,页面3只使用了一次)
可见LRU关键是看页面最后一次被使用到发生调度的时间长短,而LFU关键是看一定时间段内页面被使用的频率!

看一下操作系统的书

image-20231126171749832

image-20231126171802420

3.2、有哪些缓存淘汰策略?

一共8种

  1. noeviction:不会驱逐任何key,表示即使内存达到上限也不进行置换,所有能引起内存增加的命令都会返回erro。(默认的就是这个策略)
  2. alkeys-lru:对所有key使用LRU算法进行删除,优先删除掉最近最不经常使用的key,用以保存新数据。
  3. volatile-Iru:对所有设置了过期时间的key使用LRU算法进行删除。
  4. allkeys-random:对所有key随机删除。
  5. volatile-random:对所有设置了过期时间的key随机删除。
  6. volatile-ttl:删除马上要过期的key。
  7. allkeys-Ifu:对所有key使用LFU算法进行删除。
  8. volatile-lfu:对所有设置了过期时间的key使用LFU算法进行删除。

3.3、上面的小结

两个维度四个方面,2*4=8

两个维度:

  • 过期键中筛选
  • 所有键中筛选

四个方面

  • LRU
  • LFU
  • random
  • ttl

3.4、平时使用哪一种?

  • 在所有的key都是最近最经常使用,那么就需要选择allkeys-lru进行置换最近最不经常使用的key,如果你不确定使用哪种策略,那么推荐使用allkeys-Iru(推荐)
  • 如果所有的 key的访问概率都是差不多的,那么可以选用allkeys-random策略去置换数据
  • 如果对数据有足够的了解,能够为key 指定hint(命中,通过expire/ttl指定),那么可以选择volatile-ttl进行置换

redis缓存淘汰策略配置性能建议

  • 避免存储bigkey
  • 开启惰性淘汰,lazyfree-lazy-eviction=yes

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/171852.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AMESim与MATLAB联合仿真demo

本文是AMESim与MATLAB联合仿真的demo,记录一下如何进行联合仿真。 AMESim与MATLAB联合仿真可以大幅度提高工作效率。 author:xiao黄 缓慢而坚定的生长 csdn:https://blog.csdn.net/Python_Matlab?typeblog主页传送门 博主的联合仿真环境如下&#xff…

代码随想录算法训练营 ---第四十三天

前言: 今天同样是01背包问题,今天详细学习了背包问题在各种场景下的应用。今天一道也没做出来,有点废。好难啊!就是思路不太清晰,不知道如何去做,看了题解后感觉原来如此,但是想不出来。今天做…

leetcode9.回文数

回文数 0.题目1.WJQ的思路2.实现过程2.0 原始值怎么一个个取出来?2.1 取出来的数如何存到新的数字后面?2.2完整的反转得到新数的过程 3.完整的代码4.可运行的代码5.算法还可以优化的部分 0.题目 给你一个整数 x ,如果 x 是一个回文整数&…

IIC驱动OLED(SSD1306) HAL库+CubeMX

一.IIC传输数据的格式 1.写操作 2.读操作 3.IIC信号 二. IIC底层驱动 1.重新初始化配置延时单元 //软件延时 void I2C_Delay(uint32_t t) {volatile uint32_t tmp t;while(tmp--); }void I2C_GPIO_ReInit(void) {/* 1. 使用结构体定义硬件GPIO对象 */GPIO_InitTypeDef GPIO…

安装最新版WebStorm来开发JavaScript应用程序

安装最新版WebStorm来开发JavaScript应用程序 Install the Latest Version of JetBrains WebStorm to Develop JavaScript Applications By JacksonML 2023-11-25 1. 系统要求 WebStorm是个跨平台集成开发环境(IDE)。按照JetBrains官网对WebStorm软件…

【C++】类型转换 ② ( C++ 静态类型转换 static_cast | C 语言隐式转换弊端 | 代码示例 )

文章目录 一、静态类型转换 static_cast1、C 静态类型转换 static_cast2、C 语言隐式转换弊端3、代码示例 在之前写过一篇 C 类型转换的博客 【C 语言】类型转换 ( 转换操作符 | const_cast | static_cast | dynamic_cast | reinterpret_cast | 字符串转换 ) , 简单介绍了 C 类…

大数据基础 HDFS客户端操作

一、Maven概述 Maven是一个专门用于管理和构建Java项目的工具。我们之所以要使用Maven,是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制,这些功能可以使得我们的项目结构更加清晰,导入jar包的…

初学vue3与ts:setup与setup()下的数据写法

把setup写在script里 <template><div><div class"index-title">script setup</div><div class"title">字符串&#xff1a;</div><div class"title-sub">ref版&#xff1a;{{strRef}}</div><…

cocos游戏引擎制作的滚动框地图防止误点操作的简单方法

本篇文章主要讲解&#xff0c;使用cocos creator 来解决在我们日常滚动框开发中&#xff0c;滚动和触摸存在冲突的情况&#xff0c;导致的误触行为的解决办法。 日期&#xff1a;2023年11月25日 具体事项 说明&#xff1a;在我们滚动滚动框时&#xff0c;会出现误点的情况&…

Drools 7 JMX Mbean 及Metric 分析

Mbean mbean的打开很简单&#xff0c;使用jmx启动参数&#xff1a; -Dcom.sun.management.jmxremote.port9999 -Ddrools.mbeansenabled -Dcom.sun.management.jmxremote.authenticatefalse -Dcom.sun.management.jmxremote.sslfalse 但通过jconsole能直观看到的东西也很…

利用 LD_PRELOAD 环境变量

文章目录 原理LD_PRELOAD介绍如何上传.so文件 例题 [虎符CTF 2022]ezphp 原理 LD_PRELOAD介绍 LD_PRELOAD是Linux系统的一个环境变量&#xff0c;它可以影响程序的运行时的链接&#xff08;Runtime linker&#xff09;&#xff0c;它允许你定义在程序运行前优先加载的动态链接…

DDD落地:从阿里单据系统,看DDD在大厂如何落地?

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中&#xff0c;最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格&#xff0c;遇到很多很重要的面试题&#xff1a; 谈谈你的DDD落地经验&#xff1f; 谈谈你对DDD的理解&#x…

职场份子钱随不随?这20个真相你需要知道!

职场份子钱随不随&#xff1f;这20个真相你需要知道&#xff01; 1.千万不要在老婆面前夸小姨子水灵。 2.盖世功劳&#xff0c;当不得一个矜字&#xff1b;弥天罪过&#xff0c;当不得一个悔字。 3.愚蠢的人永远只会根据答案判断难度。 4.改变自己的是神&#xff0c;企图改…

【数据库】表的连接在执行时的算法解析,嵌套循环连接算法的几种实现,多表连接中表的数量会影响什么

嵌套循环连接 ​专栏内容&#xff1a; 手写数据库toadb 本专栏主要介绍如何从零开发&#xff0c;开发的步骤&#xff0c;以及开发过程中的涉及的原理&#xff0c;遇到的问题等&#xff0c;让大家能跟上并且可以一起开发&#xff0c;让每个需要的人成为参与者。 本专栏会定期更新…

[论文阅读]CBAM——代码实现和讲解

CBAM 论文网址&#xff1a;CBAM 论文代码&#xff1a;CBAM 本文提出了一种卷积块注意力模块&#xff08;CBAM&#xff09;&#xff0c;它是卷积神经网络&#xff08;CNN&#xff09;的一种轻量级、高效的注意力模块。该模块沿着通道和空间两个独立维度依次推导注意力图&#x…

每日一题2023.11.26——打印沙漏【PTA】

题目要求&#xff1a; 本题要求你写个程序把给定的符号打印成沙漏的形状。例如给定17个“*”&#xff0c;要求按下列格式打印 ************ *****所谓“沙漏形状”&#xff0c;是指每行输出奇数个符号&#xff1b;各行符号中心对齐&#xff1b;相邻两行符号数差2&#xff1b;…

设计一个算法,将链表中所有结点的链接方向“原地”逆转,即要求仅利用原表的存储空间,换句话说,要求算法的空间复杂度为O(1)

设计一个算法&#xff0c;将链表中所有结点的链接方向“原地”逆转&#xff0c;即要求仅利用原表的存储空间&#xff0c;换句话说&#xff0c;要求算法的空间复杂度为O&#xff08;1&#xff09; 代码思路&#xff1a; 这里要求不用额外空间&#xff0c;那么就要考虑链表自身的…

Liunx系统使用超详细(一)

目录 一、Liunx系统的认识 二、Liunx和Windows区别 三、Liunx命令提示符介绍 四、Liunx目录结构 一、Liunx系统的认识 Linux系统是一种开源的、类Unix操作系统内核的实现&#xff0c;它基于Unix的设计原理和思想&#xff0c;并在全球范围内广泛应用。以下是对Linux系统的详…

MVCC多版本并发控制相关面试题整理

多版本并发控制是一种用于支持并发事务的数据库管理系统技术&#xff0c;它允许多个事务同时访问数据库&#xff0c;而不会相互干扰或导致数据不一致。MVCC通过在数据库中维护不同版本的数据来实现这一目标&#xff0c;从而允许每个事务看到一致的数据库快照。 并发导致的问题…

【数据结构】树与二叉树(廿二):树和森林的遍历——后根遍历(递归算法PostOrder、非递归算法NPO)

文章目录 5.1 树的基本概念5.1.1 树的定义5.1.2 森林的定义5.1.3 树的术语 5.2 二叉树5.3 树5.3.1 树的存储结构1. 理论基础2. 典型实例3. Father链接结构4. 儿子链表链接结构5. 左儿子右兄弟链接结构 5.3.2 获取结点的算法5.3.3 树和森林的遍历1. 先根遍历&#xff08;递归、非…