Redis缓存淘汰策略

Redis缓存淘汰策略

1、各种面试题

  • 生产上你们的redis内存设置多少?
  • 如何配置、修改redis的内存大小
  • 如果内存满了你怎么办？
  • redis清理内存的方式?定期删除和惰性删除了解过吗？
  • redis缓存淘汰策略有哪些?分别是什么?你用哪个?
  • redis的LRU了解过吗?请手写LRU。
  • lru和lfu算法的区别是什么？

2、Redis内存

Redis内存满了怎么办?redis默认内存多少?在哪里查看?如何设置修改?

查看Redis最大占用内存

在redis配置文件中，MEMORY MANAGEMENT选项

image-20231126160325070

如果不设置最大内存大小或者设置最大内存大小为0，在64位操作系统下不限制内存大小，在32位操作系统下最多使用3GB内存。

image-20231126160616423

注意，在64bit系统下，maxmemory设置为0表示不限制 Redis内存使用

一般推荐Redis设置内存为最大物理内存的四分之三

怎么修改内存大小？

  1. 修改配置文件然后重启即可。

    举例：配个100M

    image-20231126161938594

  2. 可以直接通过命令修改config set maxmemory 104857600当然这个一重启就没有了只是暂时的。

    image-20231126162111172

查看redis内存使用情况

  1. info memory
  2. config get maxmeory

image-20231126162347814

真要打满了会怎么样? 如果Redis内存使用超出了设置的最大值会怎样?

我们把内存设置成1字节

image-20231126162629590

image-20231126162700277

报OOM的错误。

所以，有一个场景，没有加上过期时间就会导致数据写满maxmemory，为了避免类似情况，我们需要内存淘汰策略。

往redis里写的数据是怎么没了的?它如何删除的?

  • redis过期键的删除策略

    如果一个键是过期的，那它到了过期时间之后是不是马上就从内存中被被删除呢？

    并不是的

  • 三种不同的删除策略

    1. 立即删除。–对CPU不友好，用处理器性能换取存储空间(拿时间换空间)

      Redis不可能时时刻刻都遍历所有被设置了生存时间的key，来检查数据是否到了过期时间，然后删除它，立即删除能保证内存中数据的最大新鲜度，因为它保证过期建值会在过期后马上删除，它所占的内存也会得到释放。但是立即删除是对CPU一个不小的压力，删除操作会占用CPU时间，如果此时的CPU正非常的忙，比如它正在做交集或者排序计算时，就会给CPU造成额外的压力，这样会产生大量的性能消耗，同时也会影响数据的读取操作。

    2. 惰性删除。–对memory不友好，用存储空间换取处理器性能（拿空间换时间)

      数据到达过期时间，不做处理，等到下次访问该数据时，如果未过期，返回数据，如果已经过期，就删除，返回不存在。

      惰性删除的缺点就是太占内存。

      如果一个键已经过期，而这个键又仍然保留在redis中，那么只要这个过期键不被删除，它所占用的内存就不会释放。
      在使用惰性删除策略时，如果数据库中有非常多的过期键，而这些过期键又恰好没有被访问到的话，那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB)，我们甚至可以将这种情况看作是一种内存泄漏-无用的垃圾数据占用了大量的内存，而服务器却不会自己去释放它们，这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。

      开启惰性淘汰，lazyfree-lazy-eviction=yes

      image-20231126164623110

    3. 上面俩方案都极端，折中一下---->定期删除

      定期删除策略是前两种方案的折中

      定期删除策略每隔一段时间执行一次删除过期键操作并通过限制删除操作执行时长和频率来减少删除操作对CPU时间的影响。

      周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度

      特点1:CPU性能占用设置有峰值，检测频度可自定义设置
      特点2:内存压力不是很大，长期占用内存的冷数据会被持续清理总结:周期性抽查存储空间（随机抽查，重点抽查)

      redis默认每隔100ms检查是否有过期的key，有过期key则删除。注意: redis不是每隔100ms将所有的key检查一次而是随机抽取进行检查(如果每隔100ms,全部key进行检查，redis直接进去ICU)。因此，如果只采用定期删除策略，会导致很多key到时间没有删除。

      定期删除策略的难点是确定删除操作执行的时长和频率:如果删除操作执行得太频繁或者执行的时间太长，定期删除策略就会退化成立即删除策略，以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少，或者执行的时间太短，定期删除策略又会和惰性删除束略一样，出现浪费内存的情况。因此，如果采用定期删除策略的话，服务器必须根据情况，合理地设置删除操作的执行时长和执行频率。

  • 总会有漏网之鱼的，定期删除时，从来没有被抽查到，惰性删除时，也从来没有被点中使用过，然后就会导致大量的key堆积在内存中，导致redis内存空间紧张或者很快耗尽，所以得有缓存淘汰策略。

3、Redis缓存淘汰策略

先看配置文件中的配置在哪

image-20231126170252192

3.1、lru和lfu算法的区别

此时计算机操作系统学的东西要想起来了！！！

LRU

最近最少使用页面置换算法，淘汰最长时间未使用的页面，看页面最后一次被使用到发生调度的时间长短，时间长的就被淘汰了。

LFU

最近最不常用页面置换算法，淘汰一定时期内被访问次数最少的页，看一定时间段内页面被使用的频率，淘汰一定时期内被访问次数最少的页。

举例：

某次时期Time为10分钟,如果每分钟进行一次调页,主存块为3,若所需页面走向为2121234假设到页面4时会发生缺页中断
若按LRU算法,应换页面1(1页面最久未被使用)，但按LFU算法应换页面3(十分钟内,页面3只使用了一次)
可见LRU关键是看页面最后一次被使用到发生调度的时间长短,而LFU关键是看一定时间段内页面被使用的频率!

看一下操作系统的书

image-20231126171749832

image-20231126171802420

3.2、有哪些缓存淘汰策略？

一共8种

  1. noeviction:不会驱逐任何key，表示即使内存达到上限也不进行置换，所有能引起内存增加的命令都会返回erro。（默认的就是这个策略）
  2. alkeys-lru:对所有key使用LRU算法进行删除，优先删除掉最近最不经常使用的key，用以保存新数据。
  3. volatile-Iru:对所有设置了过期时间的key使用LRU算法进行删除。
  4. allkeys-random:对所有key随机删除。
  5. volatile-random:对所有设置了过期时间的key随机删除。
  6. volatile-ttl:删除马上要过期的key。
  7. allkeys-Ifu:对所有key使用LFU算法进行删除。
  8. volatile-lfu:对所有设置了过期时间的key使用LFU算法进行删除。

3.3、上面的小结

两个维度四个方面，2*4=8

两个维度：

  • 过期键中筛选
  • 所有键中筛选

四个方面

  • LRU
  • LFU
  • random
  • ttl

3.4、平时使用哪一种？

  • 在所有的key都是最近最经常使用，那么就需要选择allkeys-lru进行置换最近最不经常使用的key,如果你不确定使用哪种策略，那么推荐使用allkeys-Iru（推荐）
  • 如果所有的 key的访问概率都是差不多的，那么可以选用allkeys-random策略去置换数据
  • 如果对数据有足够的了解，能够为key 指定hint(命中，通过expire/ttl指定），那么可以选择volatile-ttl进行置换

redis缓存淘汰策略配置性能建议

  • 避免存储bigkey
  • 开启惰性淘汰，lazyfree-lazy-eviction=yes

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/171852.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AMESim与MATLAB联合仿真demo

AMESim与MATLAB联合仿真demo

本文是AMESim与MATLAB联合仿真的demo，记录一下如何进行联合仿真。 AMESim与MATLAB联合仿真可以大幅度提高工作效率。 author：xiao黄 缓慢而坚定的生长 csdn:https://blog.csdn.net/Python_Matlab?typeblog主页传送门 博主的联合仿真环境如下&#xff…
阅读更多...
代码随想录二刷 ｜ 哈希表 ｜ 快乐数

代码随想录二刷 ｜ 哈希表 ｜ 快乐数

代码随想录二刷 ｜ 哈希表 ｜ 快乐数 题目描述解题思路 & 代码实现 题目描述 202.快乐数 编写一个算法来判断一个数 n 是不是快乐数。 「快乐数」 定义为： 对于一个正整数，每一次将该数替换为它每个位置上的数字的平方和。 …
阅读更多...
代码随想录算法训练营 ---第四十三天

代码随想录算法训练营 ---第四十三天

前言： 今天同样是01背包问题，今天详细学习了背包问题在各种场景下的应用。今天一道也没做出来，有点废。好难啊！就是思路不太清晰，不知道如何去做，看了题解后感觉原来如此，但是想不出来。今天做…
阅读更多...
leetcode9.回文数

leetcode9.回文数

回文数 0.题目1.WJQ的思路2.实现过程2.0 原始值怎么一个个取出来？2.1 取出来的数如何存到新的数字后面？2.2完整的反转得到新数的过程 3.完整的代码4.可运行的代码5.算法还可以优化的部分 0.题目 给你一个整数 x ，如果 x 是一个回文整数&…
阅读更多...
Binlog vs. Redo Log：数据库日志的较劲【基础】

Binlog vs. Redo Log：数据库日志的较劲【基础】

🎏：你只管努力，剩下的交给时间 🏠 ：小破站 Binlog vs. Redo Log：数据库日志的较劲 前言第一：Binlog与Redo Log的基础概念Binlog（二进制日志）的基础概念Redo Log&#xff…
阅读更多...
IIC驱动OLED(SSD1306) HAL库+CubeMX

IIC驱动OLED(SSD1306) HAL库+CubeMX

一.IIC传输数据的格式 1.写操作 2.读操作 3.IIC信号 二. IIC底层驱动 1.重新初始化配置延时单元 //软件延时 void I2C_Delay(uint32_t t) {volatile uint32_t tmp t;while(tmp--); }void I2C_GPIO_ReInit(void) {/* 1. 使用结构体定义硬件GPIO对象 */GPIO_InitTypeDef GPIO…
阅读更多...
安装最新版WebStorm来开发JavaScript应用程序

安装最新版WebStorm来开发JavaScript应用程序

安装最新版WebStorm来开发JavaScript应用程序 Install the Latest Version of JetBrains WebStorm to Develop JavaScript Applications By JacksonML 2023-11-25 1. 系统要求 WebStorm是个跨平台集成开发环境（IDE）。按照JetBrains官网对WebStorm软件…
阅读更多...
【C++】类型转换 ② ( C++ 静态类型转换 static_cast | C 语言隐式转换弊端 | 代码示例 )

【C++】类型转换 ② ( C++ 静态类型转换 static_cast | C 语言隐式转换弊端 | 代码示例 )

文章目录 一、静态类型转换 static_cast1、C 静态类型转换 static_cast2、C 语言隐式转换弊端3、代码示例 在之前写过一篇 C 类型转换的博客 【C 语言】类型转换 ( 转换操作符 | const_cast | static_cast | dynamic_cast | reinterpret_cast | 字符串转换 ) , 简单介绍了 C 类…
阅读更多...
大数据基础 HDFS客户端操作

大数据基础 HDFS客户端操作

一、Maven概述 Maven是一个专门用于管理和构建Java项目的工具。我们之所以要使用Maven，是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制，这些功能可以使得我们的项目结构更加清晰，导入jar包的…
阅读更多...
初学vue3与ts：setup与setup()下的数据写法

初学vue3与ts：setup与setup()下的数据写法

把setup写在script里 <template><div><div class"index-title">script setup</div><div class"title">字符串&#xff1a;</div><div class"title-sub">ref版&#xff1a;{{strRef}}</div><…
阅读更多...
arduino库之：sevseg库说明文档

arduino库之：sevseg库说明文档

该库将您的 Arduino 变成一个七段显示控制器。使用它可以轻松地在七段显示器上显示数字&#xff0c;无需任何额外的控制器。该库不支持移位寄存器。 支持&#xff1a; Arduino 连接 所有数字引脚都可以连接到Arduino的任何数字引脚&#xff0c;或具有数字支持的模拟引脚&#…
阅读更多...
cocos游戏引擎制作的滚动框地图防止误点操作的简单方法

cocos游戏引擎制作的滚动框地图防止误点操作的简单方法

本篇文章主要讲解&#xff0c;使用cocos creator 来解决在我们日常滚动框开发中&#xff0c;滚动和触摸存在冲突的情况&#xff0c;导致的误触行为的解决办法。 日期&#xff1a;2023年11月25日 具体事项 说明&#xff1a;在我们滚动滚动框时&#xff0c;会出现误点的情况&…
阅读更多...
Drools 7 JMX Mbean 及Metric 分析

Drools 7 JMX Mbean 及Metric 分析

Mbean mbean的打开很简单&#xff0c;使用jmx启动参数&#xff1a; -Dcom.sun.management.jmxremote.port9999 -Ddrools.mbeansenabled -Dcom.sun.management.jmxremote.authenticatefalse -Dcom.sun.management.jmxremote.sslfalse 但通过jconsole能直观看到的东西也很…
阅读更多...
代码随想录-刷题第八天

代码随想录-刷题第八天

344. 反转字符串 题目链接&#xff1a;344. 反转字符串 思路&#xff1a;让第一个和最后一个交换位置&#xff0c;第二个和倒数第二个交换位置&#xff0c;依次类推。 时间复杂度O(n)&#xff0c;空间复杂度O(1) class Solution {public void reverseString(char[] s) {// …
阅读更多...
Vaex助力高效处理大规模数据集

Vaex助力高效处理大规模数据集

大家好&#xff0c;在数据科学中&#xff0c;高效处理大规模数据集一直是个挑战。Vaex是一个功能强大的Python库&#xff0c;旨在通过提供快速且内存高效的数据操作和分析功能来解决这个问题。本文将探讨Vaex的实际应用&#xff0c;并展示如何简化工作流程。 1.惰性计算 Vaex…
阅读更多...
利用 LD_PRELOAD 环境变量

利用 LD_PRELOAD 环境变量

文章目录 原理LD_PRELOAD介绍如何上传.so文件 例题 [虎符CTF 2022]ezphp 原理 LD_PRELOAD介绍 LD_PRELOAD是Linux系统的一个环境变量&#xff0c;它可以影响程序的运行时的链接&#xff08;Runtime linker&#xff09;&#xff0c;它允许你定义在程序运行前优先加载的动态链接…
阅读更多...
【2023.11.26】Mybatis自定义映射规则学习

【2023.11.26】Mybatis自定义映射规则学习

创建自定义映射规则 <select id"selectArtist" resultMap"test">select * from artist </select> 在SQL语句标签中将resultType修改为resultMap&#xff0c;即自定义映射的id。 编写自定义映射规则&#xff1a; <resultMap id"tes…
阅读更多...
Linux - 系统调用（syscall）

Linux - 系统调用（syscall）

说明 基于riscv64 soc linux_5.10.4平台&#xff0c;通过新增一个系统调用深入了解下系统调用实现原理。 简介 Linux 软件运行环境分为用户空间和内核空间&#xff0c;默认情况下&#xff0c;用户进程无法访问内核&#xff0c;既不能访问内核所在的内存空间&#xff0c;也不…
阅读更多...
从范式标准谈一下OLTP和OLAP的区别

从范式标准谈一下OLTP和OLAP的区别

背景 在传统的OLAP和OLTP数据库的主要差别中&#xff0c;我们从数据组积的抽象层面看下两者的区别 范式上的区别 传统的OLTP数据库和OLAP数据库的在范式上重要的差异&#xff0c;传统的OLTP数据库是为进行事务处理服务的&#xff0c;其表结构遵循E-R关系模型&#xff0c;并且…
阅读更多...
深入了解Java中SQL优化的关键技巧与实践

深入了解Java中SQL优化的关键技巧与实践

引言 介绍SQL优化对于Java应用性能的重要性&#xff0c;并概述本文将要讨论的内容。 1. 编写高效的SQL语句 - **索引的类型与使用&#xff1a;** 解释B-Tree索引、哈希索引等类型的区别&#xff0c;以及如何根据查询需求合理创建和使用索引。 - **查询优化器&#xff1a;** 说明…
阅读更多...
最新文章

Copyright @ 2022~2023