LRU淘汰策略执行过程

1 介绍

Redis无论是惰性删除还是定期删除,都可能存在删除不尽的情况,无法删除完全,比如每次删除完过期的 key 还是超过 25%,且这些 key 再也不会被客户端访问。
这样的话,定期删除和堕性删除可能都彻底的清理掉。如果这种情况长时间持续下去,可能会导致内存耗尽,所以Redis必须有一个完善的内存淘汰机制来保障。这就是我们这一篇的重点,Redis内存自动淘汰机制。

2 Redis内存淘汰策略

在 redis 中总共由8种淘汰策略,默认的淘汰策略是 noeviction。

noeviction不淘汰策略(默认)
淘汰数据策略设置过期时间的淘汰策略valatile-random随机淘汰算法
volatile-ttl淘汰失效时间最短的key
volatile-lru删除最近最少使用的key
volatile-lfu删除访问次数最少的key
所有数据的淘汰策略allkeys-lru删除最近最少使用的key(全部)
allkeys-lfu删除访问次数最少的key(全部)
allkey-random随机淘汰算法(全部)

2.1 设置过期时间的淘汰策略

volatile-ttl、volatile-random、volatile-lru、volatile-lfu 这4种策略淘汰的数据范围为设置了过期时间的数据。

2.2 所有 key 的淘汰策略

allkeys-lru、allkeys-random、allkeys-lfu 这3种淘汰策略无论是否设置了过期时间,内存不足时都会进行淘汰。
也就是说无论它的过期时间到没到,都有可能被删除。

3 LRU淘汰策略执行过程

这边以LRU算法为例子讲解,它的全称是 Least Rencently Used,即将最近最久未使用的算法进行数据淘汰。
我们这边以图例来讲解,整个过程如下:

  • 首先设置一个淘汰池(一个链表),假设默认大小是16,里面的数据采用末尾淘汰制。如图中
    • MRU:表示链表的表头,代表着最近最常被访问的数据;
    • LRU:表示链表的表尾,代表最近最不常使用的数据。
  • 如果淘汰池中的数据被访问,则会被移动到 MRU 端,其他位置的数据则相应往后移动一位
  • 每次指令操作的时候,自旋会判断当前内存是否满足指令所需要的内存
  • 如果当前内存不能满足,会从淘汰池中的尾部拿取一个最适合淘汰的数据
    • 取样模式(配置 maxmemory-samples属性)从Redis中获取随机的取样数据,避免一次性读取All Key性能慢
    • 在取样的数据中,根据淘汰算法 找到最适合淘汰的数据
  • 将需要淘汰的数据从Redis删除,并且从淘汰池移除

image

这边注意,LRU 更新和新增数据都发生在链表首,删除数据都发生在链表尾。
水果 Orange 跟 Pitaya 被访问,被移动到MRU端,新增的Mango也被插入到MRU端。而最末端的Olive则被删除。

4 算法实现

以下是使用Go语言实现Redis LRU淘汰过程的示例代码,代码注释很清楚:

package main  import (  "container/list"  "fmt"  "time"  
)  type Redis struct {  data map[string]*list.Element // 存储缓存项的键和值,以及它们在LRU链表中的位置  lru *list.List // LRU链表  
}  type cacheItem struct {  key   string  value string  // 记录该缓存项最后一次被访问的时间  lastAccess time.Time  
}  func NewRedis() *Redis {  return &Redis{  data: make(map[string]*list.Element),  lru: list.New(),  }  
}  func (r *Redis) Get(key string) (string, bool) {  // 从LRU链表中查找缓存项  if elem, ok := r.data[key]; ok {  // 将该缓存项移动到链表头部,表示最近被访问过  r.lru.MoveToFront(elem)  // 更新缓存项的最后访问时间  item := elem.Value.(*cacheItem)  item.lastAccess = time.Now()  return item.value, true  }  return "", false  
}  func (r *Redis) Set(key string, value string) {  // 从LRU链表中查找缓存项  if elem, ok := r.data[key]; ok {  // 如果缓存项存在,更新其值和最后访问时间,并将其移动到链表头部  item := elem.Value.(*cacheItem)  item.value = value  item.lastAccess = time.Now()  r.lru.MoveToFront(elem)  return  }  // 如果缓存项不存在,创建新的缓存项并将其添加到LRU链表头部  item := &cacheItem{  key:    key,  value:  value,  lastAccess: time.Now(),  }  elem := r.lru.PushFront(item)  r.data[key] = elem  // 如果缓存空间已满,执行LRU淘汰操作  for r.lru.Len() > maxItems {  // 从链表尾部查找最久未被访问的缓存项  elem := r.lru.Back()  item := elem.Value.(*cacheItem)  // 如果该缓存项的过期时间已到达,则从链表中删除该缓存项  if item.lastAccess.Add(expireTime).Before(time.Now()) {  r.lru.Remove(elem)  delete(r.data, item.key)  } else {  // 否则,只从链表中删除该缓存项  r.lru.Remove(elem)  }  }  
}

在这个示例中,我们使用了一个map来存储缓存项的键和值,以及它们在LRU链表中的位置。我们使用了一个LRU链表来存储缓存项,并按照访问时间将它们排序。在Get方法中,我们从LRU链表中查找缓存项,并将其移动到链表头部,表示最近被访问过。在Set方法中,如果缓存项已存在,我们更新其值和最后访问时间,并将其移动到链表头部;如果缓存项不存在,我们创建新的缓存项并将其添加到LRU链表头部。如果缓存空间已满,我们执行LRU淘汰操作,从链表尾部查找最久未被访问的缓存项,并从链表中删除它。注意,我们还检查了缓存项的过期时间,如果该缓存项已过期,则也会从链表中删除它。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/49777.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

百度许少辉著Baidu《乡村振兴战略下传统村落文化旅游设计》图书馆新书通报

百度许少辉著Baidu《乡村振兴战略下传统村落文化旅游设计》图书馆新书通报

AWS SDK 3.x for .NET Framework 4.0 可行性测试

前言 为了应对日益增长的网络安全挑战, 越来越多的互联网厂商已经陆续开始或者已经彻底停止了对 SSL 3 / TLS 1.0 / TLS1.1 等上古加密算法的支持. 而对于一些同样拥有悠久历史的和 AWS 服务相关联的应用程序, 是否可以通过仅更新 SDK 版本的方式来适应新的环境. 本文将以 Win…

揭开pkill的秘密:在Linux中杀死进程的完整指南

揭开pkill的秘密:在Linux中杀死进程的完整指南 一、前言二、进程管理基础知识2.1、什么是进程?2.2、进程管理的原理和目的2.3、进程状态和标识符 三、理解Linux pkill命令3.1、pkill命令的概述和作用3.2、与kill命令的对比3.3、常见的pkill命令选项和参数…

PCAP01介绍和STM32模拟SPI驱动

一.芯片介绍 Pcap01是德国acam公司设计的一款革命性的电容测量芯片。该芯片 内部有DSP计算单元,可以直接将电容元件接到Pcap01芯片,然后芯片计算出容值大小,通过SPI总线将电容容值数据传送给CPU,电容测量完全数字化。 二,测量原…

无脑入门pytorch系列(五)—— nn.Dropout

本系列教程适用于没有任何pytorch的同学(简单的python语法还是要的),从代码的表层出发挖掘代码的深层含义,理解具体的意思和内涵。pytorch的很多函数看着非常简单,但是其中包含了很多内容,不了解其中的意思…

docker启用cgroup v2

要求 本人的操作系统是kali,基于debian docker info如果你这里是2那么说明启用了,如果是1,那么就未启用 对于Docker来说,Cgroups v2的使用需要满足以下条件: Linux内核版本在4.15以上。 uname -r 系统已经启用Cgro…

前端处理图片文件的方法

在项目开发过程中&#xff0c;有一个需求&#xff0c;需要前端对上传的图片进行处理&#xff0c;以字符串的形式传给后端&#xff0c;实现效果如下&#xff1a; 1.上传图片的组件 在该项目中&#xff0c;使用了element plus组件库 <el-uploadv-model:file-list"fileL…

c++(8.23)类,this指针,构造函数,析构函数,拷贝构造函数

设计一个Per类&#xff0c;类中包含私有成员&#xff1a;姓名、年龄、指针成员身高、体重&#xff0c;再设计一个Stu类&#xff0c;类中包含私有成员&#xff1a;成绩、Per类对象 p1&#xff0c;设计这两个类的构造函数、析构函数和拷贝构造函数。 #include <iostream>u…

​8th参考文献:[8]许少辉.乡村振兴战略下传统村落文化旅游设计[M]北京:中国建筑工业出版社,2022.

​&#xff18;th参考文献&#xff1a;&#xff3b;&#xff18;&#xff3d;许少辉&#xff0e;乡村振兴战略下传统村落文化旅游设计&#xff3b;&#xff2d;&#xff3d;北京&#xff1a;中国建筑工业出版社&#xff0c;&#xff12;&#xff10;&#xff12;&#xff12;&a…

notebook写好代码后直接生成PPT报告(html格式)

注&#xff1a;记录使用notebook直接生成html格式的PPT报告&#xff08;html格式&#xff09;。 前置内容&#xff1a;如果直接导出没有Reveal.js.slides(.slides.html)选项&#xff0c;需要安装插件nbextensions。 安装参考&#xff1a;插件nbextensions安装 操作步骤&#x…

PostgreSQL-UDF用户自定义函数-扩展插件

目录 PostgreSQL-UDF用户自定义函数-扩展插件零、前置条件一、创建 .c 和 .sql 文件创建.c文件创建.sql文件 二、创建 .control 和 Makefile 文件创建 .control 文件创建 Makefile 文件 三、编译 & 链接四、psql&#xff08;或者其他PG backend&#xff09;中创建扩展 Post…

【C++杂货铺】探索string的底层实现

文章目录 一、成员变量二、成员函数2.1 默认构造函数2.2 拷贝构造函数2.3 operator2.4 c_str()2.5 size()2.6 operator[ ]2.7 iterator2.8 reserve2.9 resize2.10 push_back2.11 append2.12 operator2.13 insert2.14 erase2.15 find2.16 substr2.17 operator<<2.18 opera…

【微服务】spring 条件注解从使用到源码分析详解

目录 一、前言 二、spring 条件注解概述 2.1 条件注解Conditional介绍 2.2 Conditional扩展注解 2.2.1 Conditional扩展注解汇总 三、spring 条件注解案例演示 3.1 ConditionalOnBean 3.2 ConditionalOnMissingBean 3.2.1 使用在类上 3.2.2 使用场景补充 3.3 Condit…

jvm-类加载子系统

1.内存结构概述 类加载子系统负责从文件系统或网络中加载class文件&#xff0c;class文件在文件开头有特定的文件标识 ClassLoader只负责class文件的加载&#xff0c;至于它是否运行&#xff0c;则由Execution Engine决定 加载的类信息存放于一块称为方法区的内存空间&#xff…

什么是安全测试报告,怎么获得软件安全检测报告?

安全测试报告 软件安全测试报告&#xff1a;是指测试人员对软件产品的安全缺陷和非法入侵防范能力进行检查和验证的过程&#xff0c;并对软件安全质量进行整体评估&#xff0c;发现软件的缺陷与 bug&#xff0c;为开发人员修复漏洞、提高软件质量奠定坚实的基础。 怎么获得靠谱…

Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)

Hadoop学习&#xff1a;深入解析MapReduce的大数据魔力之数据压缩&#xff08;四&#xff09; 4.1 概述1&#xff09;压缩的好处和坏处2&#xff09;压缩原则 4.2 MR 支持的压缩编码4.3 压缩方式选择4.3.1 Gzip 压缩4.3.2 Bzip2 压缩4.3.3 Lzo 压缩4.3.4 Snappy 压缩4.3.5 压缩…

学会Mybatis框架:让你的代码更具灵活性、可维护性、安全性和高效性【二.动态SQL】

&#x1f973;&#x1f973;Welcome Huihuis Code World ! !&#x1f973;&#x1f973; 接下来看看由辉辉所写的关于Mybatis的相关操作吧 目录 &#x1f973;&#x1f973;Welcome Huihuis Code World ! !&#x1f973;&#x1f973; 一.Mybatis动态SQL如何应用 1.需求 2.…

分布式锁 总结

分布式锁 在应用开发中&#xff0c;特别是web工程开发&#xff0c;通常都是并发编程&#xff0c;不是多进程就是多线程。这种场景下极易出现线程并发性安全问题&#xff0c;此时不得不使用锁来解决问题。在多线程高并发场景下&#xff0c;为了保证资源的线程安全问题&#xff0…

五、修改官方FreeRTOS例程(STM32F1)

1、官方源码下载 (1)进入FreeRTOS官网&#xff1a;FreeRTOS官网 (2)下载FreeRTOS。(选择带示例的下载) 2、删减目录 (1)下载后解压的FreeRTOS文件如下图所示。 (2)删除下图中红框勾选的文件。 FreeRTOS-Plus&#xff0c;FreeRTOS的生态文件&#xff0c;非必需的。tools&…

【数据库】表操作 习题总结

目录 关系建表 数据库sql的执行顺序 内外连接的写法 1.设计一张商品表 2.设计一张老师表 3.设计一张图书表 4.查询练习 5.查询练习 6.设计一个考勤系统 7.设计一个学校宿舍管理系统 8.设计一个车辆违章系统 9.设计一个学校食堂管理系统 10.有一张员工表emp&#xf…