【算法】缓存淘汰算法

目录

  • 1.概述
  • 2.代码实现
    • 2.1.FIFO
    • 2.2.LRU
    • 2.3.LFU
    • 2.4.Clock
    • 2.5.Random
  • 3.应用

1.概述

缓存淘汰策略是指在缓存容量有限的情况下,当缓存空间不足时决定哪些缓存项应当被移除的策略。缓存淘汰策略的目标是尽可能地保持缓存命中率高,同时合理地利用有限的缓存空间

需要注意的是,下面的代码实现只是对缓存淘汰算法的基本实现,在实际情况中,可以需要考虑更多的因素!

2.代码实现

2.1.FIFO

(1)FIFO (First-In-First-Out) 是一种基本的内存淘汰策略。其思路是按照元素的进入顺序来选择要淘汰的元素。具体来说,当有新的元素要加入到固定容量的缓存中时,如果缓存已满,就需要选择一个元素进行淘汰,以腾出空间存储新的元素。在 FIFO 策略中,选择被缓存时间最长的元素进行淘汰

(2)FIFO 策略维护一个队列,在每次新元素加入缓存时,将新元素添加到队列的末尾。当需要淘汰元素时,选择队列的头部元素作为淘汰对象,即最早进入缓存的元素。通过这种方式,始终保持最早进入缓存的元素在队列头部,最新进入缓存的元素在队列末尾。

(3)使用 FIFO 策略的好处是它的实现简单且执行效率高。然而,它没有考虑元素的访问频率或重要性等因素,只根据进入缓存的顺序来进行淘汰,可能会导致缓存中的数据不够优化。因此,在某些应用场景下,FIFO 策略可能不是最优选择,需要根据实际需求选择更复杂的内存淘汰策略。其具体代码实现如下:

class FIFOCache<K, V> {private int capacity;private Deque<K> queue;private Map<K, V> cache;//进行初始化操作public FIFOCache(int capacity) {this.capacity = capacity;this.queue = new ArrayDeque<>(capacity);this.cache = new HashMap<>(capacity);}//接收一个键 key 并返回相应的值,如果键不存在,则返回 nullpublic V get(K key) {return cache.getOrDefault(key, null);}//接收一个键 key 和一个值 value,并将它们存储在缓存中public void put(K key, V value) {if (!cache.containsKey(key)) {//如果缓存已满,将使用队列的 poll 方法移除最早加入的键if (queue.size() == capacity) {K oldestKey = queue.poll();cache.remove(oldestKey);}//然后将新的键加入队列的尾部queue.offer(key);}//将新的键值对加入缓存cache.put(key, value);}public V remove(K key) {//从队列中移除指定键queue.remove(key); // 从缓存中移除指定键并返回对应的值return cache.remove(key); }public void clear() {//清空队列queue.clear(); //清空缓存cache.clear(); }public int size() {return cache.size();}
}

2.2.LRU

参考 146.LRU 缓存这篇文章。

2.3.LFU

参考 460.LFU 缓存这篇文章。

2.4.Clock

(1)Clock 缓存淘汰算法是一种基于近似“最近未使用” (Not Recently Used) 策略的淘汰算法。该算法通过维护一个环形指针数组 (Clock),来判断缓存项是否被使用,从而进行淘汰决策。Clock 缓存淘汰算法的思路如下:

  • 对于每个缓存项,维护一个额外的访问位来标记缓存项是否被访问过。
  • 初始状态下,将所有缓存项的访问位都设置为 0。
  • 创建一个环形指针数组,数组中的每个槽位对应一个缓存项,并按照某种顺序排列。
  • 当需要淘汰一个缓存项时,根据指针指向的槽位判断:
    • 如果该槽位的访问位为 0,表示该缓存项最近未被使用,可以选择淘汰。
    • 如果该槽位的访问位为 1,表示该缓存项最近被使用过,将访问位置为 0,并将指针向后移动一位。
  • 重复第 4 步,直到找到一个访问位为 0 的槽位,将该缓存项置换出来,让出空间给新的缓存项。
  • 如果需要访问某个缓存项时,将其对应的访问位置为 1,表示该缓存项已被使用。

(2)Clock 缓存淘汰算法相对于经典的最近未使用 (LRU) 算法具有更低的时间和空间复杂度。它通过近似地追踪缓存项的访问状态来进行淘汰决策,适用于中小规模的缓存系统。

(3)然而,需要注意的是,Clock 算法可能出现缓存项的“反复使用”情况,即缓存项被不断地替换出去又被重新引入,这可能会影响缓存的命中率。因此,在实际应用中,需要根据具体场景和需求,综合考虑各个因素,选择合适的缓存淘汰策略。其具体代码实现如下:

class ClockCache<K, V> {//循环链表节点static class CircleListNode<K, V> {K key;V value;boolean accessFlag;CircleListNode<K, V> pre;CircleListNode<K, V> next;public CircleListNode() {}public CircleListNode(K key, V value) {this.key = key;this.value = value;}}private int capacity;//头节点private CircleListNode<K, V> dummyHead;private Map<K, CircleListNode<K, V>> cache;public ClockCache(int capacity) {this.capacity = capacity;this.dummyHead = new CircleListNode<>();this.dummyHead.next = this.dummyHead;this.dummyHead.pre = this.dummyHead;this.cache = new HashMap<>();}public V get(K key) {if (cache.containsKey(key)) {CircleListNode<K, V> node = cache.get(key);//将访问位设置为 truenode.accessFlag = true;return node.value;} else {return null;}}public void put(K key, V value) {if (cache.containsKey(key)) {CircleListNode<K, V> node = cache.get(key);//将访问位设置为 truenode.accessFlag = true;node.value = value;} else {if (cache.size() >= capacity) {//从最老的元素开始,此处直接从 head.next 开始,后续可以考虑优化记录这个 keyCircleListNode<K, V> node = this.dummyHead;boolean removeFlag = false;while (node.next != this.dummyHead) {//下一个元素node = node.next;if (!node.accessFlag) {//未访问,直接淘汰removeNode(node);System.out.println(node.key);removeFlag = true;break;} else {//设置当前 accessFlag 为 false,继续遍历下一个node.accessFlag = false;}}if (!removeFlag) {//如果循环一遍都没找到,直接取第一个元素即可CircleListNode<K, V> firstNode = this.dummyHead.next;System.out.println(firstNode.key);removeNode(firstNode);}}CircleListNode<K, V> newNode = new CircleListNode<>(key, value);newNode.accessFlag = true;CircleListNode<K, V> tail = dummyHead.pre;tail.next = newNode;newNode.pre = tail;newNode.next = dummyHead;dummyHead.pre = newNode;cache.put(key, newNode);}}public void remove(K key) {CircleListNode<K, V> node = cache.get(key);if (node != null) {cache.remove(key);removeNode(node);}}public void clear() {cache.clear();}public int size() {return cache.size();}private void removeNode(CircleListNode<K, V> node) {CircleListNode<K, V> pre = node.pre;CircleListNode<K, V> next = node.next;pre.next = next;next.pre = pre;cache.remove(node.key);}
}

2.5.Random

(1)Random(随机)内存淘汰算法的思想是基于随机选择的策略来进行缓存淘汰。该算法不依赖于缓存项的访问频率或时间等信息,而是通过随机选择一个缓存项进行淘汰,没有明确的优先级或规则。Random 内存淘汰算法的思想如下:

  • 当缓存空间不足时,需要淘汰一个缓存项。
  • 使用随机数生成器(如 Random 类)来生成一个随机索引,范围为缓存的容量。
  • 根据生成的随机索引,随机选择一个缓存项进行淘汰。
  • 被选择的缓存项被移除,让出空间给新的缓存项。

(2)随机选择的特点使得每个缓存项被淘汰的概率相等,没有明确的优先级,所有缓存项都有被淘汰的可能性。这种随机性的特点适用于一些无规律或无明确访问模式的缓存使用场景。然而,随机内存淘汰算法可能导致缓存命中率下降,因为被频繁访问的缓存项有可能被随机选中被淘汰,从而增加缓存不命中的概率。

因此,在选择淘汰算法时,需要根据具体应用场景和缓存使用模式来权衡各种算法的优劣,并选择适合的淘汰策略以达到最优的性能。

(3)其具体代码实现如下:

class RandomCache<K, V> {private int capacity;private List<K> keys;private Map<K, V> cache;private Random random;public RandomCache(int capacity) {this.capacity = capacity;this.keys = new ArrayList<>(capacity);this.cache = new HashMap<>(capacity);this.random = new Random();}//接收一个键 key 并返回相应的值,如果键不存在,则返回 nullpublic V get(K key) {return cache.getOrDefault(key, null);}public void put(K key, V value) {if (!cache.containsKey(key)) {//如果缓存已满,将使用 Random 对象的 nextInt 方法随机选择一个键索引并从列表中移除键if (keys.size() == capacity) {int index = random.nextInt(capacity);K randomKey = keys.remove(index);cache.remove(randomKey);}keys.add(key);}cache.put(key, value);}public V remove(K key) {if (cache.containsKey(key)) {//从列表中移除指定键keys.remove(key); //从缓存中移除指定键并返回对应的值return cache.remove(key);}return null;}public void clear() {keys.clear(); cache.clear(); }public int size() {return cache.size();}
}

3.应用

Redis 的缓存淘汰策略如下:

在这里插入图片描述
有关上面淘汰策略的一些具体说明如下:

  • noevction 是 Redis 的默认配置。当缓存被写满时,再有写请求进来,Redis 不再提供服务,直接返回错误。
  • LRULFU 算法是常见的淘汰算法,其具体细节可以参考 146.LRU 缓存、460.LFU 缓存这两篇文章。
  • random 指随机删除,相关的算法实现可以参考 380. O(1) 时间插入、删除和获取随机元素这篇文章。
  • volatile-ttl 策略:针对设置了过期时间的键值对,根据过期时间的先后进行删除,越早过期的数据越先被淘汰,即 ttl 越小的数据越优先被淘汰,这里的 ttl 指 Time to Live,即生存时间。

要想设置 Redis 的缓存淘汰策略,可以在其配置文件 redis.conf 中进行 maxmemory-policy 具体淘汰策略 的设置,例如设置淘汰策略为 volatile-lru

maxmemory-policy volatile-lru

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/165027.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(保姆级教程)Mysql中事务的概念,什么是事务,如何使用事务,以及事务的隔离级别,什么是脏读、幻读,代码演示

继续讲解 Mysql 数据库中最重要的一个概念&#xff1a;事务 文章目录 事务1.1 什么是事务1.2 执行原理1.3 如何操作事务1.4 事务的特点&#xff08;ACID原则&#xff09;1.5 事务并发1.6 事务隔离级别1.6.1 事务并发问题操作演示1.6.2 脏读演示1.6.3 不可重复读演示1.6.4 幻读演…

二叉树的顺序结构及实现

目录 1 二叉树的顺序结构2. 堆的概念及结构3 .堆的实现(小堆) 1 二叉树的顺序结构 普通的二叉树是不适合用数组来存储的&#xff0c;因为可能会存在大量的空间浪费。而完全二叉树更适合使用顺序结构存储。现实中我们通常把堆(一种二叉树)使用顺序结构的数组来存储&#xff0c;…

【Pytorch】Visualization of Feature Maps(3)

学习参考来自&#xff1a; Image Style Transform–关于图像风格迁移的介绍github&#xff1a;https://github.com/wmn7/ML_Practice/tree/master/2019_06_03 文章目录 风格迁移 风格迁移 风格迁移出处&#xff1a; 《A Neural Algorithm of Artistic Style》&#xff08;ar…

浏览器没收到返回,后端也没报错,php的json_encode问题bug

今天网站遇到个问题&#xff0c;后端返回异常&#xff0c;但是浏览器状态码200&#xff0c;但是看不到结果。经过排查发现&#xff0c;我们在返回结果的时候使用了json_encode返回给前端&#xff0c;结果里面的字符编码异常&#xff0c;导致json_encode异常&#xff0c;但是php…

前缀和——724. 寻找数组的中心下标

文章目录 &#x1f353;1. 题目&#x1fad2;2. 算法原理&#x1f984;解法一&#xff1a;暴力枚举&#x1f984;解法二&#xff1a;前缀和 &#x1f954;3. 代码实现 &#x1f353;1. 题目 题目链接&#xff1a;724. 寻找数组的中心下标 - 力扣&#xff08;LeetCode&#xff0…

【限时免费】20天拿下华为OD笔试之【前缀和】2023B-数字游戏【欧弟算法】全网注释最详细分类最全的华为OD真题题解

文章目录 题目描述与示例题目描述输入描述输出描述示例一输入输出 示例二输入输出说明 解题思路前缀和简单的数学推导哈希集合的使用 代码PythonJavaC时空复杂度 华为OD算法/大厂面试高频题算法练习冲刺训练 题目描述与示例 题目描述 小明玩一个游戏。 系统发1n张牌&#xff…

某60区块链安全之未初始化的存储指针实战一学习记录

区块链安全 文章目录 区块链安全未初始化的存储指针实战一实验目的实验环境实验工具实验原理实验过程 未初始化的存储指针实战一 实验目的 学会使用python3的web3模块 学会分析以太坊智能合约未初始化的存储指针漏洞 找到合约漏洞进行分析并形成利用 实验环境 Ubuntu18.04操…

深度学习之八(生成对抗网络--Generative Adversarial Networks,GANs)

概念 生成对抗网络(Generative Adversarial Networks, GANs)是一种深度学习模型,由 Ian Goodfellow 等人于2014年提出。GAN 的目标是通过训练两个神经网络(生成器和判别器),使得生成器能够生成与真实数据相似的样本,而判别器能够区分真实样本和生成样本。这两个网络相…

多元逻辑回归模型的概念、模型检验以及应用

多元逻辑回归是逻辑回归的一种扩展&#xff0c;用于处理多类别分类问题。在二元逻辑回归中&#xff0c;我们通过一个逻辑函数&#xff08;也称为S形函数&#xff09;将输入特征映射到一个概率值&#xff0c;用于预测两个类别中一个的概率。而在多元逻辑回归中&#xff0c;我们面…

沃趣班11月月考题目解析

沃趣班11月月考题目解析 1.在oracle中创建用户时&#xff0c;若未设置default tablespace关键字&#xff0c;则oracle将哪个表空间分配给用户作为默认表空间 答案&#xff1a;D.user SQL> create user mytest identified by 123456; SQL> grant connect to mytest; SQL…

【开源】基于Vue.js的海南旅游景点推荐系统的设计和实现

项目编号&#xff1a; S 023 &#xff0c;文末获取源码。 \color{red}{项目编号&#xff1a;S023&#xff0c;文末获取源码。} 项目编号&#xff1a;S023&#xff0c;文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 用户端2.2 管理员端 三、系统展示四…

CSS特效017:球体涨水的效果

CSS常用示例100专栏目录 本专栏记录的是经常使用的CSS示例与技巧&#xff0c;主要包含CSS布局&#xff0c;CSS特效&#xff0c;CSS花边信息三部分内容。其中CSS布局主要是列出一些常用的CSS布局信息点&#xff0c;CSS特效主要是一些动画示例&#xff0c;CSS花边是描述了一些CSS…

前端错误处理与调试

** javascript错误处理 ** 由于javascript本身是动态语言&#xff0c;而且没有固定的开发工具&#xff0c;因此他普遍认为是最难以调试的语言&#xff0c;在ECMAScript3新增了try-catch和throw以及一些错误类型&#xff0c;让开发人员能适当的处理错误&#xff0c;紧接着web浏…

多tab页表单校验如何做

多tab页表单校验如何做 在多tab页表单中进行校验&#xff0c;可以按照以下步骤进行&#xff1a; 创建一个表单对象&#xff0c;用于存储表单数据和校验规则。 分为多个tab页&#xff0c;每个tab页对应一个表单页面。 定义每个tab页中的表单字段及其相应的校验规则。 在切换…

PHP 赋值、算数和比较运算符 学习资料

PHP 赋值、算数和比较运算符 在 PHP 中&#xff0c;赋值、算数和比较运算符用于对变量进行赋值、进行数学运算和比较操作。以下是对这些运算符的介绍和示例&#xff1a; 赋值运算符 赋值运算符用于给变量赋值。常用的赋值运算符有 、、-、*、/ 等。 示例&#xff1a; $a …

芯能转债上市价格预测

芯能转债-113679 基本信息 转债名称&#xff1a;芯能转债&#xff0c;评级&#xff1a;AA-&#xff0c;发行规模&#xff1a;8.8亿元。 正股名称&#xff1a;芯能科技&#xff0c;今日收盘价&#xff1a;12.63元&#xff0c;转股价格&#xff1a;13.1元。 当前转股价值 转债面…

基于遗传优化的多属性判决5G-Wifi网络切换算法matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 MATLAB2022a 3.部分核心程序 .......................................................................... %接收功率、网…

数字孪生智慧校园 Web 3D 可视化监测

当今&#xff0c;智慧校园发展阶段亟需推动信息可视化建设与发展&#xff0c;将大数据、云计算、可视化等高新技术相融合&#xff0c;为校园师生创造科学智能的学习环境&#xff0c;并实现教学资源最大化和信息服务智能化。帮助学校更好地应用校园可视化技术&#xff0c;提升校…

原型模式 (Prototype Pattern)

定义&#xff1a; 原型模式&#xff08;Prototype Pattern&#xff09;是一种创建型设计模式&#xff0c;它用于创建重复的对象&#xff0c;同时保持性能。这种模式的核心思想是通过复制一个已存在的实例来创建新的实例&#xff0c;而不是新建实例并对其进行初始化。原型模式适…

jetson xavier NX深度学习环境配置

文章目录 jetson xavier NX深度学习环境配置1. SD卡系统烧录1.1 材料1.2 软件配置1.3 格式化SD卡1.4 系统镜像烧录 2. 环境配置2.1 cuda环境配置2.2 安装依赖库2.3 安装python及依赖环境2.4 安装pytorch环境 jetson xavier NX深度学习环境配置 1. SD卡系统烧录 1.1 材料 SD …