面试突击 002 | Redis 是如何处理已过期元素的?

1 面试题

Redis 如何处理已过期的元素?

2 涉及知识点

此问题涉及以下知识点:

  • 过期删除策略有哪些?

  • 这些过期策略有哪些优缺点?

  • Redis 使用的是什么过期策略?

  • Redis 是如何优化和执行过期策略的?

3 答案

常见的过期策略:

  • 定时删除

  • 惰性删除

  • 定期删除

1)定时删除

在设置键值过期时间时,创建一个定时事件,当过期时间到达时,由事件处理器自动执行键的删除操作。

① 优点

保证内存可以被尽快的释放

② 缺点

在 Redis 高负载的情况下或有大量过期键需要同时处理时,会造成 Redis 服务器卡顿,影响主业务执行。

2)惰性删除

不主动删除过期键,每次从数据库获取键值时判断是否过期,如果过期则删除键值,并返回 null。

① 优点

因为每次访问时,才会判断过期键,所以此策略只会使用很少的系统资源。

② 缺点

系统占用空间删除不及时,导致空间利用率降低,造成了一定的空间浪费。

③ Redis 源码解析

惰性删除的源码位于 src/db.c 文件的 expireIfNeeded 方法中,源码如下:

int expireIfNeeded(redisDb *db, robj *key) {// 判断键是否过期if (!keyIsExpired(db,key)) return 0;if (server.masterhost != NULL) return 1;/* 删除过期键 */// 增加过期键个数server.stat_expiredkeys++;// 传播键过期的消息propagateExpire(db,key,server.lazyfree_lazy_expire);notifyKeyspaceEvent(NOTIFY_EXPIRED,"expired",key,db->id);// server.lazyfree_lazy_expire 为 1 表示异步删除(懒空间释放),反之同步删除return server.lazyfree_lazy_expire ? dbAsyncDelete(db,key) :dbSyncDelete(db,key);
}
// 判断键是否过期
int keyIsExpired(redisDb *db, robj *key) {mstime_t when = getExpire(db,key);if (when < 0) return 0; /* No expire for this key *//* Don't expire anything while loading. It will be done later. */if (server.loading) return 0;mstime_t now = server.lua_caller ? server.lua_time_start : mstime();return now > when;
}
// 获取键的过期时间
long long getExpire(redisDb *db, robj *key) {dictEntry *de;/* No expire? return ASAP */if (dictSize(db->expires) == 0 ||(de = dictFind(db->expires,key->ptr)) == NULL) return -1;/* The entry was found in the expire dict, this means it should also* be present in the main dict (safety check). */serverAssertWithInfo(NULL,key,dictFind(db->dict,key->ptr) != NULL);return dictGetSignedIntegerVal(de);
}

所有对数据库的读写命令在执行之前,都会调用 expireIfNeeded 方法判断键值是否过期,过期则会从数据库中删除,反之则不做任何处理。

3)定期删除

每隔一段时间检查一次数据库,随机删除一些过期键。

Redis 默认每秒进行 10 次过期扫描,此配置可通过 Redis 的配置文件 redis.conf 进行配置,配置键为 hz 它的默认值是 hz 10

需要注意的是:Redis 每次扫描并不是遍历过期字典中的所有键,而是采用随机抽取判断并删除过期键的形式执行的。

定期删除的执行流程:

① 优点

通过限制删除操作的时长和频率,来减少删除操作对 Redis 主业务的影响,同时也能删除一部分过期的数据减少了过期键对空间的无效占用。

② 缺点

内存清理方面没有定时删除效果好,同时没有惰性删除使用的系统资源少。

③ Redis 源码解析

定期删除的核心源码在 src/expire.c 文件下的 activeExpireCycle 方法中,源码如下:

void activeExpireCycle(int type) {static unsigned int current_db = 0; /* 上次定期删除遍历到的数据库ID */static int timelimit_exit = 0;      /* Time limit hit in previous call? */static long long last_fast_cycle = 0; /* 上一次执行快速定期删除的时间点 */int j, iteration = 0;int dbs_per_call = CRON_DBS_PER_CALL; // 每次定期删除,遍历的数据库的数量long long start = ustime(), timelimit, elapsed;if (clientsArePaused()) return;if (type == ACTIVE_EXPIRE_CYCLE_FAST) {if (!timelimit_exit) return;// ACTIVE_EXPIRE_CYCLE_FAST_DURATION 是快速定期删除的执行时长if (start < last_fast_cycle + ACTIVE_EXPIRE_CYCLE_FAST_DURATION*2) return;last_fast_cycle = start;}if (dbs_per_call > server.dbnum || timelimit_exit)dbs_per_call = server.dbnum;// 慢速定期删除的执行时长timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100;timelimit_exit = 0;if (timelimit <= 0) timelimit = 1;if (type == ACTIVE_EXPIRE_CYCLE_FAST)timelimit = ACTIVE_EXPIRE_CYCLE_FAST_DURATION; /* 删除操作的执行时长 */long total_sampled = 0;long total_expired = 0;for (j = 0; j < dbs_per_call && timelimit_exit == 0; j++) {int expired;redisDb *db = server.db+(current_db % server.dbnum);current_db++;do {// .......expired = 0;ttl_sum = 0;ttl_samples = 0;// 每个数据库中检查的键的数量if (num > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP)num = ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP;// 从数据库中随机选取 num 个键进行检查while (num--) {dictEntry *de;long long ttl;if ((de = dictGetRandomKey(db->expires)) == NULL) break;ttl = dictGetSignedInteger// 过期检查,并对过期键进行删除if (activeExpireCycleTryExpire(db,de,now)) expired++;if (ttl > 0) {/* We want the average TTL of keys yet not expired. */ttl_sum += ttl;ttl_samples++;}total_sampled++;}total_expired += expired;if (ttl_samples) {long long avg_ttl = ttl_sum/ttl_samples;if (db->avg_ttl == 0) db->avg_ttl = avg_ttl;db->avg_ttl = (db->avg_ttl/50)*49 + (avg_ttl/50);}if ((iteration & 0xf) == 0) { /* check once every 16 iterations. */elapsed = ustime()-start;if (elapsed > timelimit) {timelimit_exit = 1;server.stat_expired_time_cap_reached_count++;break;}}/* 每次检查只删除 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4 个过期键 */} while (expired > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4);}// .......
}

activeExpireCycle 方法在规定的时间,分多次遍历各个数据库,从过期字典中随机检查一部分过期键的过期时间,删除其中的过期键。

这个函数有两种执行模式,一个是快速模式一个是慢速模式,体现是代码中的 timelimit 变量,这个变量是用来约束此函数的运行时间的。快速模式下 timelimit 的值是固定的,等于预定义常量 ACTIVE_EXPIRE_CYCLE_FAST_DURATION,慢速模式下,这个变量的值是通过   1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100 计算的。

总结

本文讲了常见的过期删除策略:

  • 定时删除

  • 惰性删除

  • 定期删除 而 Redis 使用的是惰性删除 + 定期删除的组合策略。

【END】

近期热文

 
  • 面试珍藏:最常见的200多道Java面试题(2019年最新版)

  • Java面试详解(2020版):500+ 面试题和核心知识点详解

  • 面试突击 | Redis 如何从海量数据中查询出某一个 Key?视频版

关注下方二维码,订阅更多精彩内容

朕已阅 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/546370.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux debian安装PyCharm教程、配置pyqt5开发环境

一、PyCharm下载 首先需要下载一个PyCharm社区版压缩包&#xff1a;pycharm-community-2021.1.3.tar.gz。 Linux PyCharm社区版下载 二、PyCharm安装 1.我们最好在普通用户下解压并启动这个软件。如果你在超级用户下启动&#xff0c;你的pycharm就不能输入中文了&#xff0c…

10大iOS开发者最喜爱的类库

该10大iOS开发者最喜爱的库由“iOS辅导团队”成员Marcelo Fabri组织投票选举而得&#xff0c;参与者包括开发者团队&#xff0c;iOS辅导团队以及行业嘉宾。每个团队都要根据以下规则选出五个最好的库&#xff1a;1&#xff09;不能投自己写的库&#xff1b;2&#xff09;排除大…

面试突击第 3 期 | Redis 如何实现查询附近的人?视频实战版

这是我的第 33 篇原创文章作者 | 王磊 &#xff08;javacn666&#xff09;1 面试问题 Redis 如何实现查询附近的人&#xff1f;2 相关面试问题 Redis 中如何操作位置信息&#xff1f;GEO 底层是如何实现的&#xff1f;如何在程序实现查询附近的人&#xff1f;在实际使用中需要注…

Linux debian ubuntu的PyCharm无法正常输入中文

debian ubuntu中 PyCharm 当全拼输入2~3个汉字时&#xff0c;会被强行打断&#xff0c;然后就无法继续输入(也无法切换中英文)&#xff0c;并且汉字下会有下划线。 解决方案&#xff1a; 1.点击PyCharm菜单 “Help ->Edit Custom VM options…” 2.添加 -Drecreate.x11.in…

面试突击 004 | 如何排查 Redis 中的慢查询?视频实战篇

这是我的第 34 篇原创文章作者 | 老王&#xff08;javacn666&#xff09;1 面试题如何排查 Redis 中的慢查询&#xff1f;2 涉及相关问题 Redis 中有没有慢查询排查工具或者相关排查手段&#xff1f;慢查询日志都包含哪些信息&#xff1f;慢查询的相关配置项有哪些&#xff1f;…

[转]Android 之 Window、WindowManager 与窗口管理

这篇是对前两天研究的悬浮窗的内容的一个小小的资料整理吧。首先是转载一篇介绍Android窗口的内容&#xff0c;觉得写得不错&#xff1a;http://blog.csdn.net/xieqibao/article/details/6567814 为防止丢失还是把内容也拷一遍吧(*^__^*) 嘻嘻…… 其实在android中真正展示给用…

面试突击 005 | Redis 是如何实现高可用的?它的实现方式有哪些?「视频版」

这是我的第 35 篇原创文章作者 | 老王&#xff08;javacn666&#xff09;这部视频的录制、剪辑、做 PPT、写文稿大约花费了 5 个小时的时间&#xff0c;希望这种形式能被更多的人喜欢&#xff0c;希望这篇文章会给你带来更多的价值。1 面试题 Redis 是如何实现高可用的&#xf…

Linux debian安装和使用Navicat16 for MySQL

Navicat是一套快速、可靠并价格相当便宜的数据库管理工具&#xff0c;专为简化数据库的管理及降低系统管理成本而设。它的设计符合数据库管理员、开发人员及中小企业的需要。Navicat 是以直觉化的图形用户界面而建的&#xff0c;让你可以以安全并且简单的方式创建、组织、访问并…

windosw7 Hosts文件的位置

2019独角兽企业重金招聘Python工程师标准>>> 1.Hosts文件的位置 &#xff1a; C:\Windows\System32\drivers\etc\Hosts 一般个人电脑都在这位置&#xff0c; 例如&#xff1a;118.144.78.38 www.51cto.com ip 域名 # Copyright…

Redis都不懂?就别去面试了!聊聊我的Redis新专栏「视频版」

前不久&#xff0c;有一个读者在后台留言&#xff0c;说他面试 Java 开发工程师岗位时&#xff0c;居然大部分的面试问题都是关于 Redis &#xff0c;他都差点都忘记了自己应聘的是 Java 工程师了。而然这种现象在现在的后端面试中很常见&#xff0c;对 Redis 的掌握已经变成了…

Linux Debian Python弹出信息框、警告框和询问框

利用PyCharm开发平台和Python编程语言开发PyQt5界面程序&#xff0c;有时需要弹出信息框、警告框和咨询框&#xff0c;使用win32api和win32con在windows系统可以&#xff0c;但是在Linux系统不可以。为了解决这个问题&#xff0c;可以使用QMessageBox。 # pip install pywin32…

面试突击 | Redis 如何从海量数据中查询出某一个 Key?附视频

1 考察知识点 本题考察的知识点有以下几个&#xff1a; Keys 和 Scan 的区别Keys 查询的缺点Scan 如何使用&#xff1f;Scan 查询的特点 2 解答思路 Keys 查询存在的问题Scan 的使用Scan 的特点 3 Keys 使用相关 1&#xff09;Keys 用法如下 2&#xff09;Keys 存在的问题…

分享两个好用的nosql GUI工具

redis: 真是千呼万唤始出来&#xff0c;终于有了redis gui 谢谢作者&#xff0c;但中文乱码问题貌似还没有解决呀&#xff01; https://github.com/caoxinyu/RedisClient mongoDB: MongoVUE这个还是很完善的 http://www.mongovue.com/ 转载于:https://www.cnblogs.com/tankaixi…

Linux Debian11安装MySQL8详细教程

一、下载MySQL Community Server Debian11使用了MariaDB 在APT的软件包存储库中并没有mysql,在这里下载MySQL Community Server 然后选择Debian时会出现建议使用 Mysql APT Repository。所以我们下载安装 Mysql APT Repository 的方式更新 APT Repository 之后使用 dpkg -i安…

HashMap 为什么会导致 CPU 100%?文章看不懂?来看这个视频吧!——面试突击 006 期...

无论是在实际工作中还是在面试中&#xff0c;HashMap 无疑是使用频率最高的知识点之一&#xff0c;所以我们需要搞懂每一个关于 HashMap 的知识点才行。哈喽&#xff0c;大家好&#xff0c;我是老王&#xff0c;欢迎来到 Java 面试突击&#xff0c;我们今天来开始第 6 期的内容…

Linux debian利用ifconfig查看IP地址

net-tools工具箱包括arp,hostname, ifconfig, netstat, rarp, route, plipconfig, slattach, mii-tool and iptunnel and ipmaddr等命令。 debian系统使用ifconfig命令查看IP 地址时&#xff0c;出现如下提示&#xff1a; 一、查看debian系统是否安装ifconfig命令 使用wherei…

Redis 中的过期元素是如何被处理的?「视频版」——面试突击 002 期

本文以面试问题「Redis 中的过期元素是如何被处理的&#xff1f;」为切入点&#xff0c;用视频加图文的方式和大家聊聊 Redis 过期元素被处理的相关知识点。 涉及的知识点 过期删除策略有哪些&#xff1f;这些过期策略有哪些优缺点&#xff1f;Redis 使用的是什么过期策略&…

Linux debian安装DBeaver连接MySQL8、导入和导出数据库详细教程

一、DBeaver简介 ​ DBeaver 是一个基于 Java 开发&#xff0c;免费开源的通用数据库管理和开发工具&#xff0c;使用非常友好&#xff0c;且遵循ASL 协议。由于 DBeaver 基于 Java 开发&#xff0c;可以运行在各种操作系统上&#xff0c;比如Windows、Linux、macOS 等操作系统…

使用 Redis 如何实现查询附近的人?「视频版」——面试突击 003 期

面试问题 Redis 如何实现查询附近的人&#xff1f; 涉及知识点 Redis 中如何操作位置信息&#xff1f;GEO 底层是如何实现的&#xff1f;如何在程序实现查询附近的人&#xff1f;在实际使用中需要注意哪些问题&#xff1f; 视频答案 视频地址&#xff1a;https://www.bili…

利用URL

2019独角兽企业重金招聘Python工程师标准>>> Problem You have a HTML document that contains relative URLs, which you need to resolve to absolute URLs. Solution Make sure you specify a base URI when parsing the document (which is implicit when loadi…