jtoken判断是否包含键_Redis 数据库、键过期的实现

今天看看作为内存数据库,Redis 是怎么存储数据的以及键是怎么过期的。

阅读这篇文章你将会了解到:

  • Redis 的数据库实现
  • Redis 键过期的策略

数据库的实现

我们先看代码 server.h/redisServer

struct redisServer{ ... //保存 db 的数组 redisDb *db;  //db 的数量 int dbnum; ...}

再看redisDb的代码:

typedef struct redisDb { dict *dict; /* The keyspace for this DB */ dict *expires; /* Timeout of keys with a timeout set */ dict *blocking_keys; /* Keys with clients waiting for data (BLPOP)*/ dict *ready_keys; /* Blocked keys that received a PUSH */ dict *watched_keys; /* WATCHED keys for MULTI/EXEC CAS */ int id; /* Database ID */ long long avg_ttl; /* Average TTL, just for stats */} redisDb;

总体来说redis的 server 包含若干个(默认16个) redisDb 数据库。

368ffd6f807d64d4850a2afd3713e65a.png

Redis 是一个 k-v 存储的键值对数据库。其中字典 dict 保存了数据库中的所有键值对,这个地方叫做 keyspace 直译过来就是“键空间”。

所以我们就可以这么认为,在 redisDb 中我们使用 dict(字典)来维护键空间。

  • keyspace 的 kay 是数据库的 key,每一个key 是一个字符串对象。注意不是字符串,而是字符串对象。
  • keyspace 的 value 是数据库的 value,这个 value 可以是 redis 的,字符串对象,列表对象,哈希表对象,集合对象或者有序对象中的一种。

数据库读写操作

所以对于数据的增删改查,就是对 keyspace 这个大 map 的增删改查。

当我们执行:

>redis SET mobile "13800000000"

实际上就是为 keyspace 增加了一个 key 是包含字符串“mobile”的字符串对象,value 为包含字符“13800000000”的字符串对象。

看图:

01a6b568618b5d1a6956b3a6b9223001.png

对于删改查,没啥好说的。类似java 的 map 操作,大多数程序员应该都能理解。

需要特别注意的是,再执行对键的读写操作的时候,Redis 还要做一些额外的维护动作:

  • 维护 hit 和 miss 两个计数器。用于统计 Redis 的缓存命中率。
  • 更新键的 LRU 时间,记录键的最后活跃时间。
  • 如果在读取的时候发现键已经过期,Redis 先删除这个过期的键然后再执行余下操作。
  • 如果有客户对这个键执行了 WATCH 操作,会把这个键标记为 dirty,让事务注意到这个键已经被改过。
  • 没修改一次 dirty 会增加1。
  • 如果服务器开启了数据库通知功能,键被修改之后,会按照配置发送通知。

键的过期实现

Redis 作为缓存使用最主要的一个特性就是可以为键值对设置过期时间。就看看 Redis 是如果实现这一个最重要的特性的?

在 Redis 中与过期时间有关的命令

  • EXPIRE 设置 key 的存活时间单位秒
  • EXPIREAT 设置 key 的过期时间点单位秒
  • PEXPIRE 设置 key 的存活时间单位毫秒
  • PEXPIREAT 设置 key 的过期时间点单位毫秒

其实这些命令,底层的命令都是由 REXPIREAT 实现的。

在 redisDb 中使用了 dict *expires,来存储过期时间的。其中 key 指向了 keyspace 中的 key(c 语言中的指针), value 是一个 long long 类型的时间戳,标定这个 key 过期的时间点,单位是毫秒。

如果我们为上文的 mobile 增加一个过期时间。

>redis PEXPIREAT mobile 1521469812000

这个时候就会在过期的 字典中增加一个键值对。如下图:

474643162284ce13fd06c1afaf2b090e.png

对于过期的判断逻辑就很简单:

  1. 在 字典 expires 中 key 是否存在。
  2. 如果 key 存在,value 的时间戳是否小于当前系统时间戳。

接下来就需要讨论一下过期的键的删除策略。

key的删除有三种策略:

  1. 定时删除,Redis定时的删除内存里面所有过期的键值对,这样能够保证内存友好,过期的key都会被删除,但是如果key的数量很多,一次删除需要CPU运算,CPU不友好。
  2. 惰性删除,只有 key 在被调用的时候才去检查键值对是否过期,但是会造成内存中存储大量的过期键值对,内存不友好,但是极大的减轻CPU 的负担。
  3. 定时部分删除,Redis定时扫描过期键,但是只删除部分,至于删除多少键,根据当前 Redis 的状态决定。

这三种策略就是对时间和空间有不同的倾向。Redis为了平衡时间和空间,采用了后两种策略 惰性删除和定时部分删除。

惰性删除比较简单,不做过多介绍。主要讨论一下定时部分删除。

过期键的定时删除的策略由 expire.c/activeExpireCycle() 函数实现,server.c/serverCron() 定时的调用 activieExpireCycle() 。

activeExpireCycle 的大的操作原则是,如果过期的key比较少,则删除key的数量也比较保守,如果,过期的键多,删除key的策略就会很激进。

static unsigned int current_db = 0; /* Last DB tested. */static int timelimit_exit = 0; /* Time limit hit in previous call? */static long long last_fast_cycle = 0; /* When last fast cycle ran. */
  • 首先三个 static 全局参数分别记录目前遍历的 db下标,上一次删除是否是超时退出的,上一次快速操作是什么时候进行的。
  • 计算 timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100; 可以理解为 25% 的 cpu 时间。
  • 如果 db 中 expire 的大小为0 不操作
  • expire 占总 key 小于 1% 不操作
  • num = dictSize(db->expires);num 是 expire 使用的key的数量。
  • slots = dictSlots(db->expires); slots 是 expire 字典的尺寸大小。
  • 已使用的key(num) 大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 则设置为 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP。也就是说每次只检查 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 个键。
  • 随机获取带过期的 key。计算是否过期,如果过期就删除。
  • 然后各种统计,包括删除键的次数,平均过期时间。
  • 每遍历十六次,计算操作时间,如果超过 timelimit 结束返回。
  • 如果删除的过期键大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 的 14 就跳出循环,结束。

步骤比较复杂,总结一下:(这里都是以默认配置描述)

  1. redis 会用最多 25% 的 cpu 时间处理键的过期。
  2. 遍历所有的 redisDb
  3. 在每个 redisDb 中如果数据中没有过期键或者过期键比例过低就直接进入下一个 redisDb。
  4. 否则,遍历 redisDb 中的过期键,如果删除的键达到有过期时间的的key 的25% ,或者操作时间大于 cpu 时间的 25% 就结束当前循环,进入下一个redisDb。

后记

这篇文章主要解释了 Redis 的数据库是怎么实现的,同时介绍了 Redis 处理过期键的逻辑。看 Redis 的代码越多越发现,实际上 Redis 一直在做的一件事情就是平衡,一直在平衡程序的空间和时间。其实平时的业务设计,就是在宏观上平衡,平衡宏观系统的时间和空间。所以,看源码是让我们从微观学习系统架构的良好途径,是架构师的成长的必经之路。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/459947.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JBoss配置详解

为什么80%的码农都做不了架构师?>>> 2.0.1 JBOSS 的一点说明 $JBOSS-HOME/server/下有3个目录,all/default/minimal,它们是表示3种配置,全部的配置、默认配置、最小配置,我们在启动JBOSS服务时&#xff0c…

简单仿百度自动搜索框

body中 <body> 请输入搜索内容:<input type"text" name"name" value"" id"txt" style"border:1px solid gray;margin:0;padding:0; width:200px;" /></body> View Code<script>中 <script type&…

layui上传文件请求接口异常_SpringMVC实现文件上传与下载,拦截器,异常处理

第一章&#xff1a;响应数据和结果视图1. 返回字符串Controller方法返回字符串可以指定逻辑视图的名称&#xff0c;根据视图解析器为物理视图的地址。RequestMapping(value"/hello")public String sayHello() {System.out.println("Hello SpringMVC!!");//…

球星测试软件,2KOL球星测评丨篮球之神,迈克尔.乔丹(96版)

迈克尔.乔丹(96版)迈克尔乔丹在在1984年NBA选秀中于第1轮第3位被芝加哥公牛队选中。(他的前面两位分别是哈基姆奥拉朱旺和萨姆鲍伊)91-93赛季&#xff0c;乔丹连续2次荣膺常规赛MVP和3次总决赛FMVP &#xff0c;并率领芝加哥公牛队首夺3连冠。 93年10月6日因父亲被害而宣布退役…

iphone无线充电充电测试软件,瞎折腾星人的测评 篇一:想体验iPhone的无线充电?这可能是最具性价比的选择了!...

瞎折腾星人的测评 篇一&#xff1a;想体验iPhone的无线充电&#xff1f;这可能是最具性价比的选择了&#xff01;2018-11-28 00:26:032点赞2收藏0评论最近恰逢更换新手机&#x1f4f1;iPhone XS Max的重大活动&#xff0c;功臣iPhone 7退居二线&#xff0c;女票突然脑子一热要给…

MVC5+EF6 入门完整教程四

MVC5EF6 入门完整教程四 原文:MVC5EF6 入门完整教程四上篇文章主要讲了如何配置EF, 我们回顾下主要过程&#xff1a; 创建Data Model 创建Database Context 创建databaseInitializer配置entityFramework的context配置节。 对这个过程还有疑问的可以去上篇再看一下。 本次我…

android js调试

http://blog.allenm.me/ 其他平台去这篇文章看 1 //js调试调试功能支持4.4版本以上的2 if(Build.VERSION.SDK_INT > Build.VERSION_CODES.KITKAT) {3 WebView.setWebContentsDebuggingEnabled(true);4 }5 //j…

python 比赛成绩预测_利用 Python 预测英雄联盟胜负,分析了 5 万多场比赛才得出的数据!值得,涨知识了!...

Mika 来源 | 头图 |CSDN自东方IC今天教大家用Python预测英雄联盟比赛胜负。Show me data&#xff0c;用数据说话今天我们聊一聊 Python预测LOL胜负目前&#xff0c;英雄联盟S10全球总决赛正在火热进行中&#xff0c;最终决赛于10月31日在浦东足球场举行。作为当下最火热的电竞赛…

服务器2003蓝屏A5修复,0x000000a5蓝屏完美解决方法 Win7

0x000000a5蓝屏怎么办&#xff1f;在Win7系统下遭遇开机时出现蓝屏代码0x000000a5非常多&#xff0c;由于根据代码我们并不能分析出故障原因&#xff0c;那么只能求助于网络上大家分享的经验了&#xff0c;下面小编给大家分享下0x000000a5蓝屏完美解决方法&#xff0c;适用于Wi…

能设值多个rowkey吗_顶楼送了露台,悄悄搭建阳光房,偏偏我家露台多个帽子,能拆吗?...

你们有没有发现现在楼顶上都会有几个这样的“帽子"&#xff0c;呼呼直转&#xff0c;但大多数人并不是很明白这个东西是干嘛用的。昨天有网友私信&#xff1a;小区顶楼露台上这个不锈钢帽子可以加高吗&#xff1f;感觉每次去楼顶都会闻到一股油烟味。业主表示自己是住在顶…

金山云服务器内网带宽,金山云-文档中心-配置弹性网卡

本文为您介绍绑定弹性网卡后虚机中如何配置弹性网卡。挂载辅网卡后&#xff0c;Windows操作系统主机即可正常使用&#xff0c;不需要额外操作。如果实例使用以下几种镜像&#xff0c;则可以跳过网卡手动配置&#xff0c;直接进行路由配置。CentOS 7.6 64位CentOS 7.7 64位CentO…

Atom飞行手册翻译: 2.7 ~ 2.10

自动补全 如果你仍旧希望节约一些打字时间&#xff0c;Atom自带简单的自动补全功能。 通过使用ctrl-space&#xff0c;自动补全工具可以让你看到并插入可选的完整单词。 通常&#xff0c;自动补全工具会浏览当前打开的整个文档&#xff0c;寻找匹配你开始打出来的单词。 如果你…

Flash游戏开发实战(一)

我不得不承认&#xff0c;我不是植物大战僵尸的骨灰玩家&#xff0c;所以&#xff0c;如果你发现这个系列的教程有什么地方错误的&#xff0c;请告诉我。 定义游戏的主要结构 植物大战僵给了我们很好的视觉和感觉上的享受。你得保护你的房子以免被吃脑的僵尸入侵&#xff0c;这…

如何做相册_手机里的照片太多,不得已只能删除?那就试试制作电子相册吧

许多人都喜欢使用手机拍照&#xff0c;这也就导致自己手机相册中保存的照片越来越多&#xff0c;到后面想要再拍照片的话&#xff0c;就不得不删除之前的照片&#xff0c;如何解决这个办法呢&#xff1f;那就试试用【迅捷视频转换器】将其制作成电子相册吧。制作电子相册打开软…

python windows窗口置顶_想用Python编程却不知如何下手?一篇搞定编程准备工作

导读&#xff1a;为了简化Python编程的学习难度&#xff0c;开发过程中的工具、环境尽量使用同一套&#xff0c;此后所有的编程环境都以Windows系统下Python3.8为准&#xff0c;代码编辑器及IDE(集成开发环境)使用VS Code。目的很简单&#xff0c;就是为了让所有的讲解和学习集…

小程序 ajax 加载,小程序实战-小程序网络请求异步加载

最初看到小程序的网络请求的时候,尤其是演示示例中&#xff0c;userInfoReadyCallback这个函数更是一头雾水。其实并不怎么理解.一直很费解.网上各路大侠都有解释&#xff0c;但是就是&#xff0c;不知道是怎么个顺序,而我也是个对程序执行流程很关注的人,现在把我的心得分享给…

华为手机怎么强制关机_华为忘记锁屏密码怎么办?多品牌手机通用解锁密码

手机忘记登陆密码怎么办&#xff1f;下面小编介绍几种方法&#xff0c;轻松解开那些忘记锁屏密码的手机&#xff0c;第一种方法可能大家还知道&#xff0c;但第二种方法肯定没几个人知道。1、手机原地复活这种方法是可以解决锁屏密码的问题&#xff0c;但也一并把手机上所有的数…

HTML5与搜索引擎优化[转载]

原文&#xff1a;http://lusongsong.com/reed/398.html 我觉得HTML5的兴起完全是因为iPhone和iPad&#xff0c;自从Adobe停止开发flash、Android4.0不支持flash后&#xff0c;我觉得在不久的将来HTML5会广泛应用&#xff0c;而且HTML4已经10年没更新了。 HTML5与HTML4代码结构对…

如何让 zend studio 10 识别 Phalcon语法并且进行语法提示

让 zend studio 10 识别 Phalcon语法并且进行语法提示https://github.com/rogerthomas84/PhalconPHPDoc下载解压后&#xff0c;把里面 phalcon 整个目录复制到 workspace 的C:\Documents and Settings\Administrator\Zend\workspaces\DefaultWorkspace\.metadata\.plugins\org.…

包r语言_R语言入门之寻找你的R包

关于寻找目标R包&#xff0c;一般可以在官网利用关键词搜索即可获得相关信息&#xff0c;不过米老鼠在这里想给大家介绍一个特别的R包&#xff0c;它可以帮助你寻找你想要的理想R包。不过&#xff0c;在正式讲解&#xff0c;我想和大家提醒一下安装R包的注意事项&#xff1a; &…