文章目录
- 前言
- 一、你知道Redis 数据是怎么持久化的
- 1.1 Redis 持久化的方式Rdb:
- 1.1.1 主动备份save 命令:
- 1.1.2 Redis 中使用bgsave 进行Rdb 的持久化 :
- 1.2 Redis 持久化的方式Aof:
- 1.2.1 使用AOF 模式进行数据存储:
- 1.2.2 命令重写:
- 1.3 RDB和ROF的对比:
- 1.4 你来说下Redis 的数据是怎么持久化的:
- 二、Redis 中内存淘汰:
- 3.1 Redis 过期的key 是什么时候被删除的
- 3.1.1 惰性删除:
- 3.1.2 周期删除:
- 3.2 Redis 内存满了怎么办:
- 3.2.1 内存淘汰策略:
- 3.2.2 内存淘汰策略应该怎么选:
- 3.3 Redis 内存只有2G,数据有10G怎么保证Redis 中最后保留的key 都是热点key:
- 总结
前言
本文对Redis Rdb和Aof 的持久化,及过期key 和内存淘汰进行介绍,重点对面试的问题进行介绍,祝愿每位程序员都能上岸!!!
一、你知道Redis 数据是怎么持久化的
我们知道在使用Redis 时数据都被存在内存中,要想保证数据不丢失,Redis 内存中的数据,是怎么被持久化到磁盘的;
1.1 Redis 持久化的方式Rdb:
RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据.
1.1.1 主动备份save 命令:
可以通过save 命令,复制一个进程出来进行 数据的保存,可以在redis.conf 配置bgsave命令被触发的条件
1.1.2 Redis 中使用bgsave 进行Rdb 的持久化 :
redis bgsave 是 Redis 数据库中的一个命令,用于在后台异步地保存当前数据库的数据到一个磁盘文件(通常称为 RDB 持久化文件)。这样做的主要目的是为了在服务器发生意外故障时,可以从该备份文件中恢复数据。
bgsave 的过程:主进程阻塞式的fork(克隆) 一个子进程,然后复制主进程下的页表,因为页表保存了虚拟地址到物理地址的映射关系,这样子进程也知道了主进程的数据;
此时内存中的数据只能运行读操作;
如果主进程此时发生了数据写,则采用copy-on-write ,将内存中的数据拷贝一份进行写操作,从而不影响之前内存的数据;
1.2 Redis 持久化的方式Aof:
1.2.1 使用AOF 模式进行数据存储:
AOF全称为Append Only File(追加文件)。Redis处理的每一个写命令都会记录在AOF文件,可以看做是命令日志文件。
Aof 默认是关闭的可以通过修改配置参数进行启用
1.2.2 命令重写:
因为是记录命令,AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作,但只有最后一次写操作才有意义。通过执行bgrewriteaof命令,可以让AOF文件执行重写功能,用最少的命令达到相同效果
1.3 RDB和ROF的对比:
1.4 你来说下Redis 的数据是怎么持久化的:
在Redis中提供了两种数据持久化的方式:RDB 和AOF;RDB是一个快照文件,它是把redis内存存储的数据通过bgsave命令fork出一个进程将内存中的数据写到磁盘上,当redis实例宕机恢复数据的时候,方便从RDB的快照文件中恢复数据。
AOF的含义是追加文件,当redis操作写命令的时候,都会存储这个文件中,当redis实例宕机恢复数据的时候,会从这个文件中再次执行一遍命令来恢复数据;
RDB因为是二进制文件,在保存的时候体积也是比较小的,它恢复的比较快,但是它有可能会丢数据,我们通常在项目中也会使用AOF来恢复数据,虽然AOF恢复的速度慢一些,但是它丢数据的风险要小很多,在AOF文件中可以设置刷盘策略,我们当时设置的就是每秒批量写入一次命令。
二、Redis 中内存淘汰:
3.1 Redis 过期的key 是什么时候被删除的
在使用Redis 时,设置了过期时间的key,当过期后key 不会立马被删除吗,因为Redis 对待过期的key 采用的惰性删除+ 周期删除方式;
3.1.1 惰性删除:
惰性删除:设置该key过期时间后,我们不去管它,当需要该key时,我们在检查其是否过期,如果过期,我们就删掉它,反之返回该key。
- 优点:对CPU友好,只会在使用该key时才会进行过期检查,对于很多用不到的key不用浪费时间进行过期检查;
- 缺点:对内存不友好,如果一个key已经过期,但是一直没有使用,那么该key就会一直存在内存中,内存永远不会释放
3.1.2 周期删除:
如果某个key 虽然过期了,但是一直不被访问,难道会一直占用内存吗,当然不是;Redis 还有一种定时任务的删除,来应对;
定期删除:每隔一段时间,我们就对一些key进行检查,删除里面过期的key(从一定数量的数据库中取出一定数量的随机key进行检查,并删除其中的过期key)。定期清理有两种模式:
- SLOW模式是定时任务,执行频率默认为10hz,每次不超过25ms,以通过修改配置文件redis.conf 的hz 选项来调整这个次数
- FAST模式执行频率不固定,但两次间隔不低于2ms,每次耗时不超过1ms
优点:可以通过限制删除操作执行的时长和频率来减少删除操作对 CPU 的影响。另外定期删除,也能有效释放过期键占用的内存。
缺点:难以确定删除操作执行的时长和频率。
3.2 Redis 内存满了怎么办:
3.2.1 内存淘汰策略:
redis 的内存是有一定大小的,当内存占满了后,会发生什么?实际Redis 提供了一些内存淘汰的策略来应对这种场景;
数据的淘汰策略:当Redis中的内存不够用时,此时在向Redis中添加新的key,那么Redis就会按照某一种规则将内存中的数据删除掉,这种数据的删除规则被称之为内存的淘汰策略。Redis支持8种不同策略来选择要删除的key:
- noeviction:不淘汰任何key,但是内存满时不允许写入新数据,默认就是这种策略;
- volatile-ttl:对设置了TTL的key,比较key的剩余TTL值,TTL越小越先被淘汰;
- allkeys-random:对全体key,随机进行淘汰。
- volatile-random:对设置了TTL的key,随机进行淘汰。
- allkeys-lru:对全体key,基于LRU算法进行淘汰
- volatile-lru:对设置了TTL的key,基于LRU算法进行淘汰
- allkeys-lfu:对全体key,基于LFU算法进行淘汰
- volatile-lfu: 对设置了TTL的key,基于LFU算法进行淘汰
LRU(Least Recently Used)最近最少使用。用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。key1是在3s之前访问的,key2是在9s之前访问的,删除的就是key2。
LFU(Least Frequently Used)最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高。key1最近5s访问了4次,key2最近5s访问了9次,删除的就是key1。
3.2.2 内存淘汰策略应该怎么选:
- 优先使用 alkeys-lru 策略。充分利用 LRU 算法的优势,把最近最常访问的数据留在缓存中。如果业务有明显的冷热数据区分,建议使用。
- 如果业务中数据访问频率差别不大,没有明显冷热数据区分,建议使用alkeys-random,随机选择淘汰。
- 如果业务中有置顶的需求,可以使用 volatile-lru 策略,同时置顶数据不设置过期时间,这些数据就一直不被删除会淘汰其他设置过期时间的数据;
- 如果业务中有短时高频访问的数据,可以使用 alkeys-lfu 或 volatile-lfu 策略;
3.3 Redis 内存只有2G,数据有10G怎么保证Redis 中最后保留的key 都是热点key:
使用allkeys-lru(挑选最近最少使用的数据淘汰)淘汰策略,留下来的都是经常访问的热点数据;
总结
本文对Redis 的两种持久化,及过期key 删除和内存淘汰进行总结。