Redis分布式缓存超详细总结!

文章目录

  • 前言
  • 一、Redis持久化解决数据丢失问题
    • 1.RDB(Redis Database Backup file)持久化
      • (1)执行RDB
      • (2)RDB方式bgsave的基本流程
      • (3)RDB会在什么时候执行?save 60 1000代表什么含义
      • (4)RDB的缺点
    • 2. AOF(Append Only File)持久化
      • (1)执行AOF
      • (2)RDB与AOF的比较
  • 二、Redis主从解决并发问题
    • 1.搭建主从架构
    • 2.数据同步原理
      • (1)主从的全量同步原理![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/1d1eeea7620942a681fd2b5c7052f50f.png)
      • (2)主从的增量同步原理
  • 三、Redis哨兵解决故障恢复问题
    • 1. 哨兵的作用和原理
      • (1)哨兵的作用
      • (2)哨兵如何监控
      • (3)哨兵如何选举新的master
      • (4)哨兵如何实现故障转移
    • 2.搭建哨兵集群
  • 四、Redis分片集群解决存储能力问题
    • 1. 搭建分片集群
    • 2. 散列插槽
    • 3.集群伸缩
    • 4.故障转移


前言

单点Redis存在以下问题:

  • 数据丢失问题:Redis是内存存储,服务重启可能会丢失数据
  • 并发能力问题:单节点Redis并发能力虽然不错,但也无法满足如618这样的高并发场景
  • 故障恢复问题:如果Redis宕机,则服务不可用,需要一种自动的故障恢复手段
  • 存储能力问题:Redis基于内存,单节点能存储的数据量难以满足海量数据需求

为了解决上述问题,Redis分布式缓存提供了以下解决方案:

  • 解决数据丢失问题:实现Redis数据持久化
  • 解决并发能力问题:搭建主从集群,实现读写分离
  • 解决故障恢复问题:利用Redis哨兵,实现健康检测和自动恢复
  • 解决存储能力问题:搭建分片集群,利用插槽机制实现动态扩容

一、Redis持久化解决数据丢失问题

1.RDB(Redis Database Backup file)持久化

RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。快照文件称为RDB文件,默认是保存在当前运行目录。

(1)执行RDB

打开Redis命令行客户端,执行命令save即完成RDB缓存,save命令默认是由Redis主进程来执行RDB,会阻塞所有命令。而命令bgsave是开启一个子线程执行RDB,避免主进程受到影响。

(2)RDB方式bgsave的基本流程

  • fork主进程得到一个子进程,共享内存空间
  • 子进程读取内存数据并写入新的RDB文件
  • 用新RDB文件替换旧的RDB文件。

(3)RDB会在什么时候执行?save 60 1000代表什么含义

  • 默认是服务停止时。
  • 代表60秒内至少执行1000次修改则触发RDB

(4)RDB的缺点

  • RDB执行间隔时间长,两次RDB之间写入数据有丢失的风险
  • fork子进程、压缩、写出RDB文件都比较耗时

2. AOF(Append Only File)持久化

AOF全称为Append Only File(追加文件)。Redis处理的每一个写命令都会记录在AOF文件,可以看做是命令日志文件。

(1)执行AOF

AOF默认是关闭的,需要修改redis.conf配置文件来开启AOF。

# 是否开启AOF功能,默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"

AOF的命令记录的频率也可以通过redis.conf文件来配置。

# 表示每执行一次写命令,立即记录到AOF文件
appendfsync always 
# 写命令执行完先放入AOF缓冲区,然后表示每隔1秒将缓冲区数据写到AOF文件,是默认方案
appendfsync everysec 
# 写命令执行完先放入AOF缓冲区,由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no

因为是记录命令,AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作,但只有最后一次写操作才有意义。通过执行bgrewriteaof命令,可以让AOF文件执行重写功能,用最少的命令达到相同效果。
Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置:

# AOF文件比上次文件 增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写
auto-aof-rewrite-min-size 64mb 

(2)RDB与AOF的比较

在这里插入图片描述

二、Redis主从解决并发问题

1.搭建主从架构

单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离。
具体的搭建过程可以参考我的这篇博文,全过程一步步搭建。
https://blog.csdn.net/weixin_43378573/article/details/134787401?spm=1001.2014.3001.5502

2.数据同步原理

完成Redis主从集群搭建后,可以看到,主从节点会完成数据同步。

(1)主从的全量同步原理在这里插入图片描述

主节点给从节点发送RDB文件,将内存形成快照整体发送给从节点。这种同步很消耗性能,因为生成RDB文件耗时且消耗性能,只有主从节点第一次连接的时候才会这样同步。
master如何判断slave是不是第一次来同步数据?这里会用到两个很重要的概念:

  • Replication Id:简称replid,是数据集的标记,id一致则说明是同一数据集。每一个master都有唯一的replid,slave则会继承master节点的replid
  • offset:偏移量,随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset,说明slave数据落后于master,需要更新。

因此slave做数据同步,必须向master声明自己的replication id 和offset,master才可以判断到底需要同步哪些数据。master就是通过判断Replication Id来判断该从节点是不是第一次连接。

(2)主从的增量同步原理

主从节点第一次同步是全量同步,但如果slave重启后同步,则执行增量同步。
在这里插入图片描述repl_baklog大小有上限,写满后会覆盖最早的数据。如果slave断开时间过久,导致尚未备份的数据被覆盖,则无法基于log做增量同步,只能再次全量同步。
可以从以下几个方面来优化Redis主从集群:

  • 在master中配置repl-diskless-sync yes启用无磁盘复制,避免全量同步时的磁盘IO。
  • Redis单节点上的内存占用不要太大,减少RDB导致的过多磁盘IO
  • 适当提高repl_baklog的大小,发现slave宕机时尽快实现故障恢复,尽可能避免全量同步
  • 限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构,减少master压力

三、Redis哨兵解决故障恢复问题

1. 哨兵的作用和原理

(1)哨兵的作用

Redis提供了哨兵(Sentinel)机制来实现主从集群的自动故障恢复。哨兵的作用如下:

  • 监控:Sentinel 会不断检查您的master和slave是否按预期工作
  • 自动故障恢复:如果master故障,Sentinel会将一个slave提升为master。当故障实例恢复后也以新的master为主
  • 通知:Sentinel充当Redis客户端的服务发现来源,当集群发生故障转移时,会将最新信息推送给Redis的客户端

(2)哨兵如何监控

Sentinel基于心跳机制监测服务状态,每隔1秒向集群的每个实例发送ping命令:

  • 主观下线:如果某sentinel节点发现某实例未在规定时间响应,则认为该实例主观下线。
  • 客观下线:若超过指定数量(quorum)的sentinel都认为该实例主观下线,则该实例客观下线。quorum值最好超过Sentinel实例数量的一半。

(3)哨兵如何选举新的master

一旦发现master故障,sentinel需要在salve中选择一个作为新的master,选择依据是这样的:

  • 首先会判断slave节点与master节点断开时间长短,如果超过指定值(down-after-milliseconds * 10)则会排除该slave节点
  • 然后判断slave节点的slave-priority值,越小优先级越高,如果是0则永不参与选举
  • 如果slave-prority一样,则判断slave节点的offset值,越大说明数据越新,优先级越高
  • 最后是判断slave节点的运行id大小,越小优先级越高。

(4)哨兵如何实现故障转移

  • sentinel给备选的slave1节点发送slaveof no one命令,让该节点成为master
  • sentinel给所有其它slave发送命令,让这些slave成为新master的从节点,开始从新的master上同步数据。
  • 最后,sentinel将故障节点标记为slave,当故障节点恢复后会自动成为新的master的slave节点

2.搭建哨兵集群

具体的哨兵集群搭建过程可以参考我的这篇博文,全过程一步步搭建。
https://blog.csdn.net/weixin_43378573/article/details/134789082?spm=1001.2014.3001.5501

四、Redis分片集群解决存储能力问题

1. 搭建分片集群

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决:

  • 海量数据存储问题
  • 高并发写的问题

使用分片集群可以解决上述问题,分片集群特征:

  • 集群中有多个master,每个master保存不同数据
  • 每个master都可以有多个slave节点
  • master之间通过ping监测彼此健康状态
  • 客户端请求可以访问集群任意节点,最终都会被转发到正确节点
    具体的分片集群搭建过程可以参考我的这篇博文,全过程一步步搭建。
    https://blog.csdn.net/weixin_43378573/article/details/134812229

2. 散列插槽

Redis会把每一个master节点映射到0~16383共16384个插槽(hash slot)上,查看集群信息时就能看到:
在这里插入图片描述
数据key不是与节点绑定,而是与插槽绑定。redis会根据key的有效部分计算插槽值,分两种情况:

  • key中包含"{}",且“{}”中至少包含1个字符,“{}”中的部分是有效部分
  • key中不包含“{}”,整个key都是有效部分
    例如:key是num,那么就根据num计算,如果是{itcast}num,则根据itcast计算。计算方式是利用CRC16算法得到一个hash值,然后对16384取余,得到的结果就是slot值。

3.集群伸缩

Redis集群可以动态的增加或移除节点,redis-cli --cluster提供了很多操作集群的命令,可以通过下面方式查看。
在这里插入图片描述

4.故障转移

当集群中有一个master宕机会发生什么呢?

  • 首先是该实例与其它实例失去连接
  • 然后是疑似宕机:
    在这里插入图片描述
  • 最后是确定下线,自动提升一个slave为新的master:
    在这里插入图片描述
    以上属于自动的故障转移,有时候如果某个master节点需要维护的情况,就需要手动的故障转移。
    利用cluster failover命令可以手动让集群中的某个master宕机,切换到执行cluster failover命令的这个slave节点,实现无感知的数据迁移。其流程如下。
    在这里插入图片描述
    【完结撒花~】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/214054.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VBA信息获取与处理:在EXCEL中随机函数的利用

《VBA信息获取与处理》教程(版权10178984)是我推出第六套教程,目前已经是第一版修订了。这套教程定位于最高级,是学完初级,中级后的教程。这部教程给大家讲解的内容有:跨应用程序信息获得、随机信息的利用、电子邮件的发送、VBA互…

RabbitMQ学习

一、RabbitMQ 采用 AMQP 高级消息队列协议的一种消息队列技术,最大的特点就是消费并不需要确保提供方存在,实现了服务之间的高度解耦 1、在分布式系统下具备异步,削峰,负载均衡等一系列高级功能; 2、拥有持久化的机制,进程消息,队列中的信息也可以保存下…

计算机网络(三) | 数据链路层 PPP协议、广播CSMA/CD协议、集线器、交换器、扩展and高速以太网

文章目录 1 数据链路基本概念和问题1.1 基本概念1.2 基本问题(1)封装成帧(2)透明传输(3)差错控制 2.数据链路层协议2.1 点对点 PPP协议2.1.1 需要实现的2.1.2 PPP组成2.1.3 帧格式2.1.4 工作流程 2.2 广播 …

内网穿透的应用-如何结合Cpolar内网穿透工具实现在IDEA中远程访问家里或者公司的数据库

文章目录 1. 本地连接测试2. Windows安装Cpolar3. 配置Mysql公网地址4. IDEA远程连接Mysql小结 5. 固定连接公网地址6. 固定地址连接测试 IDEA作为Java开发最主力的工具,在开发过程中需要经常用到数据库,如Mysql数据库,但是在IDEA中只能连接本…

配置BFD多跳检测示例

BFD简介 定义 双向转发检测BFD(Bidirectional Forwarding Detection)是一种全网统一的检测机制,用于快速检测、监控网络中链路或者IP路由的转发连通状况。 目的 为了减小设备故障对业务的影响,提高网络的可靠性,网…

“==”和“equals”的区别

“”和“equals”的区别 Java中“”和“equals”的区别在于,它们比较的内容不同。""比较的是对象的引用是否相等,而equals比较的是对象的值是否相等。 具体来说,以下是两个操作符之间的区别: “”比较的是对象的引用&…

【链表Linked List】力扣-117 填充每个节点的下一个右侧节点指针II

目录 问题描述 解题过程 官方题解 问题描述 给定一个二叉树: struct Node {int val;Node *left;Node *right;Node *next; } 填充它的每个 next 指针,让这个指针指向其下一个右侧节点。如果找不到下一个右侧节点,则将 next 指针设置为 N…

C++中字符串详解

在C语言中只能通过字符串数组来模拟字符串,没有字符串类型。在C引入了string类来表示字符串类型。从而用它定义字符串。 在C语言中: char str[] "abc"; char str[] {a,b,c,\0}; char* str "abc"; //这三种形式是C语言…

因为高考考砸了,我学了计算机

2015年,是我高中的最后一年。 2023年,我已在计算机领域工作十多个年头。 我出生在东部省份的一个不沿海小县城,在那里度过了我高考前的17年。起点平平,没有任何特长傍身,也可以说是毫无亮点;成绩中等&#…

代码随想录算法训练营第四十五天 _ 动态规划_ 70. 爬楼梯、322.零钱兑换、279.完全平方数、139.单词拆分。

学习目标: 动态规划五部曲: ① 确定dp[i]的含义 ② 求递推公式 ③ dp数组如何初始化 ④ 确定遍历顺序 ⑤ 打印递归数组 ---- 调试 引用自代码随想录! 60天训练营打卡计划! 学习内容: 70. 爬楼梯 动态规划五步曲&…

中文语音标注工具FunASR(语音识别)

全称 A Fundamental End-to-End Speech Recognition Toolkit(一个语音识别工具) 可能大家用过whisper(openAi),它【标注英语的确很完美】,【但中文会出现标注错误】或搞了个没说的词替换上去,所…

【Fiddler】IDEA配置Fiddler

由于遇上了个迷之请求,接口调用正常,OkHttpClient调用正常,RestTemplate调用失败,所以想看看发送的报文是怎样的,所以就下了个Fiddler 问题 下载安装,以及如何安装证书,网上太多相同文章了&…

APP备案,最新获取安卓签名文件中MD5等信息方法

1.通过签名文件获取SHA1和SHA256 直接通过cmd执行命令 keytool -list -v -keystore xxxxx/xxx/xx/xxx.keystore输入后回车会提示输入密码库口令,直接输入Keystore密码(输入过程中终端上不会显示,输完回车就行) 2.获取md5 由于…

redis集群(cluster)笔记

1. 定义: 由于数据量过大,单个Master复制集难以承担,因此需要对多个复制集进行集群,形成水平扩展每个复制集只负责存储整个数据集的一部分,这就是Redis的集群,其作用是提供在多个Redis节点间共享数据的程序…

IDEA启动失败报错解决思路

IDEA启动失败报错解决思路 背景:在IDEA里安装插件失败,重启后直接进不去了,然后分析问题解决问题的过程记录下来。方便下次遇到快速解决。也是一种解决问题的思路,分享出去。 启动报错信息 Internal error. Please refer to https…

加索引后 sql loader-951

加索引后 sql loader-951 现象解决过程最终解决 现象 之前使用sqlldr正常,加表索引后使用sqlldr时 报错 SQL Loader-951 解决过程 百度,说可能是锁表(或者表未提交) 查看没有对应未commit数据,且没有锁表。查看对应…

【笔记 Python 01】基本数据类型、基本类型

文章目录 类型是否可转换基本类型汇总集合 set【创建】【添加元素】【删除】【清空】【差集】【交集】【并集】【update 批量更新】【set → numpy】 元组 tuple ()【描述】【优点】【元组的创建】【元组的插入】【删除元组】 字典 dict {}【创建空列表】【创建列表】【字典的获…

ke14--10章-1数据库JDBC介绍

注册数据库(两种方式),获取连接,通过Connection对象获取Statement对象,使用Statement执行SQL语句。操作ResultSet结果集 ,回收数据库资源. 需要语句: 1Class.forName("DriverName");2Connection conn DriverManager.getConnection(String url, String user, String…

抖音各加密参数说明和获取(含代码)

​X-Bogus:X-Bogus是一种防数据包伪造的一个参数, 又称为x伪造,主要用于反爬虫,这个是某节公司下面基础服务,这个反爬虫机制几乎用在了它所有的产品中,不过,只要是能正常使用,这些东…

什么是Non EC

今天在填一个表单时,里面有个Non EC的选项,不解其意。原来是欧盟成员国国民的意思,因为欧盟法规各方面比较严厉,所以会单列出来,作为一个条件。 互联网查询结果如下: Non-EC是指非欧盟(EU&#…