2、Redis持久化与高可用架构

一、Redis 持久化
  1. RDB 快照(Snapshot)

    • 基本概念:RDB(Redis DataBase)快照是将 Redis 内存中的数据在某个时间点保存到磁盘中的一种持久化方式,默认保存到 dump.rdb 的二进制文件中。通过 RDB 快照,可以在服务器故障时恢复到某个时间点的数据状态。它在满足指定条件时自动保存,也可以手动执行 save 或 bgsave 命令生成快照。
    • 自动保存:Redis 可以配置在特定条件下自动生成 RDB 快照。例如,配置 save 60 1000,表示在 60 秒内有 1000 个键发生变化时,自动保存一次数据集。可以通过注释所有 save 配置来关闭自动保存功能。
    • 手动保存:使用 save 命令会阻塞 Redis 服务器,直到快照完成;而 bgsave 命令则在后台执行快照,使用写时复制(COW)机制,允许在生成快照时正常处理写命令。bgsave 子进程由主线程 fork 生成,开始读取主线程的内存数据并写入 RDB 文件。若主线程修改数据,该数据会被复制一份给 bgsave 子进程,避免主线程阻塞。
  2. AOF(Append-Only File)

    • 基本概念:AOF(Append-Only File)将修改的每一条指令记录进文件appendonly.aof中(先写入os cache,每隔一段时间 fsync到磁盘),以实现持久化。AOF 提供了比 RDB 更高的数据安全性,确保在 Redis 意外停机时,丢失的数据量最小。通过配置文件可以开启 AOF 功能,并设置数据同步(fsync)策略。
    • AOF 配置:可以通过修改配置文件打开 AOF 功能,设置 appendonly yes。AOF 支持三种 fsync 策略:always 表示每次有新命令追加时都进行 fsync,非常慢但非常安全;everysec 表示每秒 fsync 一次,兼顾速度和数据安全;no 表示不执行 fsync,由操作系统决定何时将数据写入磁盘,速度最快但最不安全。
    • AOF 重写:AOF 文件可能会随着时间推移变得很大,Redis 支持 AOF 重写机制,通过 bgrewriteaof 命令重写 AOF 文件,仅保留最新的数据状态。重写过程中,Redis 会 fork 一个子进程来创建新的 AOF 文件,不影响正常命令处理。可以通过配置 auto-aof-rewrite-min-size 和 auto-aof-rewrite-percentage 控制 AOF 文件的重写频率。
  3. RDB 和 AOF 的对比

    • 启动优先级:Redis 启动时,如果既存在 RDB 文件又存在 AOF 文件,则优先使用 AOF 文件恢复数据,因为 AOF 文件通常记录的数据更完整。
    • 文件体积:RDB 文件是数据的二进制快照,通常较小;而 AOF 文件记录每个写命令,文件体积较大。
    • 恢复速度:RDB 文件直接加载到内存,恢复速度较快;AOF 文件需要重放日志,恢复速度较慢。
    • 数据安全性:RDB 可能会丢失最近一次快照后的数据,数据安全性较低;AOF 根据 fsync 策略,可以提供更高的数据安全性。
  4. 混合持久化

    • Redis 4.0 引入混合持久化:为了解决 RDB 恢复丢失数据和 AOF 恢复慢的问题,Redis 4.0 引入了混合持久化,将 RDB 快照与增量的 AOF 日志结合。重写 AOF 时,会将 RDB 快照和新的 AOF 命令一起写入新的 AOF 文件。这样在 Redis 重启时,先加载 RDB 快照,然后重放增量 AOF 日志,极大提高了恢复效率。可以通过 aof-use-rdb-preamble yes 配置开启混合持久化。
二、Redis 主从架构
  1. 主从架构搭建

    • 复制配置文件:搭建主从架构时,首先需要复制主节点的 redis.conf 文件,并修改相关配置。修改的内容包括端口号、数据存放目录等,以区分不同的实例。可以通过设置 port 指定新的端口号,dir 设置数据存放目录,确保每个实例的数据和日志文件不会混淆。
    • 配置主从关系:在从节点的配置文件中,添加 replicaof 主节点IP 主节点端口 配置,使从节点能够从主节点同步数据。可以通过 replica-read-only yes 配置设置从节点为只读模式,避免从节点上的数据被意外修改。
    • 启动从节点:使用 redis-server 启动从节点实例,并通过 redis-cli -p 从节点端口 连接从节点,验证从节点是否能够正确同步主节点的数据。在主节点上执行写操作,观察从节点是否能够及时同步数据变化。
  2. 主从复制原理

    • 全量复制:当从节点首次连接主节点或主从断开后重新连接时,从节点会发送 PSYNC 命令请求全量复制。主节点接收到命令后,会在后台生成 RDB 快照,通过 bgsave 命令生成最新的快照文件,并将其发送给从节点。从节点接收到 RDB 文件后,持久化生成 RDB 文件并加载到内存中。主节点在生成快照期间继续接收写命令,并将这些命令缓存在内存中,待快照发送完毕后,再将缓存在内存中的命令发送给从节点。
    • 部分复制:从 Redis 2.8 版本开始,支持部分复制(断点续传)。主节点在内存中维护一个复制数据的缓存队列,记录最近一段时间的数据变化。主从节点通过维护一个复制偏移量和主节点的运行 ID 来实现断点续传。如果从节点重新连接时,主节点的运行 ID 未变且偏移量在缓存范围内,则进行部分复制;否则,将进行全量复制。部分复制减少了数据传输量和网络压力,提升了复制效率。

主从复制(全量复制)流程图

主从复制(部分复制,断点续传)流程图

三、Redis 哨兵架构

        sentinel哨兵是特殊的redis服务,不提供读写服务,主要用来监控redis实例节点。 哨兵架构下client端第一次从哨兵找出redis的主节点,后续就直接访问redis的主节点,不会每次都通过 sentinel代理访问redis的主节点,当redis的主节点发生变化,哨兵会第一时间感知到,并且将新的redis 主节点通知给client端(这里面redis的client端一般都实现了订阅功能,订阅sentinel发布的节点变动消息)

  1. 哨兵架构搭建

    • 复制并修改配置文件:搭建哨兵架构时,首先需要复制 sentinel.conf 文件,并修改相关配置。修改的内容包括哨兵的端口号、日志文件、监控的主节点等。可以通过设置 port 指定哨兵的端口号,logfile 设置日志文件,sentinel monitor 配置监控的主节点信息及故障判定的 quorum 数量。
    • 启动哨兵:使用 redis-sentinel 命令启动哨兵实例,并通过 redis-cli -p 哨兵端口 连接哨兵,查看哨兵的 info 信息,确认哨兵已正确识别并监控主从节点。
    • 哨兵集群元数据:哨兵集群启动后,会自动发现并记录 Redis 集群的元数据信息,如主从节点的 IP 和端口。哨兵之间会通过发布订阅机制交换这些信息,并在主节点发生故障时,协同进行故障转移。哨兵的配置文件中会自动追加记录这些元数据信息。
  2. 哨兵原理

    • 监控与通知:哨兵通过定期发送 PING 命令检测 Redis 实例的运行状态,当主节点未能在指定时间内响应时,哨兵会将其标记为失效,并在达到 quorum 数量的哨兵判定失效后,开始故障转移过程。故障转移完成后,哨兵会通过发布订阅机制通知客户端新的主节点信息。
    • 故障转移:当主节点被判定失效时,哨兵集群会进行选举,选出一个哨兵来负责故障转移过程。选出的哨兵会将其中一个从节点提升为新的主节点,并通知其他从节点重新复制新的主节点数据。故障转移完成后,哨兵会更新集群的配置信息,并将新的主节点信息写入所有哨兵的配置文件中。原主节点重新上线后,将被配置为新的从节点。
四、Redis 管道与 Lua 脚本
  1. 管道(Pipeline)
    • 基本概念:Redis 管道(Pipeline)允许客户端一次性发送多个请求,而不需要

等待每个请求的响应。这种方式可以显著减少客户端与服务器之间的网络往返时间,提升执行效率。管道中的命令会在服务器端按照顺序执行,结果也会按顺序返回给客户端。

  • 使用场景:管道特别适用于需要执行大量命令且对执行顺序有严格要求的场景。例如批量插入数据、批量获取数据等。通过管道,可以将多条命令打包发送,大幅降低网络传输开销。需要注意的是,管道中的每个命令都是独立执行的,不保证所有命令一起成功,即使前面的命令失败,后面的命令仍然会继续执行。
  • 注意事项:虽然管道可以提高执行效率,但也需要注意命令的打包数量。打包的命令过多,服务器需要缓存的命令结果也会增加,可能导致内存消耗过大。因此,打包命令的数量需要根据具体场景合理设置。
  1. Lua 脚本
    • 基本概念:Redis 从 2.6 版本开始支持 Lua 脚本,通过内置的 Lua 解释器,允许开发者使用 Lua 语言编写脚本并在 Redis 服务器中执行。使用 Lua 脚本可以将多个命令合并为一个脚本执行,从而减少网络开销,并提供原子操作的特性。
    • 使用方式:可以使用 EVAL 命令执行 Lua 脚本,格式为 EVAL script numkeys key [key ...] arg [arg ...]script 是 Lua 脚本内容,numkeys 是脚本中用到的键名参数数量,key 和 arg 分别是键名参数和附加参数。在 Lua 脚本中,可以通过全局变量 KEYS 和 ARGV 访问这些参数,通过 redis.call() 函数调用 Redis 命令。
    • 优势:使用 Lua 脚本可以减少客户端与服务器之间的网络往返次数,提高执行效率。脚本在 Redis 中执行时是原子的,不会被其他命令插入。相比 Redis 的事务功能,Lua 脚本更为灵活和高效,被官方推荐为实现事务功能的替代方案。需要注意的是,不要在脚本中出现死循环或耗时运算,否则会阻塞 Redis,导致无法处理其他命令。
五、Redis 高可用与扩展
  1. 高可用架构

    • 主从复制:Redis 主从复制通过将数据从主节点复制到一个或多个从节点,实现数据冗余和读写分离。主从复制可以提高系统的可用性,当主节点发生故障时,从节点可以提升为新的主节点,继续提供服务。同时,读写分离可以减轻主节点的读请求压力,从节点可以处理读请求,提高系统的并发能力。
    • 哨兵模式:Redis 哨兵模式通过监控 Redis 实例的运行状态,自动进行故障转移,确保系统的高可用性。哨兵集群负责监控主节点和从节点的状态,在主节点发生故障时,自动选举新的主节点,并通知客户端更新连接信息。哨兵模式的自动故障转移机制,使 Redis 集群在面对节点故障时能够快速恢复,提高系统的稳定性。
  2. 扩展性

    • 分片(Sharding):分片是将数据分散存储在多个 Redis 实例上的一种方式,可以支持大规模数据和高并发访问。通过分片,可以将大数据集拆分成多个小块,每个块存储在不同的 Redis 实例上,分散读写压力。客户端在访问数据时,根据数据的键计算出对应的分片,从而定位到具体的 Redis 实例。分片机制使 Redis 能够处理大规模数据和高并发请求,是实现水平扩展的基础。
    • 集群模式:Redis Cluster 提供自动分片和高可用的解决方案,适用于大规模分布式系统。Redis Cluster 将数据分布在多个节点上,每个节点负责一定范围的数据槽(slot),通过自动分片实现数据的水平扩展。同时,Redis Cluster 具备内置的高可用机制,支持主从复制和故障转移,当节点发生故障时,自动选举新的主节点,保证系统的高可用性。Redis Cluster 的自动分片和高可用机制,使其能够应对大规模数据和高并发访问,是构建分布式系统的理想选择。

通过以上内容的详细总结,我们对 Redis 的持久化、主从架构、哨兵架构、管道与 Lua 脚本、高可用与扩展性有了更全面的理解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/36836.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C# 中的 StreamReader 和 StreamWriter 类

在这里插入代码片StreamReader 和 StreamWriter 位于 System.IO 命名空间中。当您想要读取或写入基于字符的数据时,这两个类都很有用。这两个类都处理 Unicode 字符。 StreamReader 派生自抽象类“TextReader”,StreamWriter 派生自“TextWriter”。 下…

Python处理Excel 的常用操作详解

要在Python中处理Excel文件,可以使用openpyxl库来处理.xlsx文件,或者使用xlrd和xlwt(或其升级版openpyxl)来处理.xls文件。 请注意,你需要先安装 pandas 和 openpyxl 库才能运行代码。可以使用以下命令安装&#xff1a…

静态类和静态构造函数

静态类 概念 用static修饰的类。 特点 只能包含静态成员,不能被实例化。 作用 1.将常用的静态成员写在静态类中方便使用。 2.静态类不能被实例化,更能体现工具类的唯一性。 比如:Console就是一个静态类。 静态构造函数 概念 在构造…

springboot系列七: Lombok注解,Spring Initializr,yaml语法

老韩学生 LombokLombok介绍Lombok常用注解Lombok应用实例代码实现idea安装lombok插件 Spring InitializrSpring Initializr介绍Spring Initializr使用演示需求说明方式1: IDEA创建方式2: start.spring.io创建 注意事项和说明 yaml语法yaml介绍使用文档yaml基本语法数据类型字面…

C# 日志框架Serilog使用

1、框架和说明 C#日志框架Serilog支持多种场景输出,简单验证了一下,比较方便 包的安装,推荐直接使用“推荐NuGet包管理器”安装Serilog.AspNetCore,常见的组件都已经集成在一个包中,使用比较方便 2、配置文件 Serilog…

Rethinking Semantic Segmentation: A Prototype View 2022CVPR Oral

流行的语义分割方案的掩码解码策略(基于参数softmax或基于像素查询)视为可学习的类原型。本研究揭示了这种参数分割策略的几个局限性,并提出了一种基于不可学习原型的非参数替代方案。与之前的方法以完全参数化的方式为每个类学习单个权重/查…

【代码随想录算法训练营第五十二天|647.回文子串、516.最长回文子序列】

文章目录 647.回文子串动态规划双指针法 516.最长回文子序列 647.回文子串 动态规划 dp[i][j]指的是s[i:j1]这段是否是回文串,如果s[i]s[j]需要分三种情况来判断,如果ij或者ji1,那么就是回文串,否则还要看这中间的是否是回文串&…

Kubernetes面试整理-如何利用PodSecurityPolicies来提高集群的安全性?

PodSecurityPolicy (PSP) 是 Kubernetes 中用于定义和控制 Pod 安全配置的策略。通过 PSP,可以设置对 Pod 的一些安全约束条件,从而提高集群的安全性。虽然 PSP 从 Kubernetes 1.21 开始已被弃用,并在 1.25 版本中移除,但在一些旧版 Kubernetes 集群中,PSP 仍然是一个重要…

ubuntu22.04编译安装tesseract

1、 为什么用自己编译安装,而不采用apt安装? 由于tesseract有很多依赖包,直接用deb包或者rpm包等安装包安装很复杂,不一定能成功安装。 2、安装基本的依赖包 sudo apt update sudo apt install g autoconf automake libtool pkg…

Docker-Compose一键部署项目

Docker-Compose一键部署项目 目录 Docker-Compose一键部署项目介绍部署Django项目项目目录结构 docker-compose.ymlnginx的default.conf文件后端Dockerfile文件mysql.env一键部署DNS域名解析引起的跨域问题 介绍 Docker Compose 是一个用于定义和运行多容器 Docker 应用程序的…

如何排查Java应用的死锁

排查Java应用中的死锁问题是一个复杂但重要的任务,因为死锁会导致应用程序停止响应,影响用户体验和系统稳定性。以下是一些方法和步骤,帮助你排查Java应用中的死锁。 1. 理解死锁的概念 在计算机科学中,死锁是指两个或多个线程相…

新手向导:掌握Axure RP的第一步

其实很多时候,我们很容易把教程做得太复杂,让学生失去重点被复杂的理论吓到。入门基础的时候只需要先弄清楚两个核心内容,学起来就容易多了:一是简单了解这个软件,二是学习这个软件的基本操作。所以如果你问我什么是好的 Axure RP…

cesium升级到116版本后底图和地形加载问题

cesium在2023-07-03 升级到了107版本,107版本加载底图和地形方式做了变更,之前的imageryProvider 和 CesiumTerrainProvider方式被remove掉了,换了另外方式。变更如下所示: cesium/CHANGES.md at 1.116 CesiumGS/cesium GitHub…

【QCustomPlot实战系列】QCPGraph折线图的渐变

包含折线图渐变效果以及QCPAxisTickerDateTime的使用 static QBrush GenerateLinearBrush(Qt::Orientation orientation) {qreal x 1;qreal y 0;if (orientation Qt::Vertical) {x0;y1.5;}QLinearGradient gradient(0, y, x, 0);gradient.setCoordinateMode(QLinearGradie…

USB描述符的一些解释

USB设备描述符、配置描述符和一些数据缓冲区的数组。让我们逐步解析这些数组中的值。 设备描述符 (Device Descriptor) UINT8C DevDesc[18] = {0x12, 0x01, 0x10, 0x01, 0xff, 0x00, 0x02, 0x08,0x86, 0x1a, 0x23, 0x55, 0x04, 0x03, 0x00, 0x00,0x00, 0x01};0x12 (18): 设备…

Spring Boot中的分布式缓存方案

Spring Boot中的分布式缓存方案 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们将探讨在Spring Boot应用中实现分布式缓存的方案,以提升系统…

软件需求管理规程(DOC原件)

软件需求管理规程是确保软件开发过程中需求清晰、一致、可追踪的关键环节: 明确需求:项目初期,与利益相关者明确项目目标和需求,确保需求完整、无歧义。需求评审:组织专家团队对需求进行评审,识别潜在风险和…

解释Java中的接口和抽象类的使用场景。

在Java中,接口和抽象类是两种特殊的类类型,它们各自有不同的使用场景。 **接口(Interface)** 接口是一种契约,它定义了一组方法的契约,这些方法在实现类中必须实现。它们常常被用来定义一种规范或者标准&…

【前端】前端文件下载方式盘点

前端文件下载方式盘点 在前端开发中&#xff0c;文件下载是一个常见的功能需求。本文将介绍几种常见的前端文件下载方式&#xff0c;分析各自的优缺点&#xff0c;并提供具体的实现代码。 1. 使用 HTML 的 <a> 标签 优点 简单易用&#xff0c;适用于下载静态文件。浏…

【SQL】⼀条更新语句的执行流程

在关系型数据库管理系统&#xff08;RDBMS&#xff09;中&#xff0c;一条更新语句&#xff08;例如UPDATE语句&#xff09;的执行流程涉及多个步骤&#xff0c;以确保数据的一致性、完整性和高效性。以下是典型的更新语句执行流程的概述&#xff1a; 解析&#xff08;Parsing&…