redis之高可用

(一)redis之高可用

1、在集群当中有一个非常重要的指标,提供正常服务的时间的百分比(365天)99.9%

2、redis的高可用的含义更加广泛,正常服务是指标之一,数据容量的扩展、数据的安全性

3、在redis中实现高可用的技术

(1)持久化
(2)主从复制
(3)哨兵模式
(4)cluster集群

(二)持久化(RDB/AOF)(重点)

1、持久化:最简单的高可用方法,主要作用是数据备份,也就是把redis缓存在内存中的数据保存到本地的硬盘当中(冷备份—停止服务备份)

2、redis持久化的两种方式

(1)RDB持久化:redis在内存中的数据定时保存到磁盘(自动执行、手动执行)(生产中很少使用)
(2)AOF持久化:redis的操作日志,以追加的方式写入一个AOF的文件,类似于mysql的binlog

(三)RDB持久化

1、RDB:指在指定的时间间隔内,将内存中当前进程中的数据生成快照保存到硬盘(快照持久化),用二进制压缩存储,保存的文件名后缀.rdb,redis启动时可以直接读取快照文件,实现数据恢复

2、RDB的触发机制

(1)手动机制:save、bgsave都可以生成RDB文件
save创建RDB文件时,整个redis进程会被阻塞,期间redis将无法进行读写操作,直到RDB文件创建完整为止(生产中禁止用save生成RDB文件)
bgsave:就是主从复制的机制。特点:主进程会通过fork机制创建一个子进程,子进程创建的过程中,主进程会阻塞,子进程创建完毕,主进程解除阻塞,由子进程创建RDB文件,创建完成之后,通知主进程更新通知信息(重点)

③bgsave的工作流程

关闭服务(冷备份):

恢复:

(2)自动机制(/ect/redis/6379.conf)
除了配置文件的save m n之外,还有:
①主从复制,从节点执行全量复制操作,直接执行bgsave,把RDB文件传送给从节点
②关闭主进程,shutdown之后,会自动指定RDB的持久化
③启动时加载,RDB文件被损坏,日志中会打印错误,redis会拒绝启动
④redis-check-rdb工具修复RDB的持久化文件

save 900 1:表示当时间到900秒时,redis的数据至少发生一次变化,就执行bgsave

save 300 10:表示当时间到300秒时,redis的数据至少发生十次变化,就执行bgsave

save 60 10000:表示当时间到60秒时,redis的数据至少发生一万次变化,就执行bgsave

时间间隔不能太短,执行不能太频繁(数据变动的越多,执行的时间越短,数据变动不大,时间间隔要长一点)

生产中一般设置:save 120 1000、save 60 10000

rdbcompression yes

开启RDB文件的压缩功能,在高并发场景建议关闭

(生产中默认是no)

(四)AOF持久化(生产中普遍使用)

1、AOF持久化是将redis的每一次读、写、删除命名记录到一个单独的.aof结尾的文件,查询操作由主进程记录,当redis重启时,再次执行AOF文件中的命令来恢复数据

2、AOF的实时性更好,也是主流的持久化方案

3、RDB是redis的默认持久化文件,但是一旦开启AOF持久化,那么redis会以AOF的持久化文件作为最高级优先级

 

aof-load-truncated yes:用于判断AOF文件是否被截断,发现被截断(写入过程中出现异常,导致文件未能完全写入)(重点)

AOF文件被截断时:

设置为yes,redis会尽可能的恢复文件中的数据,redis会继续运行

设置为no,发现AOF文件被截断,redis会拒绝启动

数据完整祥的要求高:设置No

注重数据服务器的可用性:设置yes

4、AOF的工作流程(自动机制:编辑vim appendonly.aof)

(五)AOF的重写功能(重点)

1、重写的原因:随着时间增长,AOF文件中的数据也会不断增加,AOF的文件也会越来越大,过大的AOF文件不仅仅会影响服务器的正常运行,也会导致数据恢复的时间过长

2、文件重写:是指定期的重写AOF文件,减小AOF文件的体积,AOF重写是把redis进程内的数据转化为写命令,同步到新的AOF文件中(不会额外的生成一个新的文件,只是在原内容中进行压缩),不会对原有的AOF文件进行任何读写的操作

3、文件重写虽然是AOF持久化强烈推荐的,但不是必须的,没有重写,并不影响redis启动时读取数据,在实际中,会关闭自动的文件重写,通过定时任务来完成

4、重写机制的工作路程(重点)

5、AOF同步文件策略的三种方式

(1)appendfsync always:写入过程中,立刻调用redis系统的fsync操作写入到AOF文件,这次写入都执行同步,硬盘的性能有瓶颈,硬盘的寿命会大大降低(不推荐)

(2)appendfsync everysec命名写入,调用write操作,write操作结束后,write线程会返回,fsync同步文件操作由专门的线程每秒同步一次(这是一个折中的策略,是性能和安全性的平衡,是redis的默认配置,也是推荐配置)

(3)appendfsync no:写入操作调用系统的write操作,不对AOF文件进行同步,操作系统来同步,同步周期30秒,文件同步的时间不可控,缓冲区会堆积大量数据,数据的安全也无法保证

6、重写的触发条件

(1)手动触发:redis-cli bgrewriteaof

(2)自动触发(配置配置文件):

auto-aof-rewrite-percentage 100

表示文件的大小超过基准的百分比,默认值就是100,文件的大小超过两倍时,执行bgrewriteaof,设置为0,表示禁用自动触发(100M—200M—400M)

*若要创建定时任务,可以设置为0,或者注释掉

auto-aof-rewrite-min-size 64mb(必须要有):

表示只有文件大于基准值,才会进行重写,这个值是AOF执行重写的最小值,可以避免开始启动redis后,文件太小,然后频繁的进行重写

7、AOF重写为什么能压缩文件

(1)重写的过程中,如果有过期的数据不会写入文件
(2)无效的命令不再写入文件,数据被重复设置(set test 1,set test 2),删除的数据也不会写入
(3)把多条命令合并成一个
例:sadd test1 1 sadd test1 2 sadd test1 3——sadd test1 1 2 3
(4)重写之后,AOF的文件当中的命令减少了,空间也少了,恢复速度也增加了(重写不是必须的,根据需求——重点

(六)RDB和AOF之间的优缺点

1、DRB

(1)RDB的优点:RDB文件体积小,网络传输速度很快,适合全量复制,恢复速度也比AOF要快
(2)RDB的缺点:做不到实时的持久化,数据如此重要,不能容忍丢失的;RDB需要满足特定的格式,兼容性很差,老版本的RDB不支持新版本(redis的版本要一致,redis的版本:5.0.7)

2、AOF

(1)AOF的优点:秒级持久化,兼容性好(文本格式保存的命名,命令通用)
(2)AOF的缺点:文件大,恢复速度慢,AOF持久化需要频繁的向磁盘写入数据,磁盘的I/O压力很大,对redis 主进程的性能也会有一定影响

(七)持久化总结

1、redis的持久化也算是高可用的一种,通过备份文件来恢复数据(冷备份)

2、RDB:save(线上禁用),bgsave

3、AOF:

(1)实时持久化,写入的是操作命令,除了查(set和del会记录,select和get不记录)。实时记录,恢复方式类似于mysql的binlog
(2)重写(推荐但是不是必须的):也是主进程创建一个子进程,在过程中产生的数据以及同步策略都会写入到AOF文件当中

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/157652.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

存储日志数据并满足安全要求

日志数据是包含有关网络中发生的事件的记录的重要信息,日志数据对于监控网络和了解网络活动、用户操作及其动机至关重要。 由于网络中的每个设备都会生成日志,因此收集的数据量巨大,管理和存储所有这些数据成为一项挑战,日志归档…

【C语言】数据结构——栈和队列实例探究

💗个人主页💗 ⭐个人专栏——数据结构学习⭐ 💫点击关注🤩一起学习C语言💯💫 目录 导读:一、 栈1. 栈的概念及结构2. 栈的实现3. 实现代码3.1 定义结构体3.2 初始化栈3.3 销毁栈3.4 入栈3.5 出栈…

【Java 进阶篇】深入理解 Jackson:Java 对象转 JSON 的艺术

嗨,亲爱的小白们!欢迎来到这篇关于 Jackson JSON 解析器中 Java 对象转 JSON 的详细解析指南。JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,而 Jackson 作为一个强大的 JSON 解析库,能够帮…

基于SVM的车牌识别算法

基于SVM的车牌识别系统(Python代码实现) 车牌识别系统是智能交通系统的重要组成部分,有着广泛的应用。车牌识别系统主要有车牌定位、字符分割和字符识别三部分组成,本文的研究重点是车牌字符识别这部分,本文提出了一种…

RT-Thread Hoist_Motor PID

本节介绍的是一个举升电机,顾名思义,通过转轴控制物体升降,为双通道磁性译码器,利用电调进行操控,具体驱动类似于大学期间最大众的SG180舵机,在一定的频率下,通过调制脉宽进行控制。 设备介绍…

数据结构 图

树是无环连通图,是一种特殊的图。 分类 图分为有向图[边是有方向的]和无向图[边是无方向的]。 无向图(a—b),建立两条有向图(a—>b,b—>a),无向图是一种特殊的有向图。 存储有向图 邻接矩阵 ——用于存储比较稠密的图【…

MyBatis的xml实现

1.下载插件MyBatisX 2.添加依赖 <!--Mybatis 依赖包--><dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-spring-boot-starter</artifactId><version>2.3.1</version></dependency><!--…

Rust错误处理机制:优雅地管理错误

大家好&#xff01;我是lincyang。 今天&#xff0c;我们要探讨的是Rust语言中的错误处理机制。 Rust作为一种系统编程语言&#xff0c;对错误处理的重视程度是非常高的。它提供了一套既安全又灵活的机制来处理可能出现的错误。 Rust错误处理的两大类别 在Rust中&#xff0…

vue下载xlsx表格

vue下载xlsx表格 // 导入依赖库 import XLSX from xlsx; import FileSaver from file-saver; methods:{btn(){let date new Date()let Y date.getFullYear() -let M (date.getMonth() 1 < 10 ? 0 (date.getMonth() 1) : date.getMonth() 1) -let D (date.getDat…

【设备树添加节点】

节点结束位置都需要加分号 of_iomap 完成映射 of_property_read_u32_array of_property_read_string of_fine_node_by_path

如何优雅的避免空指针异常

文章目录 1.数据准备2.实战&#xff1a;获取用户所在的城市2.1.直接获取&#xff1b;容易出现空指针异常。2.2.使用if-else判断&#xff1b;避免了出现空指针的问题&#xff0c;但是代码结构层次嵌套多&#xff0c;不美观2.3.使用工具类美化一下if判断代码2.4.使用Optional解决…

MySQL数据库:开源且强大的关系型数据库管理系统

大家好&#xff0c;我是咕噜-凯撒&#xff0c;数据在当今信息化时代的重要性不可忽视。作为企业和组织的重要资产&#xff0c;数据的管理和存储变得至关重要&#xff0c;MySQL作为一种关系型数据库管理系统&#xff0c;具有非常多的优势&#xff0c;下面简单的探讨一下MySQL数据…

基于卷尾猴算法优化概率神经网络PNN的分类预测 - 附代码

基于卷尾猴算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于卷尾猴算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于卷尾猴优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要&#xff1a;针对PNN神经网络…

【Java程序员面试专栏 专业技能篇】Java SE核心面试指引(二):面向对象思想

关于Java SE部分的核心知识进行一网打尽,包括四部分:基础知识考察、面向对象思想、核心机制策略、Java新特性,通过一篇文章串联面试重点,并且帮助加强日常基础知识的理解,全局思维导图如下所示 本篇Blog为第二部分:面向对象思想,子节点表示追问或同级提问 面向对象基…

按照指定条件对数据进行分组并对每个分组内的全部数据应用自定义函数进行聚合计算groupby().apply()

【小白从小学Python、C、Java】 【计算机等考500强证书考研】 【Python-数据分析】 按照指定条件对数据进行分组 并对每个分组内的全部数据 应用自定义函数进行聚合计算 groupby().apply() [太阳]选择题 下列输出正确的是&#xff1a; import pandas as pd data {Name: [A, B,…

多线程的概念

点击链接返回标题-> 什么是进程&#xff1f; 进程&#xff08;Process&#xff09;&#xff0c;是程序的基本执行实体。 在早期面向进程设计的计算机结构中&#xff0c;进程是程序的基本执行实体&#xff1b; 在当代面向线程设计的计算机结构中&#xff0c;进程是线程的容器…

求二叉树中指定节点所在的层数(可运行)

运行环境.cpp 我这里设置的是查字符e的层数&#xff0c;大家可以在main函数里改成自己想查的字符。&#xff08;输入的字符一定是自己树里有的&#xff09;。 如果没有输出结果&#xff0c;一定是建树错误&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&…

Maven环境配置

Maven环境配置 下载Maven 网址&#xff1a;https://maven.apache.org/download.cgi 如果你的系统是Windows的直接按照箭头指示下载即可 环境变量配置 配置环境变量&#xff1a;将 Maven 的安装目录添加到您的系统环境变量中。 右键点击“我的电脑”&#xff08;或“此电脑…

Startdrive中上传参数设置的具体方法和注意事项

Startdrive中上传参数设置的具体方法和注意事项 适用于配 SINAMICS S120、G130、G150、S150和MV(基于CU3x0-2的驱动器)和所有启动驱动器版本INAMICS G115D/G120/G120D/G120C/G120P/G110M(基于CU2x0-2的驱动器) 根据SINAMICS类型的不同,Startdrive中的Upload参数有所不同。…

leetcode刷题详解——粉刷房子

1. 题目链接&#xff1a;LCR 091. 粉刷房子 2. 题目描述&#xff1a; 假如有一排房子&#xff0c;共 n 个&#xff0c;每个房子可以被粉刷成红色、蓝色或者绿色这三种颜色中的一种&#xff0c;你需要粉刷所有的房子并且使其相邻的两个房子颜色不能相同。 当然&#xff0c;因为…