Redis进阶(三):主从复制

        为了解决单点问题,实现多服务器部署redis,有几种解决方案可以实现:主从复制,主从+哨兵还有集群。

何为主从复制

        简单来说有三个服务器分别部署了redis-server程序,选中一个服务器当作主节点,其他的就是从节点了。主节点上有一堆的数据,复制出来拷贝到从节点上,后续主节点有任何修改的数据,都要在从节点上体现出来,要注意的时候为了避免从节点影响到主节点,从节点只能读,不能写。

主从解决的问题

        在可用性方面,如果是单机结构,机器挂了整个程序就挂了,如果是主从结构的话,大大提高了程序的可用性。    

        在性能方面来看,由于从节点的数据时刻保持和主节点一致,那么客户端从 从节点访问数据和从 主节点访问数据是一致的,后续如果有大量的客户端访问数据的话,平均下来,各个节点的压力减少了不小。这其实也相当于引入了计算机资源,并发量自然提升了。

        更准确来说主从只针对读操作进行并发量可用性的提高 ,而写操作依赖于主节点,但是主节点又不能搞多个。

单机部署多个redis

        单机情况下部署redis的前提那就是,不同的redis需要有着不同的端口,修改端口常用的有俩种方式,一个是修改配置文件,另一个就是--port命令行来实现。

修改新复制的配置文件端口分别改成6380 和 81 

当前这几个redis并没有构成主从结构

 由于主从建立了连接,主节点数据一发生改变,从节点立马感知到。而且从节点没办法写数据(set)

了解主从结构(info命令)

断开主从关系/修改主从关系

        slaveof   no   one 

        直接在客户端使用这个命令断开现有的主从复制关系 ,此时从节点就不属于任何主节点了,自己变成主节点了

要注意的是删除的只是关系,从节点的数据不会发生改变的 

使用slaveof修改只是暂时的,重新启动redis优惠恢复如初。

安全性、只读、传输延迟

        对于数据比较重要的节点,主机点通过设置requirepass参数进行密码验证,这时所有的客户端访问必须使用auth命令进行验证,从主节点之间的数据复制是一个特殊的客户端来完成的,因此需要配置从节点的masterauth参数与主节点密码保持一致,这样才能连接并且复制。

        从节点不允许修改文件,只能进行读操作。最好不要修改,因为主节点无法感知从节点数据修改的。

        主从节点一般是不同的机器上的,要考虑到传输延迟,而主从节点的交互是靠网络传输的,也就是tcp。TCP内部支持了nagle算法,开启了会增加传输延迟,但是节省了网络带宽,关闭了减少网络延迟,增加网络带宽,究其原因是nagle算法相当于把tcp数据包打包起来,针对小的数据包进行合并,减少了包的个数。

拓扑

        首先,拓扑的含义是若干个节点之间,按照啥样的方式进行组织连接?

一主一从

        

        客户端发生读请求既可以向主节点发送也可以发送给从节点,但是写请求只能发给主节点 ,会对主节点造成不小的压力,因此我们可以通过关闭主节点的AOF,打开从节点的AOF,但是这种是有缺陷的,主节点一旦挂掉,会自动启动,此时主节点又没有AOF文件,那么从节点还没来得及保存的数据又会丢失了,优化办法是,当主节点挂了 ,需要让主节点向从节点要AOF文件,再启动。

一主多从

 

主从复制流程

         从节点接收到slaveof指令之后,从节点第一步就首先记录主节点的信息(ip、端口号之类的),当然是通过变量的形式记录,在那之后主从之间要建立连接,使用的是tcp建立连接(三次握手),然后是通过发送ping看功能命令能否正常使用,再者就是有的时候主节点会设置密码, 因此会出现权限验证的环节,后面就是同步数据集命令持续复制了。

        redis提供了psync命令来完成数据同步的过程,不需要手动执行的,主从关系建立成功之后,会自动执行psync,从节点负责从主节点拉取数据。

        PSYNC replicaitonid offset

replicationid是主节点生成的,每次启动会随机生成一个主节点的id,用于区分不同的主节点,从节点与主节点建立关系之后,就会从主节点获取到了replication id 

        info reolication 可以获取到repl_id

        offset就是偏移量,主节点进行修改命令的时候,需要记录下所有修改命令的字节个数,从节点的offset就描述了,现在从节点这里数据同步到哪里了。

replication id 和 offset 共同描述了一个"数据集合
如果发现两个机器, replication id 一样, offset 也一样就可以认为这两个 redis 机器上存储的数据就是完全一样的!!

        psync流程

        

全量复制的流程

                 要注意的是在 4 和 5 步骤的时候,一个是生成rdb文件和网络传输的时候需要耗费大量的时间,这段时间主节点可能会收到新的修改请求,因此还是需要把这个新的修改请求发送给从节点,也就是第六步。

        当然全量复制也有优化手段:主节点生成的rdb文件不再保存到硬盘中,而是直接发给从节点,还有从节点收到rdb文件之后,直接读取数据,不在保存,这种实现方式叫 无硬盘模式(diskless)。

部分复制的流程

        全量复制比较大,如果从节点已经有了主节点大量的数据,只需要拷贝少量数据,就可以使用部分复制(网络抖动)。

        

实时复制的流程

         主从节点同步好数据了,但是之后主节点会源源不断的收到新的修改数据的请求,也是需要同步给从节点的,因此可以让主从节点建立TCP长连接,然后主节点根据上述连接将新的修改请求数据发送给从节点。从节点再根据这些数据进行对内存的修改;

     

在进行实时复制的时候,需要保证连接处于可用状态

心跳包 机制
主节点: 默认, 每隔 10s 给从节点发送一个 ping 命令.从节点收到就返回 pong

从节点: 默认, 每隔 1s 就给主节点发起一个特定的请求,就会上报当前从节点复制数据的进度(offset)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/730309.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习笔记 计算机视觉中的测距任务常见技术路线

一、计算机视觉中的测距任务 测距是计算机视觉中的一项关键任务,涉及测量物体和相机之间的距离。这些信息可用于多种应用,包括机器人、自动驾驶汽车和增强现实。测距技术有很多种,包括主动式和被动式,每种技术都有自己的优点和局限性。主动测距技术,例如飞行时间、结构光和…

动态规划DP之背包问题3---多重背包问题

目录 DP分析: 优化: 二进制优化 例题: 01背包是每个物品只有一个,完全背包问题是每个物品有无限个。 那么多重背包问题就是 每个物品有有限个。 有 N 种物品和一个容量是 V 的背包。 第 i 种物品最多有 si 件,每件体…

Softmax 回归 + 损失函数 + 图片分类数据集【动手学深度学习v2】李沐动手学深度学习课程笔记

目录 Softmax回归 损失函数 图片分类数据集 Softmax回归从零开始实现 Softmax回归简洁实现 Softmax回归 回归和分类的区别 回归问题举例上节课的预测房价问题,分类问题就是对样本进行分类 回归和分类的具体区别 假设真实的类别为第i个类别(值为1&#x…

Restful风格接口简介

参考资料: 个人感觉最实用的Restful风格简介 Restful简介: Restful风格具有如下特点: URL要面向资源,使用和资源相关的名词要在URL中体现版本号根据Http不同的方法,进行不同类型的资源操作(如用Get表示查…

js【详解】event loop(事件循环/事件轮询)

event loop 是异步回调的实现原理 js 代码的执行过程 从前到后,一行一行执行如果某一行执行报错,则停止下面代码的执行先把同步代码执行完,再执行异步 event loop 图解 以下方代码为例: 第1步 将第 1 行代码放入调用栈 将要执行第…

python数据分析numpy基础之布尔数组方法sum和any和all

1 python数据分析numpy基础之布尔数组方法sum和any和all 在前面文章介绍的sum、mean、std等统计方法中,布尔值True被转为1,False被转为0。而any和all,则将非0转为True,0转为False。 1.1 sum() python的numpy库的sum()函数&…

vue element plus Icon 图标

Element Plus 提供了一套常用的图标集合。 使用图标# 如果你想像用例一样直接使用,你需要全局注册组件,才能够直接在项目里使用。 如若需要查看所有可用的 SVG 图标请查阅 element-plus/icons-vue1.xelement-plus/icons-vuelatest 和有关 Icon Collect…

C# 生成有序Guid

C# 生成有序Guid public enum SequentialGuidType {/// <summary>/// 用于 MySql 和 PostgreSql./// 当使用 <see cref"Guid.ToString()" /> 方法进行格式化时连续./// </summary>AsString,/// <summary>/// 用于 Oracle./// 当使用 <s…

JavaScript极速入门(2)

JQuery W3C标准给我们提供了一系列函数,让我们可以操作: 网页内容 网页结构 网页样式 但是原生的JavaScript提供的API操作DOM元素时,代码比较繁琐,冗长.我们学习使用JQuery来操作页面对象. JQuery是一个快速,简洁且功能丰富的JavaScript框架,于2006年发布.它封装JavaScript常…

Linux运维:实现光盘开机自动挂载、配置本地yum源教程

Linux运维&#xff1a;实现光盘开机自动挂载、配置本地yum源教程 一、光盘开机自动挂载1、检查光驱设备2、创建挂载点3、编辑/etc/fstab文件4、测试挂载 二、配置本地yum源(挂载光盘或ISO文件)1、挂载ISO文件2、创建YUM仓库配置文件3、清理YUM缓存并测试 &#x1f496;The Begi…

【netty系列-02】深入理解socket本质和BIO底层实现

Netty系列整体栏目 内容链接地址【一】深入理解网络通信基本原理和tcp/ip协议https://zhenghuisheng.blog.csdn.net/article/details/136359640【二】深入理解Socket本质和BIOhttps://zhenghuisheng.blog.csdn.net/article/details/136549478 深入理解socket本质和bio底层实现 …

C语言进阶——位段

在C语言中&#xff0c;位段&#xff08;Bit Fields&#xff09;是一种用来对结构体中的成员进行位级别的控制的特性。通过位段&#xff0c;我们可以灵活地控制结构体中各个成员的位数&#xff0c;从而节省内存空间并提高程序的效率。本篇博客将详细讲解C语言中位段的相关知识&a…

力扣爆刷第89天之hot100五连刷31-35

力扣爆刷第89天之hot100五连刷31-35 文章目录 力扣爆刷第89天之hot100五连刷31-35一、25. K 个一组翻转链表二、138. 随机链表的复制三、148. 排序链表四、23. 合并 K 个升序链表五、146. LRU 缓存 一、25. K 个一组翻转链表 题目链接&#xff1a;https://leetcode.cn/problem…

python第九节:类的使用(3)

类的继承&#xff1a; 一个类继承另一个类时&#xff0c;它将自动获得另一个类的所有属性和方法&#xff1b;原有的类称为父类&#xff0c;而新类称为子类。子类继承了其父类的所有属性和方法&#xff0c;同时还可以定义自己的属性和方法。 创建子类时&#xff0c;必须在括号…

Java 简历优化及注意事项

Java 简历优化及注意事项 前言1、自我介绍2、掌握技术技能3、项目经验4、项目必问的细节点:5、项目中的难点以及优化改进点6、获奖经历7、面试注意事项 前言 最新的 Java 面试题&#xff0c;技术栈涉及 Java 基础、集合、多线程、Mysql、分布式、Spring全家桶、MyBatis、Dubbo…

找出单身狗1,2

目录 1. 单身狗12. 单身狗2 1. 单身狗1 题目如下&#xff1a; 思路&#xff1a;一部分人可能会使用对数组排序&#xff0c;遍历数组的方式去找出只出现一次的数字&#xff0c;但这种方法的时间复杂度过高&#xff0c;有时候可能会不满足要求。 有一种十分简便的方法是使用异或…

​LeetCode解法汇总2834. 找出美丽数组的最小和

目录链接&#xff1a; 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目&#xff1a; https://github.com/September26/java-algorithms 原题链接&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 描述&#xff1a; 给你两个正整数&#xff1a;n 和 target …

DEAP:利用生理信号进行情绪分析的数据库【DEAP数据集】

文章目录 摘要引言刺激选择实验环境参与者步骤参与者自我评估 主观评价分析EEG频率与参与者评分之间的相关性单次试验分类结果 结论 点击下载原文 摘要 ● DEAP&#xff1a;用于分析人类情感状态的多模态数据集。 ● 32名参与者观看了40个一分钟长的音乐视频。 ● 参与者根据唤…

c++ primer中文版第五版作业第十三章

仓库地址 文章目录 13.113.213.313.413.513.613.713.813.913.1013.1113.1213.1313.1413.1513.1613.1713.1813.1913.2013.2113.2213.2313.2413.2513.2613.2713.2813.2913.3013.3113.3213.3313.3413.3513.3613.3713.3813.3913.4013.4113.4213.4313.4413.4513.4613.4713.4813.4913…

PostgreSQL教程(二十二):服务器管理(四)之服务器配置

一、设置参数 1.1 参数名称和值 所有参数名都是大小写不敏感的。每个参数都可以接受五种类型之一的值&#xff1a; 布尔、字符串、整数、 浮点数或枚举。该类型决定了设置该参数的语法&#xff1a; 布尔: 值可以被写成 on, off, true, false, yes, no, 1, 0 &#xff08;都是…