复制给节点的命令_深入理解redis主从复制原理

1.复制过程

  1. 从节点执行 slaveof 命令。      

  2. 从节点只是保存了 slaveof 命令中主节点的信息,并没有立即发起复制。      

  3. 从节点内部的定时任务发现有主节点的信息,开始使用 socket 连接主节点。    

  4. 连接建立成功后,发送 ping 命令,希望得到 pong 命令响应,否则会进行重连。      

  5. 如果主节点设置了权限,那么就需要进行权限验证,如果验证失败,复制终止。        

  6. 权限验证通过后,进行数据同步,这是耗时最长的操作,主节点将把所有的数据全部发送给从节点。    

  7. 当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。接下来,主节点就会持续的把写命令发送给从节点,保证主从数据一致性

43d717beaaa2426a2d66686b4644e1a6.png

2.数据间的同步

上面说的复制过程,其中有一个步骤是“同步数据集”,这个就是现在讲的“数据间的同步”。

redis 同步有 2 个命令:sync 和 psync,前者是 redis 2.8 之前的同步命令,后者是 redis 2.8 为了优化 sync 新设计的命令。我们会重点关注 2.8 的 psync 命令。

psync 命令需要 3 个组件支持

  1. 主从节点各自复制偏移量  

  2. 主节点复制积压缓冲区  

  3. 主节点运行 ID

主从节点各自复制偏移量:

  1. 参与复制的主从节点都会维护自身的复制偏移量。      

  2. 主节点在处理完写入命令后,会把命令的字节长度做累加记录,统计信息在 info replication 中的 masterreploffset 指标中。      

  3. 从节点每秒钟上报自身的的复制偏移量给主节点,因此主节点也会保存从节点的复制偏移量。        

  4. 从节点在接收到主节点发送的命令后,也会累加自身的偏移量,统计信息在 info replication 中。       

  5. 通过对比主从节点的复制偏移量,可以判断主从节点数据是否一致。

主节点复制积压缓冲区:

  1. 复制积压缓冲区是一个保存在主节点的一个固定长度的先进先出的队列,默认大小 1MB。        

  2. 这个队列在 slave 连接是创建。这时主节点响应写命令时,不但会把命令发送给从节点,也会写入复制缓冲区。        

  3. 他的作用就是用于部分复制和复制命令丢失的数据补救。通过 info replication 可以看到相关信息。

主节点运行 ID:

  1. 每个 redis 启动的时候,都会生成一个 40 位的运行 ID。        

  2. 运行 ID 的主要作用是用来识别 Redis 节点。如果使用 ip+port 的方式,那么如果主节点重启修改了 RDB/AOF 数据,从节点再基于偏移量进行复制将是不安全的。所以,当运行 id 变化后,从节点将进行全量复制。也就是说,redis 重启后,默认从节点会进行全量复制。

如果在重启时不改变运行 ID 呢?

  1. 可以通过 debug reload 命令重新加载 RDB 并保持运行 ID 不变,从而有效的避免不必要的全量复制。

  2. 缺点是:debug reload 命令会阻塞当前 Redis 节点主线程,因此对于大数据量的主节点或者无法容忍阻塞的节点,需要谨慎使用。一般通过故障转移机制可以解决这个问题。

psync 命令的使用方式:

  命令格式为  psync{runId}{offset}

  runId:从节点所复制主节点的运行 id        

  offset:当前从节点已复制的数据偏移量

psync 执行流程:

6fde1a841ccaa0c85defe978491f8aea.png

流程说明:

从节点发送 psync 命令给主节点,runId 就是目标主节点的 ID,如果没有默认为 -1,offset 是从节点保存的复制偏移量,如果是第一次复制则为 -1.

主节点会根据 runid 和 offset 决定返回结果:

  1. 如果回复 +FULLRESYNC {runId} {offset} ,那么从节点将触发全量复制流程。      

  2. 如果回复 +CONTINUE,从节点将触发部分复制。        

  3. 如果回复 +ERR,说明主节点不支持 2.8 的 psync 命令,将使用 sync 执行全量复制。

到这里,数据之间的同步就讲的差不多了,篇幅还是比较长的。主要是针对 psync 命令相关之间的介绍。

3.全量复制

全量复制是 Redis 最早支持的复制方式,也是主从第一次建立复制时必须经历的的阶段。触发全量复制的命令是 sync 和 psync。之前说过,这两个命令的分水岭版本是 2.8,redis 2.8 之前使用 sync 只能执行全量不同,2.8 之后同时支持全量同步和部分同步。

e985aafc8968c4b08a9c01826d98c29a.png

流程如下

  1. 发送 psync 命令(spync ? -1)        

  2. 主节点根据命令返回 FULLRESYNC        

  3. 从节点记录主节点 ID 和 offset        

  4. 主节点 bgsave 并保存 RDB 到本地

  5. 主节点发送 RBD 文件到从节点

  6. 从节点收到 RDB 文件并加载到内存中

  7. 主节点在从节点接受数据的期间,将新数据保存到“复制客户端缓冲区”,当从节点加载 RDB 完毕,再发送过去。(如果从节点花费时间过长,将导致缓冲区溢出,最后全量同步失败)   

  8. 从节点清空数据后加载 RDB 文件,如果 RDB 文件很大,这一步操作仍然耗时,如果此时客户端访问,将导致数据不一致,可以使用配置slave-server-stale-data 关闭.        

  9. 从节点成功加载完 RBD 后,如果开启了 AOF,会立刻做 bgrewriteaof。

以上加粗的部分是整个全量同步耗时的地方。

注意:

  1. 如过 RDB 文件大于 6GB,并且是千兆网卡,Redis 的默认超时机制(60 秒),会导致全量复制失败。可以通过调大 repl-timeout 参数来解决此问题。        

  2. Redis 虽然支持无盘复制,即直接通过网络发送给从节点,但功能不是很完善,生产环境慎用。

4.部分复制

当从节点正在复制主节点时,如果出现网络闪断和其他异常,从节点会让主节点补发丢失的命令数据,主节点只需要将复制缓冲区的数据发送到从节点就能够保证数据的一致性,相比较全量复制,成本小很多。

9e488c6c3f14b9fbf3f3a5053825338a.png

  1. 当从节点出现网络中断,超过了 repl-timeout 时间,主节点就会中断复制连接。

  2. 主节点会将请求的数据写入到“复制积压缓冲区”,默认 1MB。

  3. 当从节点恢复,重新连接上主节点,从节点会将 offset 和主节点 id 发送到主节点。     

  4. 主节点校验后,如果偏移量的数后的数据在缓冲区中,就发送 cuntinue 响应 —— 表示可以进行部分复制。

  5. 主节点将缓冲区的数据发送到从节点,保证主从复制进行正常状态。

5.心跳

主从节点在建立复制后,他们之间维护着长连接并彼此发送心跳命令。

心跳的关键机制如下:

  1. 中从都有心跳检测机制,各自模拟成对方的客户端进行通信,通过 client list 命令查看复制相关客户端信息,主节点的连接状态为 flags = M,从节点的连接状态是 flags = S。 

  2. 主节点默认每隔 10 秒对从节点发送 ping 命令,可修改配置 repl-ping-slave-period 控制发送频率。

  3. 从节点在主线程每隔一秒发送 replconf ack{offset} 命令,给主节点上报自身当前的复制偏移量。

  4. 主节点收到 replconf 信息后,判断从节点超时时间,如果超过 repl-timeout 60 秒,则判断节点下线。

2c4336e8b2b1263c9ba37c96963e4efb.png

注意:

为了降低主从延迟,一般把 redis 主从节点部署在相同的机房/同城机房,避免网络延迟带来的网络分区造成的心跳中断等情况。

6.异步复制

主节点不但负责数据读写,还负责把写命令同步给从节点,写命令的发送过程是异步完成,也就是说主节点处理完写命令后立即返回客户度,并不等待从节点复制完成。

异步复制的步骤很简单,如下:

  1. 主节点接受处理命令。

  2. 主节点处理完后返回响应结果 。

  3. 对于修改命令,异步发送给从节点,从节点在主线程中执行复制的命令。

6e2d098295b07ce3cc8754538303ccaa.png

总结

本文主要分析了 Redis 的复制原理,包括复制过程,数据之间的同步,全量复制的流程,部分复制的流程,心跳设计,异步复制流程。其中,可以看出,RDB 数据之间的同步非常耗时。所以,Redis 在 2.8 版本退出了类似增量复制的 psync 命令,当 Redis 主从直接发生了网络中断,不会进行全量复制,而是将数据放到缓冲区(默认 1MB)里,在通过主从之间各自维护复制 offset 来判断缓存区的数据是否溢出,如果没有溢出,只需要发送缓冲区数据即可,成本很小,反之,则要进行全量复制,因此,控制缓冲区大小非常的重要。

「更多精彩文章请关注我的公众号,喜欢的请分享给更多的朋友哦」

aa401a37e6ead2fd33fef003a4318f12.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/486313.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php封装webservice_四种php中webservice实现的简单架构方法及实例

一:PHP本身的SOAP所有的webservice都包括服务端(server)和客户端(client)。要使用php本身的soap首先要把该拓展安装好并且启用。下面看具体的code首先这是服务端实现:class test{function show(){return the data you request!;}}function getUserInfo($…

量子计算和量子模拟研究获进展

来源:中国科学技术大学北京时间11月19日,中国科学技术大学潘建伟、苑震生等与德国海德堡大学、意大利特伦托(Trento)大学的合作者在超冷原子量子计算和模拟研究中取得重要突破:他们开发了一种专用的量子计算机——71个…

05设计模式——抽象工厂模式

前言:以下总结来自龙哥---左潇龙博客。 总结的很到位,附上博客链接:http://www.cnblogs.com/zuoxiaolong/p/pattern6.html 抽象工厂模式算是工厂相关模式的终极形态,它与工厂方法唯一的区别就是工厂的接口里是一系列创造抽象产品的…

python嵌套列表法实现树_python – 将嵌套的括号树转换为嵌套列表

我有一个树结构文件,其中括号用于表示树.这是将代码转换为python嵌套列表的代码def foo(s):def foo_helper(level0):try:token next(tokens)except StopIteration:if level ! 0:raise Exception(missing closing paren)else:return []if token ):if level 0:raise Exception…

php 正则 中文英文,php 验证只能输入汉字、英语、数字的正则表达式

收藏了正则表达式。可以验证只能输入数字、汉字、英语。分开验证了也可以整合一起验证。但是我是拆分开好了。比较好使。可以单独的验证。经过本人测试可以使用的哦!下面就是php 验证只能输入汉字、英语、数字的代码了if(preg_match(/^[0-9]$/,$str)){echo 值能输入…

卫星发现,这里用十年逆转了千年!

以下内容影像、地形以及气象数据都来自卫星观测记录我们与这个星球如何共处并解决自身的发展问题这是我们的星球这也是我们的星球地球表面的气体流动被卫星和超级计算机所感知它们带来降雨或干旱富饶或贫瘠改变着一块又一块土地一群又一群人一个又一个时代亚洲大陆西南从印度洋…

三.SQL语句实例

1.查询A表中存在而B表中不存在的数据 1.1 描述:表A中有一tel字段,表B中有一tel字段,两个字段存储的内容部分相同,现要查询A表tel字段中有而B表tel字段中没有的数据 1.2 有三个select关键字的查询语句 select tel from A where A.t…

python实现rpc框架_使用Python实现RPC框架

前言本文将会使用Python实现一个最简单的RPC框架,玩具向,不具有实用意义,但可以让你清醒的理解RPC框架的几个组成部分,只是比看Python自带的xmlrpc清晰。本文需要一点Python socket基础。如果你对Python Socket基础方面的内容不是…

php根据分类生成网址,PHP实现无限极分类生成分类树的方法

本文实例讲述了PHP实现无限极分类生成分类树的方法。分享给大家供大家参考,具体如下:现在的分类数据库设计基本都是:每一个分类有一个id主键字段,一个pid指向父类的id,这样便可实现无限级分类,取出的数据就…

张亚勤:新范式、新架构和新模态突破传统算力,推动物理世界走向数字化

本文转自联想创投近日,在联想创投2020 CEO年会上,清华大学讲席教授、智能产业研究院院长、美国艺术与科学院院士、百度前总裁张亚勤先生带来了《未来科技趋势展望》。张亚勤表示,数字化的3.0时期已经到来,数字化的范围已从内容、社…

python魔法函数和装饰器_python魔法方法、构造函数、序列与映射、迭代器、生成器...

在Python中,所有以__双下划线包起来的方法,都统称为"魔术方法"。比如我们接触最多的__init__,魔法方法也就是具有特殊功能的方法。构造函数构造函数不同于普通方法,将在对象创建后自动调用它们。也就是在对象创建完成后…

javascript读取php,PHP如何读取由JavaScript设置的Cookie

cookie在开发中使用的非常多,但如果是使用JavaScript设置cookie然后使用PHP读取出来如何实现呢?即PHP与JavaScript下Cookie的交互使用是否可行呢?// 读取JavaScript设置的cookieheader("Content-type: text/html; charsetutf-8");i…

pycharm 无法import PIL

ubuntu 16.04 pycharm 中使用PIL,pyhon3版本报错:no module 备注:系统已安装PIL,在终端可以import 成功 解决: pycharm中在File -> Settings ->Project ->Project Interpreter ->Packge -> &#xff0…

【华为出品】智能体白皮书2020(附全文下载)

来源 | 华为、IDC、中国信通院等微信编辑 | 邱峰、罗兵微信审核 | 张祥、吴斌、数字理政究院、中通协大数据分会IDC、中国信息化百人会、中国信息通信研究院、中国人工智能产业发展联盟与华为联合编撰的《智能体白皮书》指出,在第四次工业革命爆发前的历史拐点&…

python生成配置文件config_Python configparser模块封装及构造配置文件

1.configparser模块简介使用配置文件来灵活的配置一些参数是一件很常见的事情,配置文件的解析并不复杂,在python里更是如此,在官方发布的库中就包含有做这件事情的库,那就是configParserconfigParser解析的配置文件的格式比较象in…

吴恩达【深度学习工程师】 04.卷积神经网络 第四周特殊应用(2)神经风格转换...

该笔记介绍的是《卷积神经网络》系列第四周:特殊应用(2)神经风格转换 主要内容有: 1.神经风格转换 2.卷积网络隐藏单元可视化显示 3.神经风格转换代价函数 4.内容代价函数 5.风格代价函数 *6.数据从一维到三维的推广 神经风格转换 把C(conten…

php grepmatch,linux最快的文本搜索神器ripgrep(grep的最好代替者)

前言说到文本搜索工具,大家一定会知道 grep, 它是 linux 最有用并最常用的工具之一。但如果要再一个大的工程项目中搜索某个关键词,大家也一定知道它比较耗时。所以就有了很多替代工具,之前最出名的是 Ack,Ag而最近又有了新的替代…

蒲慕明:《大脑之美》序言,脑探索的起点

来源:神经现实本文经授权摘自《大脑之美》序言作者:蒲慕明现代神经科学起源于十九世纪末期;圣地亚哥拉蒙-卡哈尔(Santiago Ramn y)的神经解剖学研究和他提出的神经元理论是主要的起点。一百多年来,神经科学…

pycharm python 模板配置_pycharm设置python脚本模板

PyCharmPyCharm是一个有名的Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外,该IDE提供了一些高级功能,以…

slow log php,善用php-fpm的慢执行日志slow log,分析php性能问题

众所周知,mysql有slow query log,根据慢查询日志,我们可以知道那些sql语句有性能问题。作为mysql的好搭档,php也有这样的功能。如果你使用php-fpm来管理php的话,你可以通过如下选项开启。PHP 5.3.3 之前设置如下&#…