MySQL主从复制与切换

1.主从架构及基本原理

常见主从部署架构:一主多从、一丛多主、双主复制、主从级联复制。

1.1主从复制原理

1.从节点开启start slave,开启主从复制,从节点IO线程与主节点建立连接,请求数据同步;
2.主节点接收到从节点的数据请求,针对该从节点建立单独的log dump线程,将数据返回给从节点;
3.从节点接收到主节点发送过来的binlog之后,会将binlog追加到rely log后面,并保存已处理过的binlog位置
4.从节点的sql线程检测到rely log内容有变化,会将rely log追加的内容解析成sql,然后执行sql;

1.2主从复制涉及线程

MySQL主从复制主要涉及三个线程,一个在源两个在副本:

  1. binary log dump thread (二进制日志转储线程):当副本连接到源时,源创建这个线程将二进制内容发送到副本。在源上使用show processlist查看时,该线程被标识为Binlog Dump线程。
  2. replication I/O thread(复制IO线程):在副本上发出START REPLICA语句时,副本创建一个IO线程,该线程连接到源并要求它发送其二进制日志中记录的更新。复制IO线程接收到源的二进制日志的更新,并将其保存到副本的中继日志文件中。在show slave status的输出中,该线程的状态显示为Slave_IO_running
  3. Replication IO thread(复制sql线程):副本创建的SQL线程来读取复制IO线程写入的中继日志,并执行其中包含的事务。把系统参数replica_parallel_workers设置为大于0时,会有指定相同数量的工作线程并行执行SQL线程的工作和一个协调线程协调这些工作线程

1.3主从同步三种模式

异步复制:主节点将数据写入到binlog,提交事务后就立即返回给客户端,不关心binlog是否同步到从节点
半同步复制:binlog至少同步给一个从节点之后就返回给客户端成功
全同步复制:binlog需要成功同步给所有从节点之后才返回给客户端成功

1.4binlog格式

ROW:行,记录某一条记录被修改成了什么样子,只需要记录修改后的所有字段细节,可能导致产生大量日志影响同步效率
Statement:语句,只记录执行的SQL,日志量小,但对于某些函数(now()等可能存在重放值不一样导致主从数据不一致
MIXED:混合,MySQL智能判断时使用statement还是row格式,默认修改采用statement模式,如果statement模式无法保证主从复制的一致性,则采用ROW模式

通过配置参数binlog_format决定:

mysql>show variables like 'binlog_format';
+-----------------+---------+
|  Variable_name  |  Value  |
+-----------------+---------+
|  binlog_format  |  Row    |
+-----------------+---------+

2.主从搭建

主从搭建需要保证主库和从库的server_id不一样,主库必须要开启二进制日志(log_bin为ON),同时开启gtid,设置enforce_gtid_consistency=1。

mysql>show variables like 'log_bin';
+----------------+---------+
|  Variable_name |  Value  |
+----------------+---------+
|  log_bin       |  ON     |
+----------------+---------+

主库上创建用于主从复制的账号:

mysql>create user 'reg'@'%' identified by 'a123456';
Query OK, 0 rows affected (0.02 sec)

给账号授予复制权限:

mysql> grant replication slave on *.* to 'reg'@'%';
Query OK, 0 rows affected (0.01 sec)

从库上执行:

mysql> change master to master_host='10.453.63.5',master_port_3306,master_user='reg',master_password='a123456',master_auto_position=1;
Query OK, 0 rows affected, 2 warnings (0.02 sec)

从库上开启同步:

mysql> start slave;

查看从库状态,如果Slave_IO_Running和Slave_SQL_Running两个状态都为Yes,则表示主从同步正常。

mysql> show slave status\G

3.主从复制重要参数

mysql> show slave status\G
*************************** 1. row ***************************Slave_IO_State: Waiting for master to send event --IO thread的状态Master_Host: 10.95.253.241       -- 主库ip     Master_User: repl                -- 用于连接主库复制账号(这个账号是在主库上创建)Master_Port: 3300                -- 主库端口 Connect_Retry: 10                  -- 连接重试的秒数(默认 60)Master_Log_File: mysql-bin.005395    -- I/O 线程当前正在读取的主库的二进制日志文件名称。Read_Master_Log_Pos: 684976832           -- I/O 线程已读取的当前主库二进制日志文件中的位点Relay_Log_File: dd-relay.000063     -- SQL线程正在读取和执行的中继日志名称Relay_Log_Pos: 684953253           -- SQL线程正在读取和执行的当前中继日志的位点Relay_Master_Log_File: mysql-bin.005395    -- SQL 线程执行的最新事件 对应在主库上的二进制日志文件名称。Slave_IO_Running: Yes                 -- IO线程是否已启动并已成功连接到主库Slave_SQL_Running: Yes                 -- SQL线程是否启动。Replicate_Do_DB:                     -- 需要复制的DBReplicate_Ignore_DB:                     -- 复制忽略的DBReplicate_Do_Table:                     -- 需要复制的表Replicate_Ignore_Table:                     -- 复制忽略的表Replicate_Wild_Do_Table:                     -- 用于指定需要复制的数据库表,支持通配符(wildcard)的形式Replicate_Wild_Ignore_Table:                     -- 用于指定需要忽略(不复制)的数据库表,同样支持通配符的形式。Last_Errno: 0                   -- Last_SQL_Errno的别名Last_Error:                     -- Last_SQL_Error的别名Skip_Counter: 0                   -- 系统变sql_slave_skip_counter 的当前值  (从库跳过的SQL数量)Exec_Master_Log_Pos: 684953080           -- SQL线程已经读取和执行过的中继日志 对应在主库二进制日志文件的位点Relay_Log_Space: 684977292           -- 所有现有中继日志文件的总大小。Until_Condition: None                -- start slave 中制定 until 语句Until_Log_File:                     -- start slave 中制定 until 语句Until_Log_Pos: 0                   -- start slave 中制定 until 语句Master_SSL_Allowed: No                  -- 是否允许与源的 SSL 连接Master_SSL_CA_File:                     -- 指定用于验证主服务器证书的证书颁发机构(CA)文件的路径Master_SSL_CA_Path:                     -- 指定用于验证主服务器证书的证书颁发机构(CA)路径的路径Master_SSL_Cert:                     -- 指定从服务器的 SSL 证书文件的路径Master_SSL_Cipher:                     -- 指定在 SSL 通信中使用的密码套件Master_SSL_Key:                     -- 指定从服务器的 SSL 私钥文件的路径Seconds_Behind_Master: 0                   -- 主从延迟
Master_SSL_Verify_Server_Cert: No                  -- 表示是否验证主服务器的 SSL 证书。Last_IO_Errno: 0                   -- 导致IO线程停止的最近一次的错误码,Errno :0 表示表示没有错误Last_IO_Error:                     -- 导致IO线程停止的最近的错误信息 。Erro为空表示没有错误 Last_SQL_Errno: 0                   -- 导致SQL线程停止的最近的错误码。Errno :0 表示没有错误 Last_SQL_Error:                     -- 导致SQL线程停止的错误信息,Erro为空表示没有错误 Replicate_Ignore_Server_Ids:                     -- 忽略复制的主库的server_idMaster_Server_Id: 181323300           -- 主库的参数server_id的值Master_UUID: 127ef593-1826-11eb-8a97-6c92bf7d39de           -- 主库参数server_uuid的值Master_Info_File: mysql.slave_master_info                        -- 在从库上存储主库信息的文件或表SQL_Delay: 0                                              -- 从库延迟主库多少秒SQL_Remaining_Delay: NULL                                           -- 当Slave_SQL_Running_State为 时 Waiting until MASTER_DELAY seconds after master executed event,该字段包含剩余延迟秒数。其他时候,该字段为 NULL。Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates -- SQL线程的运行状态Master_Retry_Count: 86400  -- 在连接丢失的情况下,从库可以尝试重新连接到主库的次数。Master_Bind:       -- Last_IO_Error_Timestamp:       -- 最近的I/O 线程发生错误的时间 格式YYMMDD hh:mm:ssLast_SQL_Error_Timestamp:       -- 最近的SQL 线程发生错误的时间 格式YYMMDD hh:mm:ssMaster_SSL_Crl:       -- 指定撤销列表 (CRL) 文件的路径,该文件包含已被撤销的 SSL 证书列表Master_SSL_Crlpath:       -- 指定撤销列表 (CRL) 文件的路径,该文件包含已被撤销的 SSL 证书列表Retrieved_Gtid_Set: 127ef593-1826-11eb-8a97-6c92bf7d39de:330411-2764671 -- 从库已经接收到的GTID的集合(I/O线程),如果GTID模式没有开启则为空。这个值是现在存在或者已经存在在relay log中的GTID集合 Executed_Gtid_Set: 127ef593-1826-11eb-8a97-6c92bf7d39de:1-2764671,
3133d0b5-8d65-11e7-9f2e-c88d83a9846a:1-12697883,
657b7d6b-8d60-11e7-b85f-6c92bf4e09e6:1-1661102840    -- 已经被写进binlog的GTID的集合(SQL线程),这个值和 系统参数 gtid_executed 相同。也和在该实例上执行 show master status 中的Executed_Gtid_Set 值相同Auto_Position: 1  -- 如果正在使用自动定位1;否则为 0。Replicate_Rewrite_DB:    -- 用于指定需要在主从复制过程中进行数据库名重写的规则。Channel_Name:    -- 正在显示的复制通道Master_TLS_Version:    -- 源上使用的 TLS 版本

4.主从延迟

4.1主从延迟产生原因

为了完成主从复制,从库需要通过 I/O 线程获取主库中 dump 线程读取的 binlog 内容并写入到自己的中继日志 relay log 中,从库的 SQL 线程再读取中继日志,重做中继日志中的日志,相当于再执行一遍 SQL,更新自己的数据库,以达到数据的一致性。

与数据同步有关的时间点主要包括以下三个:
主库执行完一个事务,写入 binlog,将这个时刻记为 T1;
之后传给从库,将从库接收完这个 binlog 的时刻记为 T2;
从库执行完成这个事务,将这个时刻记为 T3。
所谓主从延迟,就是同一个事务,从库执行完成的时间与主库执行完成的时间之差,也就是 T3 - T1。

MySQL的主从复制都是单线程的操作,主库对所有DDL和DML产生的日志写进binlog,由于binlog是顺序写,所以效率很高。Slave的SQL Thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随即的,不是顺序的,成本高很多。另一方面,由于SQL Thread也是单线程的,当主库的并发较高时,产生的DML数量超过slave的SQL Thread所能处理的速度,或者当slave中有大型query语句产生了锁等待那么延时就产生了。

4.2 导致问题

1.如果是读写分离的系统,从库延时过高会导致数据不一致,导致读取数据有误
2.如果主从延时时间超过主库binlog保留时间,从库将产生数据丢失
3.主从延迟过大,会影响数据库的高可用切换

4.3 解决方案

  1. 分析主从延迟的原因
    主从延迟的原因可能有多种,包括网络延迟、硬件故障、复制线程阻塞等。我们需要深入分析这些原因,并评估它们对主从延迟的影响程度。例如,网络延迟可能是最常见的原因之一,我们可以通过优化网络配置、使用更快的网络设备等方式来减少网络延迟。

  2. 监测主从延迟
    为了及时发现和解决主从延迟问题,我们需要监测主从延迟的情况。常用的监测方法和工具包括Percona Toolkit和pt-heartbeat等。这些工具可以帮助我们设置监测阈值和触发警报的机制,以便及时采取措施。

  3. 优化主从复制配置
    优化主从复制的配置可以帮助我们减少主从延迟。

# 增加以下配置项,启用并行复制
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 8

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/234326.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

将smiles转为图片都有什么包?rdkit、Open Babel、Indigo

除了 RDKit,还有几个其他的Python库可以用来将SMILES(Simplified Molecular Input Line Entry System)字符串转换为分子图片。这些库通常用于化学信息学和分子建模领域。一些常见的选项包括: rdkit Open Babel Open Babel 命令行…

【NeRF】内容准备

论文地址 项目主页 参考文章: NeRF入门之体渲染 NeRF:火爆科研圈的三维重建技术大揭秘 【三维重建】NeRF原理代码讲解 精选17篇神经辐射场(NeRF)高分论文分享!最新技术成果一次看完!2023/9/29 计划看一下NeRF相关的热…

Ansible的playbook脚本使用

本章注意介绍如何在ansible中写脚本 playbook的语法在写playbook时如何进行错误处理 ansible的许多模块都是在命令行中执行的,每次只能执行一个模块。如果需要执行多个模块,且要写判断语句,判断模块是否执行成功了,如果没成功会…

SpringBoot基于gRPC进行RPC调用

SpringBoot基于gRPC进行RPC调用 一、gRPC1.1 什么是gRPC?1.2 如何编写proto1.3 数据类型及对应关系1.4 枚举1.5 数组1.6 map类型1.7 嵌套对象 二、SpringBoot gRPC2.1 工程目录2.2 jrpc-api2.2.1 引入gRPC依赖2.2.2 编写 .proto 文件2.2.3 使用插件机制生产proto相关…

CWE-611

CWE-611,也称为“URL Redirection to Untrusted Site (‘Open Redirect’)”,是一种常见的Web应用程序安全漏洞。这种漏洞出现在应用程序接受用户提供的URL作为重定向参数,并在未经充分验证的情况下直接将用户重定向到该URL时。攻击者可以利用…

Java 基础学习(十四)Map集合与Set集合

1 Map集合 1.1 Map接口 1.1.1 Map接口概述 Map接口是一种双列集合。Map的每个元素都包含一个键对象Key和一个值对象Value ,键对象和值对象之间存在对应关系,这种关系称为映射(Mapping)。 Map接口中的元素,可以通过…

DC-6靶场

DC-6靶场下载: https://www.five86.com/downloads/DC-6.zip 下载后解压会有一个DC-3.ova文件,直接在vm虚拟机点击左上角打开-->文件-->选中这个.ova文件就能创建靶场,kali和靶机都调整至NAT模式,即可开始渗透 首先进行主…

【Transformer框架代码实现】

Transformer Transformer框架注意力机制框架导入必要的库Input Embedding / Out EmbeddingPositional EmbeddingTransformer EmbeddingScaleDotProductAttention(self-attention)MultiHeadAttention 多头注意力机制EncoderLayer 编码层Encoder多层编码块/前馈网络层…

【机器学习】密度聚类:从底层手写实现DBSCAN

【机器学习】Building-DBSCAN-from-Scratch 概念代码数据导入实现DBSCAN使用样例及其可视化 补充资料 概念 DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种基于密度的空间聚类算…

新手做抖店应该怎么做?应该注意些什么?踩坑避雷!

我是电商珠珠 新手做抖店,对于办理营业执照、选类目确定品,或是找达人这些,往往会在这上面吃很多亏。 我做抖店也已经三年了,关于抖店的玩法和规则这块也非常熟悉,这就来给大家讲讲我所踩的那些坑。 第一个&#xf…

自动化边坡监测设备是什么?

随着科技的不断进步,我们的生活和环境也在不断地发生变化。然而,自然灾害仍然是我们无法完全避免的风险。其中,边坡滑坡就是一种常见的自然灾害。为了保护人民的生命财产安全,科学家们研发出了自动化边坡监测设备。 WX-WY1 自动化…

C++基础-内存模型详解

目录 一、概述 二、内存分区模型分类 三、代码区 四、全局区 五、栈区

亚信安慧AntDB数据库引领中文信息处理标准化创新

近期,亚信科技旗下的AntDB数据库再获殊荣,成功通过GB 18030-2022《信息技术中文编码字符集》最高实现级别(级别3)的检测认证,成为首批达到该认证标准的数据库产品之一。这一认证不仅是对AntDB数据库卓越技术实力的肯定…

算法02哈希法

算法01之哈希法 1.哈希法理论基础1.1哈希表(1)哈希表(2)哈希函数(3)哈希碰撞 1.2哈希法基本思想1.3哈希法适用场景与最常用的哈希结构 2.LeetCode242:有效的字母异位词(1&#xff09…

《每天一分钟学习C语言·三》

1、 scanf的返回值由后面的参数决定scanf(“%d%d”,& a, &b); 如果a和b都被成功读入,那么scanf的返回值就是2如果只有a被成功读入,返回值为1如果a和b都未被成功读入,返回值为0 如果遇到错误或遇到end of file,返回值为EOF…

罗列一下js reduce 的能做的事情?

JavaScript 的 reduce 方法是一个非常强大的工具,可以用于处理数组数据。 以下是一些 reduce 可以做的事情: 1. 累加器:reduce 最常见的用途是将数组的所有元素累加到一个值中。例如,计算数组中所有数字的总和 const numbers …

ACE Tools环境配置指导

简介 ACE Tools是一套为ArkUI-X应用开发者提供的命令行工具,支持在Windows/Ubuntu/macOS平台运行,用于构建OpenHarmony、HarmonyOS、Android和iOS平台的应用程序, 其功能包括开发环境检查,新建项目,编译打包&#xff…

Debian系统设置SSH密钥登陆

如果没有安装ssh,root权限运行apt install openssh-server进行安装。 ssh-keygen -t rsa # 生成配对密钥,后续一路enter即可会在用户目录(即~这个)下生成.ssh文件夹,里面的id_rsa是私钥,id_rsa.pub是公钥…

另一种理解伦敦金支撑阻力位的方法

支撑阻力位一向被认为是做伦敦金交易不可或缺的分析工具,但很多人对它的原理并不清楚,甚至不太服气,觉得凭什么一根平平无奇的水平位,能带来所谓的“大作用”呢?下面我们不妨从另外一个角度来看一下伦敦金市场中的支撑…