MySQL主从同步优化指南:架构、瓶颈与解决方案

前言

​ 在现代数据库架构中,MySQL 主从同步是实现高可用性和负载均衡的关键技术。本文将深入探讨主从同步的架构、延迟原因以及优化策略,并提供专业的监控建议。

MySQL 主从同步架构

在这里插入图片描述

主从复制流程:

  1. 从库生成两个线程,一个 I/O 线程,一个 SQL 线程;

  2. I/O 线程去请求主库的 binlog,并将得到的 binlog 日志写到 relay log(中继日志) 文件中;

  3. 主库会生成一个 log dump 线程,用来给从库 I/O 线程传 binlog;

  4. SQL 线程会读取 relay log 文件中的日志,并解析成具体操作,来实现主从的操作一致,而最终数据一致;

主从延迟原因
  1. 主库写入是并发的,从库 relay log 回放是单线程的,但在 mysql 5.6 版本后提供了 MySQL 的并行复制策略,丁奇的 MySQL 实战45讲有详细介绍
  2. 主库有大事务执行,比如一个事务在主库执行10s,从库再回放10s,那么对于当前事务数据主从延迟就是20s
  3. 主库或从库 CPU、磁盘IO过高
    1. 主库 TPS 过大,从库来不及回放
    2. 从库有大量全表扫描查询导致的磁盘IO,笔者曾经就遇到过由于数仓晚上进行从库扫库而导致的20几秒主从延迟
  4. 网络问题
    1. 主从网络延时过高
    2. 主从带宽不够
  5. 服务器硬件性能不足,如CPU、内存或磁盘性能,会影响复制效率
  6. MySQL配置不合理:如binlog格式、复制方式(异步或半同步)等配置不当可能导致延迟
  7. 锁等待:从库上的大型查询语句可能会产生锁等待,影响复制进程
主从延迟优化方案
  1. 强制读主:一致性要求高的业务读取主库,其它业务读从库,这个方法在实际开发过程中使用的很多
  2. 先读从库,未命中再读主库:适合查询新增的数据,先查询从库,当数据不存在再查询主库,可能会导致会多一次查询从而导致查询时间变长。
  3. 分库分表:减少单个主库或从库由于压力过大而导致的延迟
  4. 优化网络:确保主从服务器之间有足够的网络带宽和低延迟的连接
  5. 并行复制:在MySQL 5.6及以上版本中,可以开启并行复制功能,允许从服务器并行执行复制的事务。
  6. 减少持久化频率:调整 sync_binlog 和 innodb_flush_log_at_trx_commit 参数,以减少每次事务提交时的磁盘同步操作。
  7. 优化查询:确保主服务器上的查询是高效的,减少不必要的复杂查询和大事务。
  8. 索引优化:确保从服务器上的索引是最优的,以加快查询速度。
  9. 使用SSD:相比传统硬盘,SSD有更快的读写速度,可以减少I/O瓶颈。
监控与维护

​ 有效的监控是确保主从同步健康运行的关键。使用专业的监控工具,如 Percona Toolkit,可以帮助我们实时监控复制状态,及时发现并解决延迟问题。

Reference
  1. 腾讯云开发者社区 - MySQL主从同步原理和应用
  2. 掘金 - 看完这篇还不懂 MySQL 主从复制
  3. Zq99299 的技术博客 - 主从复制状态机与所有分布式存储都是这么复制数据的
  4. Worktile MySQL主从延迟问题怎么解决
  5. 掘金:美团面试被问到主从延迟的解决办法

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/23893.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

20 - 每月交易 I(高频 SQL 50 题基础版)

20 - 每月交易 I -- 考点:日期转换格式 -- date_format(trans_date,%Y-%m)select date_format(trans_date,%Y-%m) month,country,count(*) trans_count,sum(if(stateapproved,1,0)) approved_count,sum(amount) trans_total_amount,sum(if(state"approved&qu…

【主题广泛|稳定检索】2024年食品安全与生物技术国际会议(ICFSB 2024)

2024年食品安全与生物技术国际会议(ICFSB 2024) 2024 International Conference on Food Safety and Biotechnology 【重要信息】 大会地点:贵阳 大会官网:http://www.icicfsb.com 投稿邮箱:icicfsbsub-conf.com 【注…

语言大模型qwen1.5全流程解析:微调,量化与推理

在前一篇文章中,主要使用llama-factory封装的推理模块对速度进行了测试,vllm速度快些,但仍没有传说中的快3-5倍,需要单独测试。这里使用qwen1.5-1.8B作为测试模型。 qwen1.5是qwen2的先行版,24年2月发布,与…

this,apply,call,bind 超详细合集

前言 之前在学习this关键字的时候,其实一直都是懵懵懂懂。知道答案但是不知道所以。一直想知道为什么是这样?为什么this默认指向全局呢?今天忽然释然了,我又不是开发这门语言的人,我为什么要纠结这些。那今天就来讲讲…

Apache Doris 2.0.11 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.0.11 版本已于 2024 年 6 月 5 日正式与大家见面,该版本提交了 123 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。 官网下载: https://doris.apache.o…

jenkins插件之Jdepend

JDepend插件是一个为构建生成JDepend报告的插件。 安装插件 JDepend Dashboard -->> 系统管理 -->> 插件管理 -->> Available plugins 搜索 Jdepend, 点击安装构建步骤新增执行shell #执行pdepend if docker exec phpfpm82 /tmp/composer/vendor/bin/pdepe…

ComfyUI工作流分享-黏土特效工作流

大家给的教程都是苹果端使用Remini的软件制作,免费白嫖7天,7天后就要收费,作为ComfyUI技术党,当然是选择自己实现了,搭建一套工作流就搞定,这不,今天就来分享一套对应的黏土效果工作流&#xff…

使用Python实现GLM解码器的示例(带有Tensor Shape标注)

ByteDance的“Glancing Transformer”(GLAT)是一种用于无自回归神经机器翻译(NAT)的创新模型。该模型通过一种称为“glancing sampling”的策略,显著提高了翻译的质量和效率。 GLAT 的主要特性 Glancing Sampling 机制…

TSINGSEE青犀视频:城市道路积水智能监管,智慧城市的守护者

随着城市化进程的加快,城市道路网络日益复杂,尤其在夏季,由于暴雨频发,道路积水问题成为影响城市交通和市民生活的重要因素之一。传统的道路积水监测方式往往依赖于人工巡逻和简单的监控设备,这些方法存在效率低下、响…

数据中台案例04-广西壮族自治区自然灾害应急能力提升工程预警指挥项目—数据治理系统和现场应急感知技术装备采购需求

数据底座数据汇聚融合能力提升数据汇聚融合工具数据接入工具API数据接入组件、实时数据接入组件、空间数据接入组件、数据库接入组件、文件接入组件、数据接入概览组件、批量作业、数据连接管理组件、数据接入任务管理组件、数据接入监控组件数据处理工具数据转换、数据去重、数…

CAN总线学习笔记-CAN帧结构

数据帧 数据帧:发送设备主动发送数据(广播式) 标准格式的11ID不够用了,由此产生了扩展格式 SOF:帧起始,表示后面一段波形为传输的数据位 ID:标识符,区分功能,同时决定优…

先进制造aps专题十一 国内软件/erp行业的现状及对aps行业的启示

看到一个帖子 中国软件行业几乎全军覆没 OSC开源社区 2024-06-03 15:58 广东 刚刚网上冲浪刷到的 网友锐评:都是客户关系型公司。 知名大 V 「Fenng」评论称: 这里所谓的软件行业公司如果立刻倒闭,才能够利好中国整个行业软件生态。有个网…

巨详细Linux安装Nacos教程

巨详细Linux安装Nacos教程 1、检查是否有残留nacos版本2、上传安装包至服务器2.1安装包获取2.2创建相关目录 3、安装Nacos4、配置Nacos4.1修改数据源4.2新建nacos数据库4.3启动nacos4.4把nacos进程交给systemctl管理4.5设置nacos开机自启动 1、检查是否有残留nacos版本 rpm -q…

【ArcGIS微课1000例】0118:一文讲清楚tif(geotiff)栅格数据格式

文章目录 一、Tiff概述二、GeoTiff概述1. ovr文件2. tfw文件3. xml文件4. dbf文件一、Tiff概述 TIFF(Tagged Image File Format)是一种常见的图像文件格式,它被广泛用于存储和传输各种类型的图像数据。下面是对TIFF格式数据的介绍: 图像存储:TIFF格式可以存储多通道的位…

DB2问题解决:SQL0270N Function not supported (Reason code = “100“). SQLSTATE=42997

在执行修改表结构sql语句过程中,报错:SQL0270N Function not supported (Reason code "100"). SQLSTATE42997 。这个错误通常与表的 DATA CAPTURE 设置有关。如果某些表的 DATA CAPTURE 设置为 CHANGES,则某些表结构修改操作可能不…

Unity基础实践小项目

项目流程: 需求分析 开始界面 选择角色面板 排行榜面板 设置面板 游戏面板 确定退出面板 死亡面板 UML类图 准备工作 1.导入资源 2.创建需要的文件夹 3.创建好面板基类 开始场景 开始界面 1.拼面板 2.写脚本 注意事项:注意先设置NGUI的分辨率大小&…

问题:律师会见委托人的方式包括团体会见和( )。 #职场发展#笔记#学习方法

问题:律师会见委托人的方式包括团体会见和( )。 参考答案如图所示

Java 线程池的奥秘:让你的代码跑得像火箭!

欢迎来到Java线程池的奇幻世界!如果你曾经觉得Java代码跑得像蜗牛,或者你的应用程序偶尔像是喝醉了酒,那你可能需要了解一下Java线程池的秘密武器!今天我们就来深入浅出地揭开线程池的神秘面纱,顺便拯救你的应用程序于…

【Python报错】已解决TypeError: can only concatenate str (not “int“) to str

成功解决“TypeError: can only concatenate str (not “int”) to str”错误的全面指南 一、引言 在Python编程中,字符串(str)和整数(int)是两种基本的数据类型。然而,当我们尝试将这两种类型的对象进行连…

[matlab]折线图之多条折线如何绘制实心圆作为标记点

使用MarkerFaceColor是标记点填充的颜色,b,表示blue,蓝色 plot(x, a, d--, MarkerFaceColor, b); % 绘制仿真结果的曲线如果一张图多条曲线那么每条曲线需要单独调用一次plot,每个plot间用hold on 连接 plot(x, a, d--, MarkerF…