阅读MySQL知识4

一、MySQL数据库主从同步延迟产生的原因

    MySQL的主从复制都是单线程的操作，主库对所有DDL和DML产生的日志写进binlog，由于binlog是顺序写，所以效率很高。
    Slave的SQL Thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随即的，不是顺序的，成本高很多。另一方面，由于SQL Thread也是单线程的，当主库的并发较高时，产生的DML数量超过slave的SQL Thread所能处理的速度，或者当slave中有大型query语句产生了锁等待那么延时就产生了。
常见原因：Master负载过高、Slave负载过高、网络延迟、机器性能太低、MySQL配置不合理。

二、关于DDL和DML

SQL语言共分为以下几大类：查询语言DQL，控制语言DCL，操纵语言DML，定义语言DDL。事务控制TCL

  • DQL（Data QUERY Languages）语句：即数据库定义语句，用来查询SELECT子句，FROM子句，WHERE子句组成的查询块，比如：select–from–where–grouop by–having–order by–limit

  • DDL（Data Definition Languages）语句：即数据库定义语句，用来创建数据库中的表、索引、视图、存储过程、触发器等，常用的语句关键字有：CREATE,ALTER,DROP,TRUNCATE,COMMENT,RENAME。增删改表的结构

  • DML（Data Manipulation Language）语句：即数据操纵语句，用来查询、添加、更新、删除等，常用的语句关键字有：SELECT,INSERT,UPDATE,DELETE,MERGE,CALL,EXPLAIN PLAN,LOCK TABLE,包括通用性的增删改查。增删改表的数据

  • DCL（Data Control Language）语句：即数据控制语句，用于授权/撤销数据库及其字段的权限（DCL is short name of Data Control Language which includes commands such as GRANT and mostly concerned with rights, permissions and other controls of the database system.）。常用的语句关键字有：GRANT,REVOKE。

  • TCL（Transaction Control Language）语句：事务控制语句，用于控制事务，常用的语句关键字有：COMMIT,ROLLBACK,SAVEPOINT,SET TRANSACTION。

三、主从延时排查方法

通过监控 show slave status 命令输出的Seconds_Behind_Master参数的值来判断：

  • NULL，表示io_thread或是sql_thread有任何一个发生故障；

  • 0，该值为零，表示主从复制良好；

  • 正值，表示主从已经出现延时，数字越大表示从库延迟越严重

四、解决方案

解决数据丢失的问题：

  • 半同步复制

    从MySQL5.5开始，MySQL已经支持半同步复制了，半同步复制介于异步复制和同步复制之间，主库在执行完事务后不立刻返回结果给客户端，需要等待至少一个从库接收到并写到relay log中才返回结果给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一个TCP/IP往返耗时的延迟。

  • 主库配置sync_binlog=1，innodb_flush_log_at_trx_commit=1 sync_binlog的默认值是0，MySQL不会将binlog同步到磁盘，其值表示每写多少binlog同步一次磁盘。

    innodb_flush_log_at_trx_commit为1表示每一次事务提交或事务外的指令都需要把日志flush到磁盘。

    注意:将以上两个值同时设置为1时，写入性能会受到一定限制，只有对数据安全性要求很高的场景才建议使用，比如涉及到钱的订单支付业务，而且系统I/O能力必须可以支撑！

4.1 解决从库复制延迟的问题：

  • 架构方面

    1. 业务的持久化层的实现采用分库架构，mysql服务可平行扩展，分散压力。

    2. 单个库读写分离，一主多从，主写从读，分散压力。这样从库压力比主库高，保护主库。

    3. 服务的基础架构在业务和mysql之间加入memcache或者redis的cache层。降低mysql的读压力。

    4. 不同业务的mysql物理上放在不同机器，分散压力。

    5. 使用比主库更好的硬件设备作为slave，mysql压力小，延迟自然会变小。

  • 硬件方面

    1. 采用好服务器，比如4u比2u性能明显好，2u比1u性能明显好。

    2. 存储用ssd或者盘阵或者san，提升随机写的性能。

    3. 主从间保证处在同一个交换机下面，并且是万兆环境。

总结，硬件强劲，延迟自然会变小。一句话，缩小延迟的解决方案就是花钱和花时间。

  • mysql主从同步加速

    1. sync_binlog在slave端设置为0

    2. –logs-slave-updates 从服务器从主服务器接收到的更新不记入它的二进制日志。

    3. 直接禁用slave端的binlog

    4. .slave端，如果使用的存储引擎是innodb，innodb_flush_log_at_trx_commit =2

  • 从文件系统本身属性角度优化

    master端修改linux、Unix文件系统中文件的etime属性， 由于每当读文件时OS都会将读取操作发生的时间回写到磁盘上，对于读操作频繁的数据库文件来说这是没必要的，只会增加磁盘系统的负担影响I/O性能。可以通过设置文件系统的mount属性，组织操作系统写atime信息，在linux上的操作为：打开/etc/fstab，加上noatime参数/dev/sdb1 /data reiserfs noatime 1 2然后重新mount文件系统#mount -oremount /data

  • 同步参数调整主库是写，对数据安全性较高，比如sync_binlog=1，

    innodb_flush_log_at_trx_commit = 1 之类的设置是需要的而slave则不需要这么高的数据安全，完全可以讲sync_binlog设置为0或者关闭binlog，innodb_flushlog也可以设置为0来提高sql的执行效率

4.2 MySql数据库从库同步其他问题及解决方案

  • mysql主从复制存在的问题：

    • 主库宕机后，数据可能丢失

    • 从库只有一个sql Thread，主库写压力大，复制很可能延时

  • 解决方法：

    • 半同步复制—解决数据丢失的问题

    • 并行复制----解决从库复制延迟的问题

  • 半同步复制mysql semi-sync（半同步复制）半同步复制：

    • 5.5集成到mysql，以插件的形式存在，需要单独安装

    • 确保事务提交后binlog至少传输到一个从库

    • 不保证从库应用完这个事务的binlog

    • 性能有一定的降低，响应时间会更长

    • 网络异常或从库宕机，卡主主库，直到超时或从库恢复

  • 主从复制–异步复制原理、半同步复制和并行复制原理比较

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/765218.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

c# 结构体(Struct)与枚举(Enum)与记录(Record)

c# 结构体(Struct)与枚举(Enum)与记录(Record)

结构体(Struct) struct是值类型数据,存储在栈上,原来的值数据一般一般存储单一数据结构定义的数据是记录(存储的数据多). 类也可以存储大量数据,但是类是引用结构,存储在堆上.严谨来说,引用类型的值存储在堆上,引用类型的存储地址存储在栈上. struct的数据成员不能通过初始化器…
阅读更多...
鸿蒙：PrefereneceUtil

鸿蒙：PrefereneceUtil

1、初始化 在EntryAbility.ets中初始化 export default class EntryAbility extends UIAbility {async onCreate(want, launchParam) {// 1.加载用户首选项PreferenceUtil.loadPreference(this.context)hilog.info(0x0000, testTag, %{public}s, Ability onCreate);} } 2、使…
阅读更多...
【Centos 轻松一键安装X11 Forwarding，实现无桌面版运行GUI】

【Centos 轻松一键安装X11 Forwarding，实现无桌面版运行GUI】

#!/bin/bash# 更新系统包索引 echo "更新系统包索引..." sudo yum update -y# 安装X11相关的应用和认证工具 echo "安装X11相关的应用和认证工具..." sudo yum install -y xorg-x11-apps xorg-x11-xauth# 检查和修改/etc/ssh/sshd_config以允许X11转发 ech…
阅读更多...
Java中过滤器和拦截器区别

Java中过滤器和拦截器区别

1. 过滤器（Filters） 过滤器是Servlet规范中的一部分，它用于在请求进入Web应用程序时预处理请求，或在响应离开应用程序前进行处理。过滤器可以作用于请求内容、请求头、响应内容等。过滤器在Servlet容器中运行，并且与S…
阅读更多...
Java集合面试题（一）

Java集合面试题（一）

1. Java 中常用的容器有哪些？ 在 Java 中，容器是一种特殊的数据结构，用于存储其他对象。它们可以帮助我们更高效地管理和操作大量的数据。以下是 Java 中常用的几种容器： List：有序集合（也是动态数组&…
阅读更多...
SpringBoot如何替换启动图标

SpringBoot如何替换启动图标

SpringBoot项目在启动时会出现一个默认的启动图案 . ____ _ __ _ _/\\ / ____ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | _ | _| | _ \/ _ | \ \ \ \\\/ ___)| |_)| | | | | || (_| | ) ) ) ) |____| .__|_| |_|_| |_\__, | / / / /|_||___//_/_/_/::…
阅读更多...
Qt:使用ctrl+z快捷键取消文本框修改

Qt:使用ctrl+z快捷键取消文本框修改

1、使用ctrlz快捷键取消文本框修改 #include <QApplication> #include <QLineEdit> #include <QUndoStack> #include <QVBoxLayout>int main(int argc, char *argv[]) {QApplication a(argc, argv);QWidget window;QVBoxLayout layout(&window);/…
阅读更多...
软件架构和基于架构的软件开发方法知识总结

软件架构和基于架构的软件开发方法知识总结

一、软件架构定义 软件架构为软件系统提供了一个结构、行为和属性的高级抽象 软件架构是一种表达&#xff0c;使软件工程师能够&#xff1a; &#xff08;1&#xff09;分析设计在满足所规定的需求方面的有效性 &#xff08;2&#xff09;在设计变更相对容易的阶段&#xff0c;…
阅读更多...
题目：异或森林（蓝桥OJ 3400）

题目：异或森林（蓝桥OJ 3400）

问题描述&#xff1a; 解题思路&#xff1a; 一个数也可以看作是一段区间&#xff0c;当该区间的异或和为完全平方数时则符合题意。 我们需要注意枚举的完全平方的上限。 异或前缀和减小时间复杂度。 题解&#xff1a; #include <bits/stdc.h> using namespace std; usi…
阅读更多...
vi\vim编辑器详解

vi\vim编辑器详解

vi\vim编辑器介绍 vi\vim是visual interface的简称, 是Linux中最经典的文本编辑器 同图形化界面中的 文本编辑器一样&#xff0c;vi是命令行下对文本文件进行编辑的绝佳选择。 vim 是 vi 的加强版本&#xff0c;兼容 vi 的所有指令&#xff0c;不仅能编辑文本&#xff0c;而…
阅读更多...
鸿蒙一次开发，多端部署（九）应用市场首页

鸿蒙一次开发，多端部署（九）应用市场首页

本小节将以应用市场首页为例&#xff0c;介绍如何使用自适应布局能力和响应式布局能力适配不同尺寸窗口。 页面设计 一个典型的应用市场首页的UX设计如下所示。 观察应用市场首页的页面设计&#xff0c;不同断点下的页面设计有较多相似的地方。 据此&#xff0c;我们可以将页…
阅读更多...
实现不同数据类型的处理——数据类型转换和数据溢出

实现不同数据类型的处理——数据类型转换和数据溢出

1.数据类型转换 当需要将整数型数据转换为浮点型数据&#xff0c;比如12转换为12.00&#xff0c;字符串“123”转换为整数类型123&#xff0c;可以通过类型转换来实现。 数据类型转换就是将某一数据类型转换为其他类型的数据。 有些数据转换不需要人工操作&#xff0c;编写相…
阅读更多...
python的BBS论坛系统flask-django-nodejs-php

python的BBS论坛系统flask-django-nodejs-php

为了更好地发挥本系统的技术优势&#xff0c;根据BBS论坛系统的需求&#xff0c;本文尝试以B/S架构设计模式中的django/flask框架&#xff0c;python语言为基础&#xff0c;通过必要的编码处理、BBS论坛系统整体框架、功能服务多样化和有效性的高级经验和技术实现方法&#xff…
阅读更多...
WebClient上载文件——实现将本地文件同步到远端服务器上

WebClient上载文件——实现将本地文件同步到远端服务器上

问题描述 用户上传产品示例图片到服务器端上&#xff0c;客户端在请求图片资源时&#xff0c;当服务端架设了多个节点的情况下&#xff0c;由于没有负载均衡请求到保存图片资源的服务器&#xff0c;出现图片访问404的问题。 这里保存上传文件时&#xff0c;同时需要将该文件保…
阅读更多...
【话题】AI大模型学习

【话题】AI大模型学习

方向一&#xff1a;AI大模型学习的理论基础 AI大模型学习&#xff0c;即大规模机器学习&#xff0c;是建立在深厚的数学基础之上的。它主要涉及到线性代数、概率论、统计学、优化理论等基础数学知识。在算法原理方面&#xff0c;常见的有梯度下降法、反向传播算法、卷积神经网…
阅读更多...
数学建模（层次分析法 python代码 案例）

数学建模（层次分析法 python代码 案例）

目录 介绍&#xff1a; 模板&#xff1a; 例题&#xff1a;从景色、花费、饮食&#xff0c;男女比例四个方面去选取目的地 准则重要性矩阵&#xff1a; 每个准则的方案矩阵&#xff1a;​ 一致性检验&#xff1a; 特征值法求权值&#xff1a; 完整代码&#xff1a; 运行结…
阅读更多...
1.6 学Python能干什么，Python的应用领域有哪些

1.6 学Python能干什么，Python的应用领域有哪些

Python能干什么&#xff0c;Python的应用领域 Python 作为一种功能强大的编程语言&#xff0c;因其简单易学而受到很多开发者的青睐。那么&#xff0c;Python 的应用领域有哪些呢&#xff1f; Python 有着非广泛的应用&#xff0c;几乎所有大中型互联网公司都在使用 Python&a…
阅读更多...
基于甘特图的资源调度优化策略

基于甘特图的资源调度优化策略

资源在项目管理中是一个永恒的话题。无论人力、物力还是财力资源,总是捉襟见肘,都希望用最少的资源完成最大的工作。这就要求我们在资源调度方面果断精准,做到最优化。而甘特图作为项目时间规划的重要工具,恰恰能为资源调度提供绝佳帮助。 甘特图能反映出任务之间的制约关系,有…
阅读更多...
Flutter 项目架构技术指南

Flutter 项目架构技术指南

Flutter 项目架构技术指南 视频 https://www.bilibili.com/video/BV1rx4y127kN/ 前言 原文 https://ducafecat.com/blog/flutter-clean-architecture-guide 探讨Flutter项目代码组织架构的关键方面和建议。了解设计原则SOLID、Clean Architecture&#xff0c;以及架构模式MVC…
阅读更多...
（MATLAB）第二十一章 Simulink仿真设计初步

（MATLAB）第二十一章 Simulink仿真设计初步

Simulink是MATLAB的重要组成部分&#xff0c;可以非常容易地实现可视化建模&#xff0c;并把理论研究和工程实践有机地结合在一起&#xff0c;不需要书写大量程序&#xff0c;只需要使用鼠标和键盘对已有模块进行简单的操作和设置。 21.1 Simulink简介 Simulink是MATLAB软件的…
阅读更多...
最新文章

Copyright @ 2022~2023