MySQL实践——参数SQL_SLAVE_SKIP_COUNTER的奥秘

每次数据库复制冲突之后,经常使用的一个命令如下。

SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 1;

一般会认为,现在出现冲突错误,那就将上面参数值设置为1,跳过出错的这个event就可以解决了。重新启动复制,发现问题果然解决,我们以为这样理解是正确的。其实不然。

这需要从Binlog的内容说起。在Binlog中,所有的Binlog是按照组来分的,每一个组是其主库生成的一个事务Binlog,都以BEGIN开始并以COMMIT结束。还有一些特殊事件,比如用户变量的设置、随机数的设置等。

那么,设置参数SQL_SLAVE_SKIP_COUNTER之后,对复制的影响是什么呢?从库遇到这个参数时,它的skip算法又是什么呢?

这需要根据不同类型的事件,分别做介绍,如下。

  • BEGIN语句:对于一个Binlog组,肯定会有一个BEGIN语句作为开始的标志。执行到BEGIN时,说明从这个位置开始,到后面出现的第一个提交事件结束,中间这一段Binlog是属于一个组的,那么此时会因为不同的SQL_SLAVE_SKIP_COUNTER有不同的处理方式。如果参数SQL_SLAVE_SKIP_COUNTER值为1,则此时这个组中的所有事件都会被算作不计数事件,也就是说这个1代表一个事务,而不是一个事件。只有遇到COMMIT语句时,才会将计数1减为0,那么下一个事务组会正常执行。如果参数SQL_SLAVE_SKIP_COUNTER的值大于1,那么这个组中的事件就会被认为是一个个的事件,处理一个事件,参数SQL_SLAVE_SKIP_COUNTER的值就减去1。当减到1的时候,如果这个事务组还没有结束,则回到上面,跳过值为1的情况;如果结束了,但还没有减为0,那么下一个事务组会继续重新处理。

  • COMMIT或ROLLBACK语句:上面已经提到,遇到这个语句时,不管任何情况,参数SQL_SLAVE_SKIP_COUNTER的值都会减1。如果SQL_SLAVE_SKIP_COUNTER的值为
    1,就像上面说的,COMMIT之前所有的事件都会被算为不计数事件,这里减1之后,就完成了一个事务的skip。

  • 其他Query语句:上面已经说过,当SQL_SLAVE_SKIP_COUNTER为1的时候,会将组内事件都跳过,否则它会被减1。

  • Rows事件:这种类型是在行模式下,一个行的事件类型。针对一条sql语句产生的若干个事件,分别计数。如果设置的SQL_SLAVE_SKIP_COUNTER大于1,则针对每一个事
    件都会递减1,如果减到了1或设置为1了,则直到COMMIT事件之后才会计数,之前所有的操作都不会被计数。

  • 不计数事件:这种类型的意思是,只要遇到这种事件,并且设置了参数SQL_SLAVE_SKIP_COUNTER为1或递减之后值为1,那么就跳过,并且不会影响SQL_SLAVE_SKIP_COUN-TER的值。而如果设置的SQL_SLAVE_SKIP_COUNTER值大于1,则计数递减1,直到递减到1时这类事件才不会算入计数。这种类型的事件包括Table_map、Intvar、Rand、User_var、BEGIN_load这五个事件,所以在Binlog中如果有这五个事件,则在计数中不做计数,直接忽略。

需要注意的是,在每次复制中断后,看上去中断的位置是出错的事件,但实际上,那只是一个执行错误的位置。因为在复制时是以组(事务)为单位的,事务中执行出错了,则这个事务会回滚,这个组就没有完成。实际上,此时Binlog停止的位置是这个组的开始位置,所以在设置好之后,开始的位置肯定是BEGIN或BEGIN之前的一些设置命令的位置,此时设置SQL_SLAVE_SKIP_COUNTER为1之后,后面跳过的就是一个完整的事务,而不是一个事件而已。

对于设置SQL_SLAVE_SKIP_COUNTER为其他值的情况,这是比较危险的。因为它的跳过算法在上面已经讲清楚了,它会把每一个query语句(包括BEGIN及COMMIT)都计入跳过计数的情况,也就是说,假设一个组至少存在3个事件,那么如果设置跳过为4、5、6,实际上结果有可能只跳过1个事务,也有可能跳过2个事务,但这是没有办法预期的。除非你自己已经很清楚当前点之后有多少个事件及对应事件的类型,否则不会知道具体跳过了几个事务。

此时可以再回到开头所说的问题上来。在skip的时候,看到的是在哪一个位置出错了,但实际上此时是停在了一个事务的开始位置,而出错的位置有可能是在事务中的某一个语句或者行上面,那么此时做skip,实际上是跳过了当前中断位置所在的整个事务。可想而知,事务中如果有其他操作,也就都跳过了。而从表象上看,好像是跳过了这个事件。所以说,看到的和真实发生的其实不太一样。

当然通过设置参数SQL_SLAVE_SKIP_COUNTER来跳过复制错误的操作,只有在MySQL 5.5版本,或者是5.6及以上的版本中没有开GTID的情况下才能使用。在处理问题时,有时候确实很方便,但也是比较危险的,最好确认清楚是不是可以跳过,跳过之后,是不是要处理数据丢失的问题等。最好在跳过之前,记录一下相关Binlog的位置,在恢复之后,看一下从出错位置开始的一个Binlog事务,有没有需要特殊处理的操作。

关于这个问题,其实很容易做一些测试,研究一下参数SQL_SLAVE_SKIP_COUNTER设置为不同的值时,复制是什么表现。不过,个人建议永远不要将这个参数的值设置为非1,否则会非常难控制。假设跳过的值太多,可以分开多次,每次跳过最多一个事务,这样也能做到心中有数,并且是只有出错的时候才去跳。

下面是一段每次跳过一个事务的脚本,只有在复制中断的情况下才会跳过,并且自动开始复制。

#!/usr/bin
MySQL_user=username
MySQL_password=password
MysoL_host=127.0.0.1
MysQL_port=3306
sleep_interval=100
while:
dodatemysql -u${MySQL_user} -p${MysQl_password} -h ${MysaL_host} -P ${MySQL_port} -e "set global sql_slave_skip_counter=1;start slave;"usleep ${sleep_interval}echo
done

当然,可以对这段代码稍微做一点改造,加上一行可以记录一下中断时的位置。每跳过一个事务,都打印一下这个事务的开始位置,这样可以了解跳过的事务量,并且方便事后查找跳过了哪些事务。但这样大批量的跳过,一般是在处理故障或是明知道影响不大时才这样做的。还是那句话,请谨慎使用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/19895.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

点击编辑变完成

<template><div><button click"dialogshowtrue">添加部门</button><div>部门列表</div><el-table ref"multipleTable" :data"form" tooltip-effect"dark" style"width: 100%">&l…

无人机管控平台,推动电力巡检管理水平提升

各地区无人机作业水平和管理水平存在参差不齐&#xff0c;电力巡检管理要求与业务发展水平不匹配的问题。同时&#xff0c;巡检数据的存储和管理分散&#xff0c;缺乏有效的整合与共享手段&#xff0c;使得内外业脱节&#xff0c;没有形成统一应用和闭环管理。这就导致巡检数据…

springBoot多数据源使用tdengine(3.0.7.1)+MySQL+mybatisPlus+druid连接池

一、安装部署 1、我这里使用的 3.0.7.1版本&#xff0c;因为我看3.x版本已经发布了一年了&#xff0c;增加了很多新的功能&#xff0c;而且3.x官方推荐&#xff0c;对于2.x的版本&#xff0c;官网都已经推荐进行升级到3.x&#xff0c;所以考虑到项目以后的发展&#xff0c;决定…

K8s影响Pod调度和Deployment

5.应用升级回滚和弹性伸缩

数学学习——最优化问题引入、凸集、凸函数、凸优化、梯度、Jacobi矩阵、Hessian矩阵

文章目录 最优化问题引入凸集凸函数凸优化梯度Jacobi矩阵Hessian矩阵 最优化问题引入 例如&#xff1a;有一根绳子&#xff0c;长度一定的情况下&#xff0c;需要如何围成一个面积最大的图像&#xff1f;这就是一个最优化的问题。就是我们高中数学中最常见的最值问题。 最优化…

【深度学习】Transformer,Self-Attention,Multi-Head Attention

必读文章&#xff1a; https://blog.csdn.net/qq_37541097/article/details/117691873 论文名&#xff1a;Attention Is All You Need 文章目录 1、Self-Attention 自注意力机制2、Multi-Head Attention 1、Self-Attention 自注意力机制 Query&#xff08;Q&#xff09;表示当…

企业服务器中了Locked勒索病毒后怎么办,如何解决问题并提高防范意识

科学技术的发展给我们的生活带来了极大便利&#xff0c;但也为企业带来了安全威胁。近期&#xff0c;我们收到很多企业的求助&#xff0c;企业的服务器中了locked后缀勒索病毒&#xff0c;计算机上的所有文件都被加密&#xff0c;无法被正常调取&#xff0c;严重影响了企业的正…

C# 委托、事件、特性程序

委托和事件 public partial class Form1 : Form { public Form1() { InitializeComponent(); Man man new Man("小明"); Roommate[] roommates { new Roommate("小张"), new Roommate("小朱"), …

KepwareEX配置API REST接口

服务端Kepware设置 API允许连接设置 创建通道 请求地址(POST)&#xff1a; https://<主机名_或_ip>:<端口>/config/v1/project/channels 以下示例使用postman工具访问API创建了一个名为Channel1 的通道&#xff0c;其使用在本地主机运行的服务器中的Simulator …

UE5 c++ 的文件操作(记录备忘)

函数库.h // Fill out your copyright notice in the Description page of Project Settings.#pragma once#include "CoreMinimal.h" #include "Kismet/BlueprintFunctionLibrary.h" #include "Microsoft/AllowMicrosoftPlatformTypes.h" #incl…

在 React 中渲染大型数据集的 3 种方法

随着 Web 应用程序变得越来越复杂&#xff0c;我们需要找到有效的方法来优化性能和渲染大型数据集。在 React 应用程序中处理大型数据集时&#xff0c;一次呈现所有数据可能会导致性能不佳和加载时间变慢。 虚拟化是一种通过一次仅呈现数据集的一部分来解决此问题的技术&#…

1. C++面向过程

一、C简介 1.1 C的产生及其特点 从C语言发展演变而来&#xff0c;解决了C语言中存在的一些问题&#xff0c;并增加了对面向对象程序设计方法的支持 与其他高级语言相比&#xff0c;C语言可以直接访问物理地址&#xff1b;与汇编相比它具有良好的可读性和可移植性 C于1980年由…

【MySQL】使用C/C++连接MySQL数据库

【MySQL】使用C/C连接MySQL数据库 验证使用select特殊点 本文目的&#xff1a;使用MySQL提供的CAPI完成对数据库的操作 验证 #include <iostream> #include <mysql/mysql.h>int main() {std::cout<<"mysql cilent version: "<<mysql_get_cl…

uniapp h5支付宝支付后端返回Form表单,前端如何处理

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言1.调取接口拿到后端返回的form表单 前言 uniapp h5 支付宝支付&#xff0c;后端返回一串form表单&#xff0c;前端如何拿到支付串并且调用支付 1.调取接口拿到…

面试热题(接雨水问题)

给定 n 个非负整数表示每个宽度为 1 的柱子的高度图&#xff0c;计算按此排列的柱子&#xff0c;下雨之后能接多少雨水。 我们看到题的第一步&#xff0c;永远是对入参进行判断 public int trap(int[] height) {if (height null) {return 0;}...} 但是我们想想看&#xff0c;接…

【数据结构】单链表

&#x1f525;博客主页&#xff1a;小王又困了 &#x1f4da;系列专栏&#xff1a;数据结构 &#x1f31f;人之为学&#xff0c;不日近则日退 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 目录 一、什么是链表 1.1链表的概念及结构 1.2单链表的结构 二、链表的实现 …

macOS install redis遇到的bug(tar包,homebrew安装,守护进程redis.conf配置)

官网下载tar包再make install 首先是sudo make test的时候一直报 !!! WARNING The following tests failed: *** [err]: trim on SET with big value in tests/unit/type/string.tcl Expected [r memory usage key] < 42000 (context: type source line 478 file /usr/loca…

Qt项目---简单的计算器

在这篇技术博客中&#xff0c;我们将介绍如何使用Qt框架实现一个简单的计算器应用。我们将使用C编程语言和Qt的图形用户界面库来开发这个应用&#xff0c;并展示如何实现基本的算术操作。 项目设置 首先&#xff0c;我们需要在Qt Creator中创建一个新的Qt Widgets应用程序项目…

使用 github 同步谷歌浏览器书签

想必使用谷歌浏览器Chrome的用户一定非常头疼的一件事就是&#xff1a;账户不能登录&#xff0c;书签收藏夹不能同步&#xff0c;换一台电脑书签收藏夹没有了&#xff01; 下面教大家一招亲测有效适用的方法解决书签同步问题&#xff0c;在任何电脑都可以同步了 1、去下载谷歌…

【Linux】——线程安全

目录 关于线程进程的问题 可重入与线程安全 常见的线程安全的情况 常见的不可重入的情况 常见的可重入的情况 可重入与线程安全区别 可重入与线程安全联系 Linux线程互斥 进程线程间的互斥相关概念 互斥量mutex 互斥量mutex常用接口 互斥量改造抢票系统 互斥量的原…