mysql decode语句_MySQL复制问题的分析

s这是学习笔记的第 2031 篇文章

  最近有个业务的MySQL复制问题还是比较多,做了事务降维之后,把一些敏感操作和线上环境隔离起来,整体的效果好了许多,不过今天在外面的时候,又收到一条报警短信,让我心里咯噔一下。 

  这个环境是一个中间件的分布式环境,有8个物理节点(主库),即有6个主库+8个从库,我查看了下邮件,发现报错的这个环境是昨天同事帮忙新建的从库,到今天才这么短的时间,而且是基于GTID复制的模式,又出现了这类问题,我的心里还是比较忐忑的,因为如果我再收到几条其他环境类似的复制错误,那么毫无疑问就属于一起计划外的故障了。

   故障离我们很近,但是在不同的时间有不同的理解。因为这段时间的做了数据迁移的一些高可用测试,压力测试,数据重构,整体该做的工作都做差不多了,到了临门一脚的时候,出现一些频繁的问题,我让我有所措手不及,而问题能够定位可控,很容易理解,可以查漏补缺,而如果问题是集中出现,那就说明之前的工作没有做到位,一旦发现严重的bug导致服务不可用,如果反复出现,不管过程如何,结果就是不合格的。这种感觉就好比是高速公路给汽车换轮胎,时间紧,任务重。

  所幸的是,我等了一会没有再收到其他环境的问题,所以一个基本的定位:不是很严重。 

  等我回到酒店之后,开始处理的时候,脑海里一直在琢磨,到底是一条什么样的SQL语句会导致这样奇怪的问题。

  很快就查到了相关的描述信息:

   LAST_ERROR_MESSAGE: Worker 0 failed executing transaction 'db8f9860-8202-11e9-991e-005056b7f69e:854286845' at master log mysqlbin.000601, end_log_pos 936077509; Could not execute Update_rows event on table dbo_testdb.dbo_testdata; Can't find record in 'dbo_testdata', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysqlbin.000601, end_log_pos 936077509

看起来问题是在binlog日志000601的偏移量936077509附近,看到这个偏移量心里一纠,可以看到文件已经超过900M了,解析起来已经有一些性能问题了。 

查看show slave status的结果:

             Slave_IO_Running: Yes

            Slave_SQL_Running: No

可以看到IO_thread依然可用,说明复制的过程中整体的数据传输是OK的,是在应用的时候出现了问题 。 

我使用如下的语句开始解析这个偏移量附近的一些错误。 

/usr/local/mysql/bin/mysqlbinlog --no-defaults -v -v --base64-output=DECODE-ROWS mysqlbin.000601 | grep -A '10' 936077509

得到了如下的结果:

#190705 19:27:15 server id 211  end_log_pos 936077509 CRC32 0x590574c3  Update_rows: table id 599753 flags: STMT_END_F

### UPDATE `dbo_testdb`.`dbo_testdata`

### WHERE

###   @1=748890203 /* LONGINT meta=0 nullable=0 is_null=0 */

###   @2=60 /* INT meta=0 nullable=0 is_null=0 */

###   @3=13 /* INT meta=0 nullable=0 is_null=0 */

###   @4='2019-07-05 19:27:15' /* DATETIME(0) meta=0 nullable=0 is_null=0 */

###   @5='2019-07-05 19:27:15' /* DATETIME(0) meta=0 nullable=0 is_null=0 */

###   @6=0 /* LONGINT meta=0 nullable=0 is_null=0 */

### SET

###   @1=748890203 /* LONGINT meta=0 nullable=0 is_null=0 */

--

# at 936077509

#190705 19:27:15 server id 211  end_log_pos 936077540 CRC32 0x78404313  Xid = 221915192

COMMIT/*!*/;

# at 936077540

#190705 19:27:15 server id 211  end_log_pos 936077605 CRC32 0x6e307159  GTID    last_committed=1762227  sequence_number=1762248

SET @@SESSION.GTID_NEXT= 'db8f9860-8202-11e9-991e-005056b7f69e:854286846'/*!*/;

# at 936077605

#190705 19:27:15 server id 211  end_log_pos 936077696 CRC32 0x00c8479d  Query   thread_id=854   exec_time=0     error_code=0

SET TIMESTAMP=1562326035/*!*/;

BEGIN

可以看到这是一条update语句,它的格式比较奇怪,如下:

update xxx

where userid=xxxx,value=xxxx

set userid=xxxx

从语句来看明显是不符合业务场景的,自己变更自己,明显不合理的。

我们来进一步验证。

主库端查看数据,把上面的update转义成select语句:

select * from `dbo_testdb`.`dbo_testdata`

WHERE

userid=748890203 and 

xxx=60 and

value=13 and

moddate='2019-07-05 19:27:15' and

crtdate='2019-07-05 19:27:15' and

modver=0 

发现主库端和从库端都不存在这条语句。 

所以这就牵扯出来两个问题:

1)如果MySQL在主库端的SQL语句没有发生数据变更,是否会依然产生binlog

2)一条update语句,在MySQL里的解析应该是类似如下的形式:

update xxxx set xxxxx  where 的形式,在这里明显没有走这种解析的方式。 

3)这条语句如何修复,因为后面的数据都等着这个断点。

4)如果后续还有这种问题,该如何预防。 

我们为了快速修复,经过评估,主从库端都没有相应的数据,说明这条语句是没有产生影响的,我们可以跳过这个事务。 

stop slave;

SET @@SESSION.GTID_NEXT= 'db8f9860-8202-11e9-991e-005056b7f69e:854286846';

begin;commit;

SET SESSION GTID_NEXT = AUTOMATIC;

start slave;

再次尝试这个问题暂时正常了,在反复验证中暂时没有发现问题。 

而后续的进一步验证得找下环境,会后续继续说明。

对于问题本身,也需要和研发团队做一下确认,这种操作的需求需要引导,后续不要再出现。

41dd70569fdd6a2701b23ff884d92860.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/537034.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jvm形象简介之一看就懂

分享一波:程序员赚外快-必看的巅峰干货 据 JVM 规范,JVM 内存结构共分为虚拟机栈、堆、方法区、程序计数器、本地方法栈五个部分。这里的java内存结构与前面所述的Java内存模型是两个概念,不可以混淆。 堆 java堆是java虚拟机所管理的内存中最大的一块…

jvm详解 - 新生代与老年代

*************************************优雅的分割线 ********************************** 分享一波:程序员赚外快-必看的巅峰干货 Java 中的堆是 JVM 所管理的最大的一块内存空间,主要用于存放各种类的实例对象。 在 Java 中,堆被划分成两个不同的区…

从0到1使用VUE-CLI3开发实战(五):模块化VUEX及使用vuetify

小肆前几天发了一篇2019年Vue精品开源项目库的汇总,今天小肆要使用的是在UI组件中排行第三的Vuetify。vuetify介绍 Vuetify是一个渐进式的框架,完全根据Material Design规范开发,一共拥有80多个组件,对移动端支持非常好。 支持SSR…

详解垃圾回收算法

分享一波:程序员赚外快-必看的巅峰干货 标记清除算法 概念 该算法有两个阶段。 标记阶段:找到所有可访问的对象,做个标记。 清除阶段:遍历堆,把未被标记的对象回收 缺点:会产生碎片,不够连贯 应用场景…

智能情绪分析技术_石化缘推荐:炼化企业智能机器人巡检技术应用前景分析!...

本期内容由湖南天一奥星泵业有限公司冠名炼化企业智能机器人巡检技术应用前景分析王国彤1,孙秉才2,储胜利2,宋亚敏1(1.中国石油天然气股份有限公司大连石化分公司,辽宁省大连市;2.中国石油集团安全环保技术研究院有限公司,北京市)摘要&#x…

详解:JVM内存调优参数

分享一波:程序员赚外快-必看的巅峰干货 -Xms JVM启动时申请的初始Heap值,默认为操作系统物理内存的1/64但小于1G。默认当空余堆内存大于70%时,JVM会减小heap的大小到-Xms指定的大小,可通过-XX:MaxHeapFreeRation来指定这个比列。Server端JV…

数组指针 sizeof 实现_C++数组指针!

学习C数组的时候,对数组的了解不是很深。也不知道,为什么声明一个数组,int a[10],为什么a就是数组的地址。你可以这样理解,将a理解为指向数组头的一个指针,这样就好理解了。理解了之后确实好像豁然开朗的样…

count(1),count(*),count(主键) 性能对比及辟谣

分享一波:程序员赚外快-必看的巅峰干货 前言 前段时间关于统计数量的sql问题和朋友进行了讨论,网上关于这三种查询方式说法不一,主要有以下两种说法。 count(*) count(主键) > count(1) count(主键) > count(*) > count(1)今天对这三种方式…

String s = new String(123) 究竟创建了几个对象

分享一波:程序员赚外快-必看的巅峰干货 前言 今天上班划水的过程中有人询问到这个问题,网上对于这个问题也有争议,有说创建了一个对象,有说两个,有说三个。 首先说三个的肯定是扯淡了,今天来讨论一下这条语句到底创…

Vue 计算属性与侦听器

这一节我们一起学习 vue 中的计算属性(computed properties)和侦听器(watch)。 在之前&#xff0c;我们学习过 vue 表达式插值&#xff1a; <div id"example">{{ message.split().reverse().join() }} </div> 如果在模板中放入太多的逻辑会让模板过重且难…

程序员到底要不要重复造轮子?

分享一波:程序员赚外快-必看的巅峰干货 关于这个话题&#xff0c;现在这里阐述立场&#xff1a;就公司工作而言&#xff0c;不建议重复造轮子。就个人技术而言&#xff0c;强烈建议造轮子&#xff01; 程序员圈子里流行这么一句话&#xff1a;“不要重复造轮子”。它的原文是…

1582年日历怎么了_【知乎周边】知乎2020年日历开箱+测评

感谢 刘看山 刘看山福利社 知一声 这边知乎朋友赠送的礼物&#xff0c;这边拿到了新的一年2020年知乎的日历。随日历还赠送了一年的盐选会员体验卡&#xff0c;这个福利很特别哈。打开盒子&#xff0c;里面是厚厚的但是却不是很大的一个正方体。侧面写有“有问题的日历”日历内…

JDK8那些惊为天人的新特性

分享一波:程序员赚外快-必看的巅峰干货 介绍 随着java的发展&#xff0c;越来越多的企业开始使用 java8 版本。Java8 是自 java5之后最重要的版本&#xff0c;这个版本包含语言、编译器、库、工具、JVM等方面的十多个新特性。本次课程将着重学习其中的一些重点特性。 Jdk8新…

【数据结构和算法05】 红-黑树(转发)

2019独角兽企业重金招聘Python工程师标准>>> 【数据结构和算法05】 红-黑树&#xff08;看完包懂~&#xff09; 置顶 2016年04月13日 15:50:25 eson_15 阅读数&#xff1a;52681 标签&#xff1a; java数据结构算法红黑树 更多 个人分类&#xff1a; ● 结构算法---…

数据结构与算法——二叉树、堆、优先队列

*************************************优雅的分割线 ********************************** 分享一波:程序员赚外快-必看的巅峰干货 七、树 7.1 树 7.1.1 树的定义 树是我们计算机中非常重要的一种数据结构&#xff0c;同时使用树这种数据结构&#xff0c;可以描述现实生活…

继牛津大学后,加大伯克利分校等多家美国高校终止与华为合作

文&#xff0f;AI财经社 唐煜编&#xff0f;嵇国华据 Nature News 报道&#xff0c;在美国相关部门的压力之下&#xff0c;加州大学伯克利分校&#xff08;UC Berkeley&#xff09;近日宣布不再与华为签署新的研究合作&#xff1b;德州大学奥斯丁分校也正在审查自身与华为的关系…

为什么varchar字段长度最好是2的n次方-1

*************************************优雅的分割线 ********************************** 分享一波:程序员赚外快-必看的巅峰干货 计算机是二进制计算的&#xff0c;1 bytes 8 bit ,一个字节最多可以代表的数据长度是2的8次方 11111111 在计算机中也就是-128到127。 而var…

Python之celery的简介与使用

celery的简介 celery是一个基于分布式消息传输的异步任务队列&#xff0c;它专注于实时处理&#xff0c;同时也支持任务调度。它的执行单元为任务&#xff08;task&#xff09;&#xff0c;利用多线程&#xff0c;如Eventlet&#xff0c;gevent等&#xff0c;它们能被并发地执行…

不使用比较运算符如何比较两个数的大小

分享一波:程序员赚外快-必看的巅峰干货 前言 今天在水群的过程中看到有位群员谈论到这个话题&#xff0c;是他找工作过程中某家公司的面试题&#xff08;到底是哪家公司才会出这种没营养的题目刁难别人&#xff09;&#xff0c;有点兴趣&#xff0c;就开始写了。 开搞 想了一…

java占位符填充_Java使用freemark生成word

1、制作模板先用office word做一个模板word文档&#xff0c;${usrName}、${nowDate}占位符 可以使用 office 或者 wps 先创建一个模板表格 &#xff08;替换$部分可以在 模板格式改变之后 在替换xml 格式改了后有些原本的字符会分开&#xff09;2、用office word将模板word另存…