mysql 不会联想字段_你有没有被MySQL的这个bug坑过?

问题描述

近期,线上有个重要Mysql客户的表在从5.6升级到5.7后,master上插入过程中出现"Duplicate key"的错误,而且是在主备及RO实例上都出现。

以其中一个表为例,迁移前通过“show create table” 命令查看的auto increment id为1758609, 迁移后变成了1758598,实际对迁移生成的新表的自增列用max求最大值为1758609。

用户采用的是Innodb引擎,而且据运维同学介绍,之前碰到过类似问题,重启即可恢复正常。

内核问题排查

由于用户反馈在5.6上访问正常,切换到5.7后就报错。因此,首先得怀疑是5.7内核出了问题,因此第一反应是从官方bug list中搜索一下是否有类似问题存在,避免重复造车。经过搜索,发现官方有1个类似的bug,这里简单介绍一下该bug。

背景知识1

Innodb引擎中的auto increment 相关参数及数据结构

主要参数包括:innodb_autoinc_lock_mode用于控制获取自增值的加锁方式,auto_increment_increment, auto_increment_offset用于控制自增列的递增的间隔和起始偏移。

主要涉及的结构体包括:数据字典结构体,保存整个表的当前auto increment值以及保护锁;事务结构体,保存事务内部处理的行数;handler结构体,保存事务内部多行的循环迭代信息。

背景知识2

mysql及Innodb引擎中对autoincrement访问及修改的流程

(1) 数据字典结构体(dict_table_t)换入换出时对autoincrement值的保存和恢复。换出时将autoincrement保存在全局的的映射表中,然后淘汰内存中的dict_table_t。换入时通过查找全局映射表恢复到dict_table_t结构体中。相关的函数为dict_table_add_to_cache及dict_table_remove_from_cache_low。

(2) row_import, table truncate过程更新autoincrement。

(3) handler首次open的时候,会查询当前表中最大自增列的值,并用最大列的值加1来初始化表的data_dict_t结构体中的autoinc的值。

(4) insert流程。相关对autoinc修改的堆栈如下:

ha_innobase::write_row:write_row的第三步中调用handler句柄中的update_auto_increment函数更新auto increment的值

handler::update_auto_increment: 调用Innodb接口获取一个自增值,并根据当前的auto_increment相关变量的值调整获取的自增值;同时设置当前handler要处理的下一个自增列的值。

ha_innobase::get_auto_increment:获取dict_tabel中的当前auto increment值,并根据全局参数更新下一个auto increment的值到数据字典中

ha_innobase::dict_table_autoinc_initialize:更新auto increment的值,如果指定的值比当前的值大,则更新。

handler::set_next_insert_id:设置当前事务中下一个要处理的行的自增列的值。

(5) update_row。对于”INSERT INTO t (c1,c2) VALUES(x,y) ON DUPLICATE KEY UPDATE”语句,无论唯一索引列所指向的行是否存在,都需要推进auto increment的值。相关代码如下:

if (error == DB_SUCCESS

&& table->next_number_field

&& new_row == table->record[0]

&& thd_sql_command(m_user_thd) == SQLCOM_INSERT

&& trx->duplicates) {

ulonglong auto_inc;

……

auto_inc = table->next_number_field->val_int();

auto_inc = innobase_next_autoinc(auto_inc, 1, increment, offset, col_max_value);

error = innobase_set_max_autoinc(auto_inc);

……

}

从我们的实际业务流程来看,我们的错误只可能涉及insert及update流程。

BUG 76872 / 88321: "InnoDB AUTO_INCREMENT produces same value twice"

(1) bug概述:当autoinc_lock_mode大于0,且auto_increment_increment大于1时,系统刚重启后多线程同时对表进行insert操作会产生“duplicate key”的错误。

(2) 原因分析:重启后innodb会把autoincrement的值设置为max(id) + 1。此时,首次插入时,write_row流程会调用handler::update_auto_increment来设置autoinc相关的信息。首先通过ha_innobase::get_auto_increment获取当前的autoincrement的值(即max(id) + 1),并根据autoincrement相关参数修改下一个autoincrement的值为next_id。

当auto_increment_increment大于1时,max(id) + 1 会不大于next_id。handler::update_auto_increment获取到引擎层返回的值后为了防止有可能某些引擎计算自增值时没有考虑到当前auto increment参数,会重新根据参数计算一遍当前行的自增值,由于Innodb内部是考虑了全局参数的,因此handle层对Innodb返回的自增id算出的自增值也为next_id,即将会插入一条自增id为next_id的行。

handler层会在write_row结束的时候根据当前行的值next_id设置下一个autoincrement值。如果在write_row尚未设置表的下一个autoincrement期间,有另外一个线程也在进行插入流程,那么它获取到的自增值将也是next_id。这样就产生了重复。

(3) 解决办法:引擎内部获取自增列时考虑全局autoincrement参数,这样重启后第一个插入线程获取的自增值就不是max(id) + 1,而是next_id,然后根据next_id设置下一个autoincrement的值。由于这个过程是加锁保护的,其他线程再获取autoincrement的时候就不会获取到重复的值。

通过上述分析,这个bug仅在autoinc_lock_mode > 0 并且auto_increment_increment > 1的情况下会发生。实际线上业务对这两个参数都设置为1,因此,可以排除这个bug造成线上问题的可能性。

现场分析及复现验证

既然官方bug未能解决我们的问题,那就得自食其力,从错误现象开始分析了。

(1) 分析max id及autoincrement的规律 由于用户的表设置了ON UPDATE CURRENT_TIMESTAMP列,因此可以把所有的出错的表的max id、autoincrement及最近更新的几条记录抓取出来,看看是否有什么规律。抓取的信息如下:

乍看起来,这个错误还是很有规律的,update time这一列是最后插入或者修改的时间,结合auto increment及max id的值,现象很像是最后一批事务只更新了行的自增id,没有更新auto increment的值。联想到【官方文档】中对auto increment用法的介绍,update操作是可以只更新自增id但不触发auto increment推进的。按照这个思路,我尝试复现了用户的现场。复现方法如下:

同时在binlog中,我们也看到有update自增列的操作。如图:

不过,由于binlog是ROW格式,我们也无法判断这是内核出问题导致了自增列的变化还是用户自己更新所致。因此我们联系了客户进行确认,结果用户很确定没有进行更新自增列的操作。那么这些自增列到底是怎么来的呢?

(2) 分析用户的表及sql语句 继续分析,发现用户总共有三种类型的表(hz_notice_stat_sharding, hz_notice_group_stat_sharding,hz_freeze_balance_sharding),这三种表都有自增主键。但是前面两种都出现了autoinc错误,唯独hz_freeze_balance_sharding表没有出错。难道是用户对这两种表的访问方式不一样?抓取用户的sql语句,果然,前两种表用的都是replace into操作,最后一种表用的是update操作。难道是replace into语句导致的问题?搜索官方bug, 又发现了一个疑似bug。

bug #87861: “Replace into causes master/slave have different auto_increment offset values”

原因:

(1) Mysql对于replace into实际是通过delete + insert语句实现,但是在ROW binlog格式下,会向binlog记录update类型日志。Insert语句会同步更新autoincrement,update则不会。

(2) replace into在Master上按照delete+insert方式操作, autoincrement就是正常的。基于ROW格式复制到slave后,slave机上按照update操作回放,只更新行中自增键的值,不会更新autoincrement。因此在slave机上就会出现max(id)大于autoincrement的情况。此时在ROW模式下对于insert操作binlog记录了所有的列的值,在slave上回放时并不会重新分配自增id,因此不会报错。但是如果slave切master,遇到Insert操作就会出现”Duplicate key”的错误。

(3) 由于用户是从5.6迁移到5.7,然后直接在5.7上进行插入操作,相当于是slave切主,因此会报错。

解决方案

业务侧的可能解决方案:

(1) binlog改为mixed或者statement格式

(2) 用Insert on duplicate key update代替replace into

内核侧可能解决方案:

(1) 在ROW格式下如果遇到replace into语句,则记录statement格式的logevent,将原始语句记录到binlog。

(2) 在ROW格式下将replace into语句的logevent记录为一个delete event和一个insert event。

心得

(1) autoincrement的autoinc_lock_mode及auto_increment_increment这两个参数变化容易导致出现重复的key,使用过程中要尽量避免动态的去修改。

(2) 在碰到线上的问题时,首先应该做好现场分析,明确故障发生的场景、用户的SQL语句、故障发生的范围等信息,同时要对涉及实例的配置信息、binlog甚至实例数据等做好备份以防过期丢失。只有这样才能在找官方bug时精准的匹配场景,如果官方没有相关bug,也能通过已有线索独立分析。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/528722.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql新增后默认返回值_mybatis insert、update 、delete默认返回值解释与如何设置返回表主键...

在使用mybatis做持久层时,insert、update、delete,sql语句默认是不返回被操作记录主键的,而是返回被操作记录条数;那么如果想要得到被操作记录的主键,可以通过下面的配置方式获取。针对Sequence主键而言,在…

mysql 主从 sql线程no_Mysql 主从同步 slave_sql_running 为no

背景之前搭建了主从,但没有设置读写分离,从库也能写数据。于是想测试下在从库写数据会导致同步怎么样。 结果发现,slave_sql_running为no,slava_IO_running仍然为yes.原因由于从库写数据,导致主从数据不一致&#xff0…

header python 环境信息_【关于header信息的构造】Python模拟登录出现乱码

使用Python模拟登录Z-Blog系统的后台时,如果构造的header信息如下,那么得到的结果将会乱码,如下图所示对应的错误的header信息如下:url "http://192.168.1.11/cmd.asp?actverify"request urllib2.Request(url)reques…

mysql 组内排序_mysql组内排序取最大值

最近业务反馈一个查询异常的问题,需要DBA对查询结果异常给出解释,并帮助他们解决该问题。问题本质是一个组内排序取最大值的问题,根据业务需求,我构建了测试用例测试用例--建表create table testorder(id int not null,no int not…

mysql索引抽密度_使用python脚本从abaqus输出数据库获取元素密度

属性关联如下:sectionAssignment将section连接到setset是{}的容器section将sectionAssignment连接到materialinstance连接到{}(可以来自另一个模型的部件)part连接到modelmodel连接到section如果可以,请使用.inp或.cae文件。下面的代码从一个打开的cae文…

python中plot和bar要求的格式不一样_在Python中matplotlib中匹配的图形大小,包括和不包含make_axes_locatable- divider colorbars...

我在22网格中有4个图形,但只希望右边的两个图形有条形(比例适用于行).我正在使用表格divider make_axes_locatable(ax)cax divider.append_axes("right", size"5%", pad0.05)plt.colorbar(im, caxcax)使颜色栏与这两个图的大小相匹配.然而,这使得两个带有…

禁用win10触摸屏手势_Win10平板边缘滑动手势大全及开启/关闭方法

Win10对于平板/触屏设备进行了特别优化,这体现在显示和操作等方面。对于操作方面,Windows10平板除了支持传统操作方法外,还有专门的边缘滑动手势。这些操作有别于之前的Win8/Win8.1,Win10边缘滑动操作共有以下四种形式&#xff1a…

java获取文件新增内容_关于java生成文件,立即又读这个文件但又找不到文件新增内容的问题...

展开全部写文件之后,应该有一个刷新流缓冲的flush()方法。该方法可以保证你可以读到你e69da5e6ba903231313335323631343130323136353331333332643238之前所写的内容。下面是我写的一个简单的测试用例:package test;import java.io.BufferedReader;import…

java的容器类有哪些实现方式_Java基础--容器类

面试官:Java的容器类你有什么了解吗?-:额,没有用过....面试官:你肯定用过,但你没有注意过....-:应该是吧....你知道什么是容器类吗?Java容器可以说是增强程序员编程能力的基本工具&a…

eclipse怎么导入java文件_eclipse怎么保存java文件?如何导入java文件?

eclipse开发工具很好用,是java开发人员的好帮手,但是一些新手java人员不知道eclipse怎么保存java文件?那么接下来,我们就来给大家讲解一下eclipse保存java文件的方法。Eclipse没有提供自动保存的功能,只能自己写脚本每隔多久保存…

asin java_Java asin() 方法

Java asin() 方法asin() 方法用于返回指定double类型参数的反正弦值。语法double asin(double d)参数d -- 任何原生数据类型。返回值返回指定double类型参数的反正弦值。实例public class Test{public static void main(String args[]){double degrees 45.0;double radians M…

java集合系列_Java集合系列01-Java集合概述

1.Java集合基本概念在编程中,常常需要集中存放多个数据。从传统意义上讲,数组是我们的一个很好的选择,前提是我们事先已经明确知道我们将要保存的对象的数量,因为数组长度在初始化时指定,意味着只能保存定长的数据。一…

java黄金连分数_蓝桥杯 | Java B组省赛真题练习——黄金连分数-Go语言中文社区...

标题: 黄金连分数黄金分割数0.61803... 是个无理数,这个常数十分重要,在许多工程问题中会出现。有时需要把这个数字求得很精确。 对于某些 精密工程,常数的精度很重要。也许你听说过哈勃太空望远镜,它首次升空后就发现了一处人工加…

mysql 备份需要的权限_mysqldump 备份数据库用户所需要的权限

mysqldump 所需要的权限说明:1、对于table 来说mysqldump 最少要有select 权限。2、对于view 来说mysqldump 要有show view 权限。3、对于trrigger 来说mysqldump 要有trriger 权限。4、如果要产生一份一致的备份 mysqldump 要有lock tables 权限。mysql> create…

java赋值运算符_11.Java赋值运算符

赋值运算符 , , -, *, /, %运算符运算范例结果赋值a3,b2a3,b2加等于a3,b3;ab;a5,b2;-减等于a3,b2,a-b;a1,b2;*乘等于a3,b2,a*b;a6,b2/除等于a3,b2,a/b;a1,b2;%模等于a3,b2,a%b;a1,b2ab 可以想象成 aab;变量声明完了之后,可以使用赋值语句(assignment statement)给变…

php mysql 开发微博_php+mysql基于Android的手机微博应用开发

摘要:本系统采用Eclipse作为开发工具,数据库基于MySQL,服务器的编写使用的是PHP语言,开发了基于Android平台开的C/S模式的手机微博系统。系统从符合操作简便、界面友好、使用灵活、实用安全的要求出发,完成了用户的注册…

python 数组维度_python – 非常基本的Numpy数组维度可视化

NumPy中ndarray的解剖结构如下所示:(来源:Physics Dept, Cornell Uni)一旦离开2D空间并进入3D或更高维空间,行和列的概念就不再有意义了.但是你仍然可以直观地理解3D阵列.例如,考虑你的例子:In [41]: bOut[41]:array([[[ 1, 2, 3],[ 4, 5, 6]…

java通信项目_Java项目中的多线程通信如何利用Socket实现

Java项目中的多线程通信如何利用Socket实现发布时间:2020-11-24 16:44:40来源:亿速云阅读:96作者:Leah这期内容当中小编将会给大家带来有关Java项目中的多线程通信如何利用Socket实现,文章内容丰富且以专业的角度为大家…

Java捕获异常密码_Java捕获异常的问题

---恢复内容开始---在Java编译过程中,有时候会出现输入未按照规定输入的情况,此时需要警告用户输入错误,这就会是程序运行过程中出现异常。异常就是可预测但是又没办法消除的一种错误。所以在编写过程中,为了在程序当中不发生这样…

java判断输入月份_Java输入年份和月份判断多少天实例代码

前言本文主要介绍了如果通过输入年份月份输出天数的相关内容,下面话不多说了,来一起看看详细的介绍吧示例代码package com.ambow.www.ch03;import java.util.Scanner;public class Day {public static void main(String[] args) {Scanner sc new Scanne…