检查mysql的replication_MySQL Replication需要注意的问题

MySQL Replication 大家都非常熟悉了,我也不会写怎么搭建以及复制的原理,网上相关文章非常多,大家可以自己去搜寻。我在这里就是想总结一下mysql主从复制需要注意的地方。有人说主从复制很简单嘛,就是master,slave的server_id不一样就搞定。确实,简单的来说就是这么简单。但是真正在生产环境我们需要注意的太多了。首先说说主库宕机或者从库宕机后复制中断的问题。

虽然很多知识点或许我博客其他文章中都有提到过,或者重复了,但是我还是想总结一下。

主库意外宕机

如果没有设置主库的sync_binlog选项,就可能在奔溃前没有将最后的几个二进制日志事件刷新到磁盘中。备库I/O线程因此也可一直处于读不到尚未写入磁盘的事件的状态中。当主库从新启动时,备库将重连到主库并再次尝试去读该事件,但主库会告诉备库没有这个二进制日志偏移量。解决这个问题的方法是指定备库从下一个二进制日志的开头读日志。但是一些事件将永久丢失。可以使用前面文章提到的工具来检查主从数据一致以及修复pt-table-checksum。即使开启了sync_binlog,myisam表的数据仍然可能在奔溃的时候损坏。对于innodb表,如果innodb_flush_log_at_trx_commit没有设置为1,也可能丢失数据,但是数据不会损坏。

因此主库的参数建议开启

sync_binlog=1innodb-flush-log-at-trx-commit=1

MySQL 5.6版本之前存在一个bug,即当启用上述两个参数时,会使得InnoDB存储引擎的group commit失效,从而导致在写密集的环境中性能的急剧下降。group commit是什么?这是一个知识点,那为什么sync_binlog=1,innodb-flush-log-at-trx-commit=1

会导致组提交失败?这又是一个知识点,大家可以查阅相关资料。

因此,我们常常在性能和数据一致性中做了妥协,通常将参数innodb-flush-log-at-trx-commit设置为2,而这就导致了master不再是crash safe的,主从数据可能会不一致。关于innodb_flush_log_at_trx_commit的有效值为0,1,2。我这里简单提一下,因为很多知识点是有连贯性的,往往提到这个问题而又涉及到另外的问题^_^

0代表当提交事务时,并不将事务的重做日志写入磁盘上的日志文件,而是等待主线程每秒的刷新。当宕机时,丢失1秒的事务。

1和2有点相同,但是不同的地方在于:1表示在执行commit时将重做日志缓冲同步写到磁盘,即伴有fsync的调用。2表示将重做日志异步写到磁盘,即写到文件系统的缓存中。由操作系统控制刷新。因此不能完全保证在执行commit时肯定会写入重做日志文件,只是有这个动作的发生。

因此为了保证事务的ACID中的持久性,必须将innodb_flush_log_at_trx_commit设置为1,也就是每当有事务提交时,就必须确保事务都已经写入重做日志文件。那么当数据库因为意外发生宕机时,可以通过重做日志文件恢复,并保证可以恢复已经提交的事务。而将该参数设置为0或者2,都有可能发生恢复时部分事务的丢失。不同之处在于,设置为2时,当mysql数据库发生宕机而操作系统及服务器并没有发生宕机时,由于此时未写入磁盘的事务日志保存在文件系统缓存中,当恢复时同样能保证数据不丢失。

对于性能与安全我们都要的情况下,我们肯定会使用RAID,并且开启Write Back功能,而且RAID卡提供电池备份单元(BBU,Battery Backup Unit),关于这块的知识,童鞋们可以自行查阅相关资料。

备库意外宕机:

当备库在一次非计划的关闭后重启时,会去读master.info文件以找到上次停止复制的位置。不幸的是,该文件可能并没有同步写到磁盘,因为该信息是在缓存中,可能并没有刷新到磁盘文件master.info。文件中存储的信息可能是错误的,备库可能会尝试重新执行一些二进制日志事件,这可能导致主键冲突,就是我们常常看见的1062错误。除非能确定备库在哪里停止(很难),否则唯一的办法就是忽略那些错误。

在从库导致复制中断有两方面的原因,即replication中的SQL thread和IO thread。首先来看SQL thread,其主要完成两个操作:

1.运行relay log中对应的事务信息

2.更新relay-info.log文件

更新relay-info.log文件是为了记录已经执行relay log中的位置,当slave重启后可以根据这个位置继续同步relay log。但是,这里用户会发现这两个操作不是在一个事务中,一个是数据库操作,一个是文件操作,因此不能达到原子的效果。此外,MySQL数据库默认对于文件relay-info.log是写入到操作系统缓存,因此在发生宕机时可能导致大量的已更新位置的丢失,从而导致重复执行SQL语句,最终的现象就是主从数据不一致。MySQL 5.5新增了参数sync_relay_log_info,可以控制每次事务更新relay-info.log后就进行一次fdatasync操作,这加重了系统负担,而且即使这样也可能存在最后一个事务丢失的情况。

IO thread用于同步master上的二进制日志,但是其在crash时依然会导致数据不一致的情况发生。IO thread将收到的二进制日志写入到relay log,每个二进制日志由多个log event组成,所以每接受到一个log event就需要更新master-info.log。和relay-info.log一样,其也是写入操作系统缓存,参数sync_master_info可以控制fdatasync的时间。由于IO thread的更新不能像SQL thread一样进行放到一个事务进行原子操作,因此其是对数据一致性会产生影响,设想一个log event传送到了relay log中两次的情形。

不过好在从MySQL 5.5版本开始提供了参数relay_log_recovery,当发生crash导致重连master时,其不根据master-info.log的信息进行重连,而是根据relay-info中执行到master的位置信息重新开始拉master上的日志数据(不过需要确保日志依然存在于master上,否则就。。。)

so,mysql 5.5版本的从库推荐配置参数:

sync_master_info = 1sync_relay_log= 1sync_relay_log_info= 1read_only #从库只读,但是有super权限的依然可以写入

relay_log_recovery = 1

skip_slave_start # 默认启动从库就开启了同步,io线程和sql线程都运行了,该参数是需要手动执行start slave方可启动同步

复制过滤选项

常常看见很多同学在主库进行过滤选项设置,当然这也有好处,减少了带宽,但是在主库设置过滤选项是非常危险的操作,因为无论是显示要过滤的或者要同步的,二进制日志只记录你设置的,其他的是不会记录的。当主库有数据需要用到binlog恢复时,你就准备哭吧。所以通常在备库进行过滤选项设置。比如忽略某个库,同步所有库,或者同步某一个库,当然这会浪费带宽,但是和安全比起来,这点浪费不算什么。有时候安全与性能往往需要我们自己平衡。

还有就是跨库更新,如果我们在备库是这样设置的,比如同步yayun这个库

replicate_do_db=yayun

主库记录如下:

mysql> select * fromt1;+----+-------+

| id | name |

+----+-------+

| 1 | yayun |

| 2 | atlas |

| 3 | mysql |

+----+-------+

3 rows in set (0.00sec)

mysql>

备库记录如下:

mysql> select * fromt1;+----+-------+

| id | name |

+----+-------+

| 1 | yayun |

| 2 | atlas |

| 3 | mysql |

+----+-------+

3 rows in set (0.00sec)

mysql>

现在我们在主库插入一条记录

mysql> usetest;

Readingtable information for completion of table and columnnames

You can turnoff this feature to get a quicker startup with -ADatabasechanged

mysql> insert into yayun.t1 (name) values ('good yayun');

Query OK,1 row affected (0.01sec)

mysql> select * fromyayun.t1;+----+------------+

| id | name |

+----+------------+

| 1 | yayun |

| 2 | atlas |

| 3 | mysql |

| 5 | good yayun |

+----+------------+

4 rows in set (0.00sec)

mysql>

查看备库:

mysql> select * fromt1;+----+-------+

| id | name |

+----+-------+

| 1 | yayun |

| 2 | atlas |

| 3 | mysql |

+----+-------+

3 rows in set (0.00sec)

mysql>

怎么回事?怎么没有同步?这就是跨库更新带来的问题,比如下面的更新:

usetestinsert into yayun.t1 (name) values ('good yayun')

当然你会说哪个2B会这么干啊,呵呵,有时2B还是有的。所以我们还有另外2个过滤复制参数

replicate_wild_do_table

replicate_wild_ignore_table

一个是要同步的表,一个是不同步的表,通常我们可以这样写

replicate_wild_do_table=yayun.%

表示同步yayun库下面的所有表,这样就解决的跨库更新的问题。

复制格式的问题

通常推荐使用ROW格式,为什么使用?看看我前面文章MySQL数据恢复和复制对InnoDB锁机制的影响

不要用Seconds_Behind_Master来衡量MySQL主备的延迟时间

这个后续我会写相关文章解释为什么不要用该参数衡量主备的延迟时间。

总结:

上面所提到的参数都是最大限度保证主从数据一致,以及主库宕机,从库宕机复制不会中断,但是性能会打折扣,所以需要我们自己去衡量,或者做妥协。

还有很多很多的问题,我也只总结了这么一点,要是还有大神知道更详细的,欢迎一起交流,共同进步。^_^

参考资料:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/431276.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

socket工具android,Android通过socket长连接实现推送

工具:Android studio软件方法及协议:socket、protobuf实现原理:通过本地建立一个socket,绑定服务器IP和port,然后connect,再开启另外线程定时心跳(注意这里的心跳不是自定义发送数据,而是采用so…

一行代码为UITextField添加收键盘功能

iOS开发中收键盘是十分常用的功能,只需一行代码即可为ViewController添加工具条收键盘功能 更重要的是使用catogory,无代码污染。 代码 // UITextFieldkeyboard.h // TextFieldKeyBord // // Created by luo.h on 15/10/8. // Copyright © 2015…

excel一列求和_【excel每日提升】Excel周日不排班!

【新朋友】点击标题下面蓝色字“王俊东“关注。 【老朋友】点击右上角,转发或分享本页面内容。excel系列课程excel特效系列课程!第1节:Excel有公式的单元格标记颜色,很简单!第2节:Excel删除空行&#xff0…

ubuntu没有指纹登录_ubuntu安装指纹识别驱动

无聊时在用lsusb突然发现笔记本的指纹识别被列了出来,就想着怎么装上一个指纹识别的软件,找一了一下,找到了解决的办法,添加下面的源,安装fingerprint-gui就可以了。sudo add-apt-repository ppa:fingerprint/fingerpr…

android 减速动画,Android View Animation

概述可译为视图动画&#xff0c;分为缩放动画平移动画渐变动画旋转动画Android系统中定义了一个抽象类Animation来定义这种视图动画&#xff0c;它的具体子类如下表&#xff1a;动画名称对应的子类xml中标签描述缩放动画ScaleAnimation< scale />S平移动画TranslateAnima…

主键生成

早上时候想到ID生成这一回事&#xff0c;随便记下。 我们很多时候会用到数据库。而数据表中的记录基本上都是有主键的。读书的时候&#xff0c;最常见的主键生成方式&#xff0c;就是主键自增。例如&#xff1a; record_id int(11) NOT NULL AUTO_INCREMENT COMMENT 记录ID&…

excel排名_Excel案例:比赛中,如何实时显示排名

其实今天的重点&#xff0c;是要借这个常规比赛记分与公布的案例&#xff0c;介绍一下数组函数&#xff01;今天的案例&#xff0c;最关键的地方只用了一次数组函数就搞定了&#xff01;------分-----割-----线-----下面进入案例&#xff1a;常见的比赛&#xff0c;有很评委一起…

node 存储过程_用Node.js操作跨平台数据库Firebird

FireBirdFirebird是一个跨平台的关系数据库系统&#xff0c;目前能够运行在Windows、linux和各种Unix操作系统上&#xff0c;提供了大部分SQL-99标准的功能。它既能作为多用户环境下的数据库服务器运行&#xff0c;也提供嵌入式数据库的实现。Firebird脱胎于Borland公司的开源版…

鸿蒙是内核名字,华为徐直军:鸿蒙只是内核的名字,是媒体给误解成操作系统...

集微网消息(文/Jimmy)&#xff0c;华为轮值董事徐直军表示鸿蒙操作系统名字是媒体取得&#xff0c;华为并没打算取这个名字。他解释称&#xff0c;本来鸿蒙这个是用于华为内部一个内核的名字&#xff0c;只是挂在市场监管总局那里注册了。然后不知道哪个媒体好朋友看到了这个&a…

自动编译失效的Oracle数据库对象

昨天看有个帖子说到的失效对象重新编译的问题&#xff0c;然后发现自己公司里也出现莫名其妙的失效对象。 --创建自动编译失效过程事务记录表 declaretabcnt integer : 0; beginselect count(*) into tabcnt from dba_tables where table_nameRECOMPILE_LOG;if tabcnt 0 thene…

手机进程设置多少个最好_安卓手机难逃卡顿宿命?打开4个系统设置,秒变新机般流畅...

近两年安卓手机的进步无疑的巨大的&#xff0c;不论是界面美观性、系统流畅度&#xff0c;还是功能的丰富性都有很大的进步&#xff0c;但是针对安卓的旧设备&#xff0c;用了两三年依旧开始变得卡顿&#xff0c;难道安卓手机真的难逃卡顿的宿命吗&#xff1f;虽然不能解决&…

dropzonejs vue 使用_如何在Dropzone上手动触发上传文件事件

我将Dropzonejs很好地集成到了我的前端(VueJS)中。如何在Dropzone上手动触发上传文件事件我有验收测试Dropzone使用Webdriver/Codeception的问题。底线是Webdriver需要一个文件输入&#xff0c;因此它也可以附加文件。任何方式手动触发例如悬浮窗内上传&#xff1f;我可以在页面…

html5新增的js,HTML5新增属性data-*和js/jquery之间的交互及注意事项

html的data-*属性是HTML5的新属性&#xff0c;用的时候在IE8html的data-*属性是HTML5的新属性&#xff0c;用来自定义属性&#xff0c;以在JS 中控制&#xff0c;用不会出问题&#xff0c;就是用js去获得的时候会有问题&#xff0c; 不过用Jquery的$(element).attr("data-…

精通android(Pro Android 4)面试题总结(一)

有些知识会了,但不一定理解了机制,或者不会很深入体会。最近开始看《精通android》(Pro Android 4)这本书,发现书本后面有一些面试题,看了一下。发现还是有些帮助,不错&#xff01;&#xff01;就上网找答案,可是网上好像没有这类资源(也许是我没找到),所以准备自己总结一下。 …

韦东山 IMX6ULL和正点原子_GPIO和Pinctrl子系统的使用在100ASK_IMX6ULL上机实验

来源&#xff1a;百问网作者&#xff1a;韦东山本文字数&#xff1a;924&#xff0c;阅读时长&#xff1a;3分钟阅读本节前先阅读&#xff1a;Pinctrl子系统重要概念GPIO子系统重要概念基于GPIO子系统的LED驱动程序1.1 确定引脚并生成设备树节点NXP公司对于IMX6ULL芯片&#xf…

php foreach 收邮件_php机制本身不提供多线程的操作,有了swoole就不一样了

多个任务同时执行比如&#xff0c;我们要对已知的用户数据进行判断&#xff0c;是否需要发送邮件和短信&#xff0c;如果需要发送则发送。不使用多进程时&#xff0c;我们首先判断是否发送邮件&#xff0c;如果需要则发送&#xff1b;然后再判断是否需要发送短信&#xff0c;如…

C#中的interface

接口&#xff08;interface&#xff09; 接口泛指实体把自己提供给外界的一种抽象化物&#xff08;可以为另一实体&#xff09;&#xff0c;用以由内部操作分离出外部沟通方法&#xff0c;使其能被修改内部而不影响外界其他实体与其交互的方式。 接口实际上是一个约定: 如&…

网易不进垃圾箱html,腾讯QQ、网易126、163邮箱发送邮件进入垃圾箱及收不到邮件怎么办?...

近期有用户反馈在云奇付(www.361ser.com)会员中心通过腾讯QQ邮箱、网易126、163邮箱绑定账号及安全验证无法正常收取或收不到云奇付发送的邮件怎么办&#xff1f;其实这是因为QQ邮箱、126邮箱、163邮箱等其它邮箱都有反垃圾邮件机制&#xff0c;很多企业网站的邮件都被误拦截到…

java技术分享主题_Java开发入门:适合新手练手的Java项目(附源码下载)

Java作为一门古老的语言&#xff0c;已有20年左右的历史&#xff0c;这在发展日新月异的技术圈可以说是一个神话。虽然不少人曾抱怨Java语言就像老太太的裹脚布&#xff0c;又臭又长&#xff0c;有时写了500行都不能表达程序员的意图。但从市场上的招聘现状看&#xff0c;Java工…

ehcache 缓存丢失_解决Ehcache缓存警告问题

警告: Creating a new instance of CacheManager using the diskStorePath "D:\Apache Tomcat 6.0.18\temp" which is already used by an existing CacheManager.The source of the configuration was classpath.The diskStore path for this CacheManager will be …