小阿轩yx-案例：MySQL主从复制与读写分离

案例分析

概述

实际生产环境中

• 如果对数据库读和写都在同一个数据库服务器中操作，无论在安全性、高可用性还是高并发等各个方面都完全不能满足实际需求
• 一般都是通过主从复制（Master-Slave）同步数据
• 再通过读写分离来提升数据库并发负载能力进行部署与实施

案例前置知识点

MySQL 主从复制原理

• MySQL 主从复制和 MySQL 读写分离两者有紧密联系
• 首先部署主从复制，才能在此基础上进行数据的读写分离

MySQL 支持的复制类型

基于语句复制

• 在主服务器上执行的 SQL 语句，在从服务器上执行同样的语句

MySQL 默认采用基于语句的复制，效率比较高

基于行的复制

• 把改变的内容复制过去，而不是把命令在从服务器上执行一遍

混合类型的复制

• 默认采用基于语句的复制，一旦发现基于语句无法精准复制时，就会采用基于行的复制

复制的工作过程

• 每个事物更新数据完成之前，Master 将这些改变记录进二进制日志。写入二进制日志完成后，Master 通知存储引擎提交事务
• Slave 将 Master 的 Binary log 复制到其中继日志（Relay log）
• SQL slave thread（SQL 从线程）处理该过程的最后一步

复制过程有一个很重要的限制，即复制在Slave上时串行化的，也就是说Master上的并行更新操作不能在 Slave 上并行操作

MySQL 读写分离原理

• 简单说，读写分离就是只在主服务器上写，只在从服务器上读。
• 让主数据库处理事务性查询，而数据库处理 select 查询。
• 数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库。

目前较为常见的 MySQL 读写分离分为两种

基于程序代码内部实现

在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的

优点

• 性能较好
• 在程序代码中实现
• 不需要增加额外的设备作为硬件开支

缺点

• 需要开发人员来实现
• 运维人员无从下手

基于中间代理层实现

• 一般位于客户端和服务器之间，代理服务器接到后端请求后通过判断转发到后端数据库

两个代表性程序

MySQL-Proxy

• 为 MySQL 开源项目
• 通过自带的 lua 脚本进行 SQL 判断

（注：MySQL 官方不建议将 MySQL-Proxy用到生产环境）

Amoeba

• 由陈思儒用java语言进行开发
• 作者曾就职于阿里巴巴担任首席工程师（现已离职）
• 阿里巴巴将其用于生产环境

缺点

• 不支持事务
• 不支持存储过程

案例

搭建 MySQL 主从复制

需求

通过 Amoeba 实现 MySQL 数据库请求的读写分离

关闭所有服务器的 ffirewalld

[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld

建立时间同步环境

主节点搭建时间同步服务器

安装NTP

[root@localhost ~]# yum -y install ntp

从服务器选择时间与主机同步

配置 NTP

[root@localhost ~]# vim /etc/ntp.conf
//添加如下两行
server 127.127.1.0
fudge 127.127.1.0 stratum 8

重启服务

[root@localhost ~]# systemctl restart mysqld
[root@localhost ~]# systemctl enable ntpd

登录 MySQL 程序，给从服务器授权 

[root@localhost ~]# mysql -uroot -ppwd123
mysql> grant replication slave on *.* to 'myslave'@'192.168.10.%' identified by '123456' ;
mysql> flush privileges;
mysql> show master status;
+-------------------+----------+--------------+------------------+
| File              | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+-------------------+----------+--------------+------------------+
| master-bin.000001 |      337 |              |                  |
+-------------------+----------+--------------+------------------+
1 row in set (0.01 sec)

配置从服务器

[root@localhost ~]# vim /etc/my.cnf在[mysqld]模块中修改或添加：
##修改，值不能和其他mysql服务器重复
server-id = 22
##添加（可不指定）
relay-log=relay-log-bin
##添加（可不指定）
relay-log-index=slave-relay-bin.index

--relay-log=name    中继日志的文件的名字
 --relay-log-index=name      MySQL slave 在启动时需要检查relay log index 文件中的relay log信息，此处定义该索引文件的名字

重启服务

[root@localhost ~]# systemctl restart mysqld

登录MySQL，配置同步

[root@localhost ~]# mysql -uroot -ppwd123
mysql> change master to master_host='192.168.10.101',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=337;
Query OK,0 rows affected,2 warnings (0.05 sec)

启动同步

mysql> start slave;

注：如果后面加了分号，显示的最后一行会提示ERROR: No query specified，当然，这没有任何影响

查看 Slave 状态，确保以下两个值为 YES

##注意后面不要加分号
mysql> show slave status\G
*********1.row*********
//省略部分内容
...
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
//省略部分内容
...
1 row in set (0.00 sec)

验证主从复制

在主从服务器上分别查询数据库

[root@localhost ~]# mysql -uroot -ppwd123
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| test               |
+--------------------+
4 rows in set (0.00 sec)

在主服务器上创建数据库

mysql> create database test;
Query OK, 1 row affected (0.00 sec)mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_test            |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

在从服务器上再次查询数据库，显示数据库相同，则主从复制成功

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_test            |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

扩展

主主复制

• 将一个 slave1服务器作为另一台 slave2的master

在slave1 上修改my.cnf

## 在[mysqld]模块添加
server-id=11
log-bin=master-bin
log-slave-updates=true

重启mysql

[root@localhost ~]# systemctl restart mysqld

在slave1上执行以下命令创建一个授权用户，用于在slave2上链接slave1

mysql> grant replication slave on *.* to 'myslave'@'192.168.10.%' identified by '123456' ;
mysql> flush privileges;
mysql> show master status;

搭建 Mysql 读写分离

Amoeba(变形虫)

• 开源框架项目
• 于 2008 年发布一款 Amoeba for MySQL 软件。
• 这个软件致力于 MySQL的分布式数据库前端代理层
• 主要为应用层访问 MySQL 的时候充当SQL路由功能

优势

• 具有负载均衡
• 高可用性
• SQL过滤
• 读写分离
• 可路由到相关的目标数据库
• 可并发请求多台数据库

通过 Amoeba 能够完成多数据源以下功能

• 高可用
• 负载均衡
• 数据切片

目前 Amoeba 已在很多企业的生产线上使用

在主机amoeba上安装java环境

[root@localhost ~]# chmod +x jdk-6u14-linux-x64.bin
## 根据提示按 Enter 键完成即可
[root@localhost ~]# ./jdk-6u14-linux-x64.bin
[root@localhost ~]# mv jdk1.6.0_14/ /usr/local/jdk1.6

## 增加一下配置
[root@localhost ~]# vim /etc/profile
## 添加到最末尾
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$JAVA_HOME/bin
export AMOEBA_HOME=/usr/local/amoeba/
export PATH=$PATH:$AMOEBA_HOME/bin

[root@localhost local]# source /etc/profile## 查询版本，确定java安装成功
[root@localhost local]# java -version
java version "1.6.0 14"
Java(TM) SE Runtime Environment (build 1.6.0 14-b08)
Java HotSpot(TM) 64-Bit Server VM (build 14.0-b16, mixed mode)

（Java 环境已配置成功）

安装并配置 amoeba

[root@localhost local]# mkdir /usr/local/amoeba
[root@localhost ~]# tar zxf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
[root@localhost ~]# chmod -R 755 /usr/local/amoeba/
[root@localhost ~]# /usr/local/amoeba/bin/amoeba
## 有此提示表示成功
amoeba start|stop

配置 amoeba 读写分离，两个 Slave 读负载均衡

Master、Slave1、Slave2三个mysql服务器中开放权限给amoeba访问（只在master中即可，会复制到slave中）

mysql> grant all on *.* to test@'192.168.10.%' identified by '123.com';

在amoeba上配置amoeba.xml文件

[root@localhost ~]# cd /usr/local/amoeba/conf
[root@localhost conf]# vim amoeba.xml## 修改带有注释的行部分，此处设置的是mysql客户端连接amoeba时用的账号和密码
<property name="authenticator"><bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">##30行<property name="user">amoeba</property>##32行<property name="password">123456</property></property>.......略......<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"><property name="LRUMapSize">1500</property>##115行<property name="defaultPool">master</property>##118行<property name="writePool">master</property>##119行此处的注释去掉<property name="readPool">slaves</property><property name="needParse">true</property></queryRouter>

编辑 Server.xml 文件

[root@localhost conf]# vim dbServers.xml
修改（注意去掉注释），slave2的复制一个slave1<!-- mysql user -->##26行<property name="user">test</property>##29行，去掉注释符<property name="password">123.com</property></factoryConfig>......略......##45行<dbServer name="master"  parent="abstractServer"><factoryConfig><!-- mysql ip -->##48行<property name="ipAddress">192.168.1.101</property>            </factoryConfig></dbServer>##52行<dbServer name="slave1"  parent="abstractServer"><factoryConfig><!-- mysql ip -->##55行<property name="ipAddress">192.168.1.102</property></factoryConfig></dbServer><dbServer name="slave2"  parent="abstractServer"><factoryConfig><!-- mysql ip --><property name="ipAddress">192.168.1.103</property></factoryConfig></dbServer>##59行<dbServer name="slaves" virtual="true"><poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"><!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--><property name="loadbalance">1</property><!-- Separated by commas,such as: server1,server2,server1 -->##65行<property name="poolNames">slave1,slave2</property>          </poolConfig></dbServer>

启动 amoeba 软件

[root@localhost ~]# cd /usr/local/amoeba/
[root@localhost amoeba]# bin/amoeba start&

注：当在前台运行某个作业时,终端被该作业占据;而在后台运行作业时,它不会占据终端。可以使用&命令把作业放到后台执行

如果能看到 8066 和 3306端口，证明 amoeba 是正常开启

[root@localhost amoeba]# netstat -anpt | grep java
tcp6 0    0 127.0.0.1:51388    ...*    LISTEN    31083/java
tcp6 0    0 ：：：8066          ...*    LISTEN    31083/java
tcp6 0    0 192.168.8.100:58748    192.168.8.139:3306 ESTABLISHED 31083/java
tcp6 0    0 192.168.8.100:37810    192.168.8.134:3306 ESTABLISHED 31083/java
tcp6 0    0 192.168.8.100:56066    192.168.8.136:3306 ESTABLISHED 31083/iava

测试

在 client 主机上

[root@localhost ~]# yum -y install mysql

通过代理访问 MySQL 

[root@localhost ~]# mysql -u amoeba -p 123456 -h 192.168.10.104 -P 8066
## 密码：123456
Enter password:
MySQL [(none)]>

若在连接“192.168.1.110”时报如下错误

MySQL [(none)]>show databases;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect...
1437053119Connection id:
Current database:*** NONE ***
ERROR 2013 (HY000): Lost connection to MySQL server during query
MySQL [(none)]>

同时，在 Amoeba 的服务器上面有如下报错日志

amoeba Could not create a validated object, cause: ValidateObject failed

是因为 dbServers.xm 中的用户，需要在主从机上分配权限。

同时注意该文件中

<!-- mysql schema --><property name="schema">test</property>

test数据库肯定是要存在的。

在 Master、Slave1 和 Slave2 上面创建 test 数据库,就可以解决此问题。 

在 master 服务器上创建表

mysql> stop slave;
MySQL [test]> use auth
MySQL [auth]> create table users (id int(10),name char(20));
Query Ok, 0 rows affected (0.16 sec)

分别在两台服务器上执行操作

mysql> stop slave;

在主服务器上

mysql> insert into users values ('2','zhangsan');
Query OK,1 rows affected (0.06 sec)

从服务器同步了表，手动插入其它内容

slave1:
mysql> use auth;
mysql>insert into users values ('2','zhangsan');slave2:
mysql> use auth;
mysql> insert into users values ('3','zhangsan);

在客户机上查询3次

mysql> use auth;
mysql> select * from users;

对比三次的输出，验证读操作，发现没有在master写入的数据，而slave上写的能查到

在客户机上

mysql> use auth;
mysql>insert into users values ('4','zhangsan');
##发现在client上查询不到自己写的数据
mysql> select * from users;

在主服务器上

##能查到在client上写入的数据，说明写操作在master上
mysql> select * from users;

在从服务器上

##发现没有数据，说明写入的操作是在master上
mysql> select * from users;

由此验证，已经实现了 MySQL读写分离

目前所有的写操作都全部在 Master 主服务器上，用来避免数据的不同步;所有的读操作都分摊给了 Slave 从服务器，用来分担数据库压力。

小阿轩yx-案例：MySQL主从复制与读写分离