Mysql_HA+IP_SAN+Clvmd+GFS2

====================================================================

GFS：全局文件系统，支持DLM锁管理，支持并发写，Centos6不超过16个节点适用于HA集群使用的共享存储适用于LB集群RealServer使用的共享存储

mysql高可用集群架构设计

1、节点主机系统：Centos6.5

2、高可用集群软件：RHCS

3、两台节点主机node1，node2：

Node1： IP：192.168.1.34host name：edu-mysql-master；

Node2： IP：192.168.1.157host name：edu-mysql-slave;

VIP： 192.168.1.166

Service：mysql

4、一台GFS2服务主机：

IP：192.168.1.111

LVM：/dev/mapper/datavg-mysql--lv

共享目录：/data(LVM)，/data(mysql数据目录)

5、三台主机相同用户：mysql mysql(组) 3306(uid、gid)

相关准备配置

1、配置IP、安装WEB服务、关闭防火墙；

2、配置各节点名称；

3、建立各节点间的SSH互信通信；

4、各节点间的时间同步；

一、存储配置

存储端(target)

1、安装包

[root@target ~]# yum -y install scsi-target-utils

2、定义target共享

[root@target ~]# vim /etc/tgt/targets.conf

backing-store /dev/sdb

3、启动服务

[root@target ~]# service tgtd start

[root@target ~]# netstat -tnlp |grep :3260

tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN 15135/tgtd

tcp 0 0 :::3260 :::* LISTEN 15135/tgtd

[root@storage ~]# tgt-admin --show

Target 1: iqn.2017-1.com.example:mysql

Backing store path: /dev/sdb

ACL information:

ALL

集群节点initiator端(node1、node2)

1、安装包

[root@node1 ~]# yum -y install iscsi-*

2、发现存储

[root@node1 ~]# iscsiadm -m discovery -t st -p 192.168.1.111

正在启动iscsid： [确定]

192.168.1.111:3260,1 iqn.2017-1.com.example:mysql

3、登入存储

[root@node1 ~]# service iscsi restart

[root@node1 ~]# chkconfig iscsi on

4、查看设备

[root@node1 ~]# fdisk -cul

Disk /dev/sdb: 8589 MB, 8589934592 bytes

64 heads, 32 sectors/track, 8192 cylinders, total 16777216 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0x00000000

二、配置集群，并使用CLVMD(node1、node2)

1. 配置集群

a. 创建集群

2. 配置CLVMD

确保node1和node2 clvmd运行

[root@node1 ~]# /etc/init.d/clvmd status

clvmd (pid 1908) 正在运行...

Clustered Volume Groups: (none)

Active clustered Logical Volumes: (none)

node1创建lv

[root@node1 ~]# pvcreate /dev/sdb

[root@node1~]# vgcreate datavg /dev/sdb

[root@node1~]# lvcreate -L 2G -n mysql-lv datavg

[root@node1~]# vgs

VG #PV #LV #SN Attr VSize VFree

datavg 1 1 0 wz--nc8.00g 6.00g

[root@node1~]# lvs

LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert

mysql-lv datavg -wi-a---- 2.00g

node2查看

[root@node2 ~]# vgs

VG #PV #LV #SN Attr VSize VFree

VolGroup 1 2 0 wz--n- 9.51g 0

gfs-vg 1 1 0 wz--nc 5.00g 3.00g

[root@node2 ~]# lvs

LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert

lv_root VolGroup -wi-ao--- 8.54g

lv_swap VolGroup -wi-ao--- 992.00m

gfs-lv gfs-vg -wi-a---- 2.00g

3 、创建GFS2文件系统 node1或node2

a、在node1,node2上安装gfs2的相关软件包

[root@node1 ~]# rpm -qa |grep gfs

gfs2-utils-3.0.12.1-78.el6.x86_64//提供mkfs.gfs2命令用于创建gfs2文件系统

[root@node1 ~]# modinfo -F filename gfs2

/lib/modules/2.6.32-358.el6.x86_64/kernel/fs/gfs2/gfs2.ko

b、在任意一个节点上格式化

[root@node1 ~]# cman_tool status

Version: 6.2.0

Config Version: 19

Cluster Name:gfs-cluster

Cluster Id: 1835

Cluster Member: Yes

Cluster Generation: 24

Membership state: Cluster-Member

Nodes: 2

Expected votes: 1

Total votes: 2

Node votes: 1

Quorum: 1

Active subsystems: 9

Flags: 2node

Ports Bound: 0 11 177

Node name: edu-mysql-master

Node ID: 1

Multicast addresses: 239.192.7.50

Node addresses: 192.168.1.34

[root@node1 ~]# mkfs.gfs2 -tgfs-cluster:table1 -p lock_dlm -j 3 -J 128M /dev/datavg/mysql-lv

This will destroy any data on /dev/datavg/mysql-lv.

It appears to contain: symbolic link to `../dm-2'

Are you sure you want to proceed? [y/n] y

Device: /dev/datavg/mysql-lv

Blocksize: 4096

Device Size 2.00 GB (524288 blocks)

Filesystem Size: 2.00 GB (524288 blocks)

Journals: 3

Resource Groups: 8

Locking Protocol: "lock_dlm"

Lock Table: "gfs-cluster:table1"

UUID: 98326a5a-f72c-5a1d-6ccd-bec094caba26

-t clustername:locktablename

-p lock_dlm

-j 指定日志空间个数，此个数一定要大于等于使用gfs2文件系统存储的主机数

-J 指定一个日志空间的大小

c、挂载并测试写入

[root@node1 ~]# vim /etc/fstab

/dev/datavg/mysql-lv /var/www/html gfs2 defaults,_netdev0 0

[root@node1 ~]# mount -a

[root@node1 ~]# df -P

/dev/mapper/datavg-mysql--lv gfs2 2.0G 410M 1.7G 20% /data

GFS扩展知识：

1. 使用非DLM锁挂载GFS2

[root@node2 ~]# mount -a

/sbin/mount.gfs2: node not a member of the default fence domain

/sbin/mount.gfs2: error mounting lockproto lock_dlm

[root@node2 ~]# mount-o lockproto=lock_nolock/dev/datavg/mysql-lv /data

2. 当集群节点扩充时，增加日志的个数

=====================================================================

MySQL初始化数据库：

1. 安装

[root@node1 ~]# tar -zxfmysql.package.tar-C /usr/local

[root@node1 ~]# cd /usr/local/

[root@node1 local]# cd mysql

[root@node1 mysql]# chown -R mysql:mysql ./*

[root@node1 mysql]# ll

[root@node1 mysql]# ./scripts/mysql_install_db --user=mysql --datadir=/data/

node2同上

(以后脚本安装mysql，更新mysql安装脚本相应路径即可)

2. node1初始化

[root@node1 ~]#mkdir /data

[root@node1 ~]#vim /etc/fstab    (node2无须操作)

/dev/datavg/mysql-lv      /data           gfs2    defaults,_netdev 0 0

[root@node1 ~]#mount –a

[root@node1 ~]# mount /dev/datavg/mysql-lv /data

[root@node1 ~]# service mysqld start；chkconfig mysqld off

[root@node1 ~]# service mysqld stop

[root@node1 ~]# umount /data

2.node1初始化

node2同上

(注：启动mysql服务前先停止node1上的mysql服务，并卸载GFS2共享目录；

然后先挂载存储，再在node2上启动mysql服务，进行测试，测试完后记得停止mysql服务，并卸载GFS2共享目录)

[root@node1 ~]#scp -p /etc/my.cnf  node2:/etc

[root@node1 ~]# scp -p /etc/init.d/mysqldnode2:/etc/init.d/

此文档需要与https://192.168.1.111:8084/ 端配置同时进行，集群管理断配置见http://www.jianshu.com/p/988e74a26469；

=====================================================================

[root@node2~]#Apache:

[root@node2~]# ip: 192.168.1.100

[root@node2~]# script: /etc/init.d/httpd

[root@node2~]# filesystem: ------ NFS mount (NAS)

[root@node2~]#MySQL:

[root@node2~]# ip: 192.168.1.200

[root@node2~]# script: /etc/init.d/mysqld

[root@node2~]# filesystem: /dev/datavg/mysql-lv /var/lib/mysql (GFS2)

针对存储资源设置

NFS: NFS Mount

EXT4: Filesystem

GFS2: GFS2