就业班 第二阶段 2401--3.19 day4 主从复制

一、MySQL-Replication(主从复制)

1.1、MySQL Replication

主从复制(也称 AB 复制)允许将来自一个MySQL数据库服务器(主服务器)的数据复制到一个或多个MySQL数据库服务器(从服务器)。

根据配置,您可以复制数据库中的所有数据库,所选数据库甚至选定的表。

MySQL主从复制的优点包括:

  • 横向扩展解决方案 - 在多个从站之间分配负载以提高性能。在此环境中,所有写入和更新都必须在主服务器上进行。但是,读取可以在一个或多个从设备上进行。该模型可以提高写入性能(因为主设备专用于更新),同时显着提高了越来越多的从设备的读取速度。

  • 数据安全性 - 因为数据被复制到从站,并且从站可以暂停复制过程,所以可以在从站上运行备份服务而不会破坏相应的主数据。

  • 分析 - 可以在主服务器上创建实时数据,而信息分析可以在从服务器上进行,而不会影响主服务器的性能。

  • 备份 - 可以使用从服务器数据进行备份,减轻主服务器的压力。

1.2、Replication的原理

前提是作为主服务器角色的数据库服务器 必须开启二进制(binlog)日志

原理 主服务器上面的任何修改都会保存在二进制日志( Bin-log日志) 里面。 从服务器上面启动一个I/O线程, 连接到主服务器上面请求读取二进制(Bin-log)日志,然后把读取到的二进制日志写到本地的Realy-log(中继日志)里面。 从服务器上面同时开启一个SQL线程,读取Realy-log(中继日志),如果发现有更新立即把更新的内容在本机的数据库上面执行一遍。

1.3、配置Replication

配置步骤:
实验:
两台虚拟机(一主一从)
两台都配置hosts解析
# cat /etc/hosts
192.168.62.152 mysql-master
192.168.62.151 mysql-slave1
​
两端关闭防火墙,selinux

主服务器

  1. 在主服务器上,您必须启用二进制日志记录并配置唯一的服务器ID。需要重启服务器。

编辑主服务器的配置文件 my.cnf,添加如下内容

添加配置
[mysqld]
log-bin=/var/log/mysql/mysql-bin
server-id=1

创建日志目录并赋予权限

[root@mysql-1 ~]# mkdir /var/log/mysql
[root@mysql-1 ~]# chown mysql.mysql /var/log/mysql

重启服务

[root@mysql-1 ~]# systemctl restart mysqld

2.应该创建一个专门用于复制数据的用户

每个从服务器需要使用MySQL 主服务器上的用户名和密码连接到主服务器。

例如,计划使用用户 repl 可以从任何主机上连接到 master 上进行复制操作, 并且用户 repl 仅可以使用复制的权限。

主服务器 上执行如下操作

mysql> GRANT REPLICATION SLAVE ON *.*  TO  'repl'@'%'  identified by '123';
将复制的权限给与此用户

3.在从服务器上使用刚才创建的用户进行测试连接

[root@mysql-slalve ~]# mysql -urepl -p'123' -hmysql-master1
测试是否连通,连通退出即可

下面的操作根据如下情况继续

主服务器中有数据
  1. 在主服务器中导出先有的数据,将此数据复制到每个从站。

  • 使用mysqldump工具创建要复制的所有数据库的转储。这是推荐的方法,尤其是在使用时 InnoDB

[root@mysql ~]# mysqldump  -u用户名  -p密码  --all-databases   > dbdump.db
​
这里的用户是主服务器的用户
  1. 从主服务器中使用 scp 工具,把备份出来的数据传输到从服务器中。

在主服务中执行如下命令

[root@mysql ~]# scp  dbdump.db root@mysql-slave1:/root/
​
这里的 mysql-slave1 需要能被主服务器解析出 IP 地址,或者说可以在主服务器中 ping 通。
  1. 配置从服务器,并重启 在从服务器 上编辑其配置文件 my.cnf 并添加如下内容

// my.cnf 文件
[mysqld]
server-id=2
配置之后,重启生效
  1. 导入数据到从服务器,并配置连接到主服务器的相关信息

登录到从服务器上,执行如下操作

/*导入数据*/
[root@mysql-slave1 ~] mysql -uroot -p'123' < alldb.sql

5.查看主服务器的binlog日志的名称和位置

6.在从服务器配置连接到主服务器的相关信息

mysql> CHANGE MASTER TO
MASTER_HOST='mysql-master',  -- 主服务器的主机名(也可以是 IP) 
MASTER_USER='repl',           -- 连接到主服务器的用户
MASTER_PASSWORD='Qf_123456';        -- 到主服务器的密码
MASTER_LOG_FILE='mysql-bin.000001', -- 从主服务器的哪个binlog日志读取
MASTER_LOG_POS=589;                 -- 从主服务器的binlog日志的哪个位置开始同步

7.启动从服务器的复制线程

mysql> start slave;
Query OK, 0 rows affected (0.09 sec)

8.检查是否成功

在从服务上执行如下操作,加长从服务器端 IO线程和 SQL 线程是否是 OK

mysql> show slave status\G

输出结果中应该看到 I/O 线程和 SQL 线程都是 YES, 就表示成功。

执行此过程后,在主服务上操作的修改数据的操作都会在从服务器中执行一遍,这样就保证了数据的一致性。

主服务器中无数据

主服务器中设置

my.cnf配置文件

[mysqld]
log-bin=/var/log/mysql/mysql-bin
server-id=1

创建日志目录并赋予权限

[root@mysql ~]#  mkdir /var/log/mysql
[root@mysql ~]#  chown mysql.mysql /var/log/mysql
重启服务

找出root的初始密码

[root@mysql-master ~]# grep password /var/log/mysqld.log

设置root的密码
mysql> alter user root@localhost identified by 'Syf_123456';
创建主从同步的用户
mysql> GRANT REPLICATION SLAVE ON *.*  TO  'repl'@'%'  identified by 'Syf_123456';

从服务器设置

my.cnf配置文件

[mysqld]
server-id=3
重启服务

在主服务器上操作

查看主服务器的binlog日志的名称和位置

mysql> show master status \G

  1. 在从服务器的 mysql 中执行如下语句

找出root的密码

[root@mysql-slave1 ~]# grep password /var/log/mysqld.log

进入从数据库

[root@mysql-slave1 ~]# mysql -uroot -p'dY3K2((y/hhk'
mysql> CHANGE MASTER TO
MASTER_HOST='mysql-master',
MASTER_USER='repl',
MASTER_PASSWORD='123',
MASTER_LOG_FILE='mysql-bin.000002',
MASTER_LOG_POS=681;
​
mysql> start slave;

在从站上暂停复制

您可以使用和stop slave和start slave语句停止并启动从站上的复制 。

要停止从主服务器处理二进制日志,请使用:

mysql> stop slave;   //暂停
mysql> start slave;  //启动

1.4、配置Replication(gtid方式)

基于事务的Replication,就是利用GTID来实现的复制

GTID(全局事务标示符)最初由google实现,在MySQL 5.6中引入.GTID在事务提交时生成,由UUID和事务ID组成.uuid会在第一次启动MySQL时生成,保存在数据目录下的auto .cnf文件里,事务ID则从1开始自增使用GTID的好处主要有两点:

  1. 不再需要指定传统复制中的master_log_files和master_log_pos,使主从复制更简单可靠

  2. 可以实现基于库的多线程复制,减小主从复制的延迟

实验环境要求: 5.7.6 以上版本

主从均清除刚才实验的环境
[root@mysql-master ~]# systemctl stop mysqld
[root@mysql-slave1 ~]# systemctl stop mysqld
注意:以下两步均危险操作,在以后工作环境中,绝对不能删除数据库。
可以先mysqldump导出一份备份文件,在执行此操作
[root@mysql-master ~]# rm -rf /var/lib/mysql/*
[root@mysql-master ~]# rm -rf /var/log/mysql/*
[root@mysql-slave1 ~]# rm -rf /var/lib/mysql/*
主库配置 vim /etc/my.cnf
[mysqld]
log-bin=/var/log/mysql/mysql-bin
server-id=1
#打开gtid模式
gtid_mode=ON
enforce_gtid_consistency=1  
重启服务
systemctl start mysqld
分别找出主从服务器root用户的初始密码
[root@mysql-master ~]# grep password /var/log/mysqld.log
主服务器修改数据库root用户密码(可选操作)
[root@mysql-master ~]# mysqladmin -uroot -p'QsgW(=D#F9&i' password 'Syf_123456'
从服务器修改数据库root用户密码(可选操作)
[root@mysql-slave1 ~]# mysqladmin -uroot -p'tUthsaZ0sh(?' password 'Syf_123456'

其他和之前的一样

  • 创建专属用户并授权

  • 假如有数据导出数据

mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' identified by 'Qf_123456';
mysql> flush privileges;
从库配置

测试用户有效性

mysql -urepl -p'Qf_123456' -hmysql-master
连接成功,退出
# vim /etc/my.cnf  #在配置文件中添加配置     
[mysqld]
server-id=2
#打开gtid模式
gtid_mode=ON
enforce_gtid_consistency=1   
​
重启服务
systemctl start mysqld

Mysql 从服务器终端执行连接信息

mysql> CHANGE MASTER TO
MASTER_HOST='mysql-master',
MASTER_USER='repl',
MASTER_PASSWORD='Qf_123456',
MASTER_AUTO_POSITION=1;
​
> start slave;

查看是否同步成功

mysql> show slave status\G

二、Replication故障排除

2.1、开启 GTID 后的导出导入数据的注意点

Warning: A partial dump from a server that has GTIDs will by default include the GTIDs of all transactions, even those that changed suppressed parts of the database. If you don't want to restore GTIDs, pass --set-gtid-purged=OFF. To make a complete dump, pass --all-databases --triggers --routines --events

意思是: 当前数据库实例中开启了 GTID 功能, 在开启有 GTID 功能的数据库实例中, 导出其中任何一个库, 如果没有显示地指定--set-gtid-purged参数, 都会提示这一行信息. 意思是默认情况下, 导出的库中含有 GTID 信息, 如果不想导出包含有 GTID 信息的数据库, 需要显示地添加--set-gtid-purged=OFF参数.

mysqldump -uroot  -p  --set-gtid-purged=OFF   --all-databases > alldb.db

导入数据是就可以相往常一样导入了。

2.2、UUID一致,导致主从复制I/O线程不是yes

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work

致命错误:由于master和slave具有相同的mysql服务器uuid,导致I/O线程不进行;这些uuid必须不同才能使复制工作。

问题提示主从使用了相同的server UUID,一个个的检查:

检查主从server_id

主库:

mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 1     |
+---------------+-------+

从库:

mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 2     |
+---------------+-------+
1 row in set (0.00 sec)

server_id不一样,排除。

检查主从状态:

主库:

mysql> show master status\G
*************************** 1. row ***************************File: mysql-bin.000002Position: 849Binlog_Do_DB: Binlog_Ignore_DB: 
Executed_Gtid_Set: 21c27a81-633b-11ea-8d7d-00163e064efa:1-3
1 row in set (0.00 sec)

从库:

mysql> show slave status\G
*************************** 1. row ***************************Slave_IO_State: Waiting for master to send eventMaster_Host: 172.31.47.161Master_User: replMaster_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000002Read_Master_Log_Pos: 849

File一样,排除。

最后检查发现他们的auto.cnf中的server-uuid是一样的。

[root@localhost ~]# vim /var/lib/mysql/auto.cnf
[auto]
server-uuid=4f37a731-9b79-11e8-8013-000c29f0700f

修改uuid并重启服务

关于mysql主从同步问题解决_a partial dump from a server-CSDN博客

image-20240322164743888

如果上面的io错误:

可能是主库中没有授权

补充:

在数据库中:(帮助文档)

mysql> ? create

错误在这:(从库)

如何解决主从延迟:(不能完全解决)

dump?这个就是将自己数据库备份到一个文件里面

mysqldump -p -u  -h  -A > file.sql

===========================================================================

可以做解析更快

vim /etc/resolv.conf  

将自己的ip和主机名解析(速度更快)

=========================================================================

通俗易懂

课堂笔记:

无数据情况下做主从复制


主库操作
1、 准备两台数据库,并关闭防火墙
2、 主库开启binlog日志
3、 主库创建一个远程登录账号
grant replication slave on *.* to 'slave'@'%' identified by 'QianFeng@123456';
flush privileges;
4、 记录binlog日志的位置

然后重启数据库,使它们生效(有数据和没有数据都一样的)

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      590 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+

从库操作
5、 配置server-id
6、 配置主从同步
CHANGE MASTER TO
  MASTER_HOST='192.168.91.129',
  MASTER_USER='slave',
  MASTER_PASSWORD='QianFeng@123456',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=154,
  MASTER_CONNECT_RETRY=10;
7、启动slave
start slave;
8、检查主从复制状态
show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
9、测试主从复制
写入数据,观察同步情况
10、如何重做主从
先停止slave  stop slave;
清除slave配置 reset slave;
重新进行change master to 配置
start slave;

=========================================================================
有数据情况下做主从复制


1、清理上一个实验的数据过程
systemctl stop mysqld && rm -rf /var/lib/mysql/* /var/log/mysql/mysql-bin* && systemctl start mysqld
2、当前环境为,一台主库,没有开启binlog日志,并且在数据库中存在数据,一台从库,新数据库
3、开始进行主从配置


主库操作
1、导出数据

2、开启binlog日志和server-id

3、主库创建一个远程登录账号
grant replication slave on *.* to 'slave'@'%' identified by '密码';
flush privileges;

4、记录binlog日志的位置
mysql> reset master;
初始化·bin-log日志

Query OK, 0 rows affected (0.00 sec)

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      154 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+

从库操作
5、 导入数据并配置server-id
6、 配置主从同步
CHANGE MASTER TO
  MASTER_HOST='192.168.91.129',
  MASTER_USER='slave',
  MASTER_PASSWORD='QianFeng@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=590,
  MASTER_CONNECT_RETRY=10;
7、启动slave
start slave;
8、检查主从复制状态
show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
9、测试主从复制
写入数据,观察同步情况
10、如何重做主从
先停止slave  stop slave;
清除slave配置 reset slave;
重新进行change master to 配置
start slave;

=========================================================================

大数据情况下做主从复制

假如主库有数据,从库数据没了,
首先主库和从库都进入/var/lib/mysql这个目录下,停止mysql,冷传输,
有a  和  b (从库)
关闭b的数据库(冷传输)
将a的mysql下所有目录传过去
将a的mysql下的 ib* 发过去

scp -r  (   )  b:/var/lib/mysql/

然后在b中的mysql目录下赋权
chown -R mysql.mysql .
启动mysql
systemctl start mysqld

然后再开始进行后续的bin-log的操作(主从配置)

和导出导入的区别:

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/763942.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL面试题--最全面-索引

目录 一、索引 1.MySQL是如何让实现的索引机制&#xff1f; 2.InnoDB索引与MyISAM索引实现的区别是什么&#xff1f; 3.一个表中如果没有创建索引&#xff0c;那么还会创建B树吗&#xff1f; 4.说一下B树索引实现原理&#xff08;数据结构&#xff09; 5.聚簇索引与非聚簇…

弱电工程包括哪些工程?

​一、弱电工程的分部有哪些? 分为基础、主体、装饰工程、强电、弱电、消防、暖通、给排水工程&#xff0c;桩基、筏板、模板、钢筋、混凝土、砌体、粉刷、地坪等 二、弱电工程系统包括哪些? 弱电系统包括&#xff1a;闭路电视监控系统、防盗报警系统、门禁系统、电子巡更…

[小程序开发] 分包加载

一、介绍 分包加载是一种小程序的优化技术&#xff0c;将小程序不同功能的代码&#xff0c;分别打包成不同的子包&#xff0c;在构建时打包成不同的分包&#xff0c;用户在使用时按需进行加载&#xff0c;在构建小程序分包项目时&#xff0c;构建会输出一个或多个分包&#xff…

python的stone音乐播放器的设计与实现flask-django-php-nodejs

该系统利用python语言、MySQL数据库&#xff0c;flask框架&#xff0c;结合目前流行的 B/S架构&#xff0c;将stone音乐播放器的各个方面都集中到数据库中&#xff0c;以便于用户的需要。该系统在确保系统稳定的前提下&#xff0c;能够实现多功能模块的设计和应用。该系统由管理…

python_BeautifulSoup爬取汽车评论数据

爬取的网站&#xff1a; 完整代码在文章末尾 https://koubei.16888.com/57233/0-0-0-2 使用方法&#xff1a; from bs4 import BeautifulSoup 拿到html后使用find_all()拿到文本数据&#xff0c;下图可见&#xff0c;数据标签为&#xff1a; content_text soup.find_all…

006——GenericTimer(基于liteos-a)

目录 Generic Timer介绍 1.1 硬件结构 1.1.1 System Counter特性 1. 两种访问方式 2. CP15寄存器 3. MemoryMapped寄存器 1.1.2 Timer特性 1.2 SystemCounter时钟源 1.3 使用方法 GenericTimer源码分析 1.2 源码分析 1.2.1 初始化 1.2.2 启动Timer 1.2.3 中断处理…

SQPSK

文章目录 [1]张显辉,沈国松.SQPSK调制体制在跟踪与数据中继卫星中的应用[J].遥测遥控,2007(S1):26-29.[2]保骏.QPSK、SQPSK信号解调相位模糊及其对Viterbi译码的影响[J].四川兵工学报,2011,32(03):53-55.[3]赵辉,严晓芳,张玉. 星载SQPSK高速调制系统的设计[C]//中国通信学会.20…

在服务器上训练faster-rcnn模型(pycharm和Termius)

本文主要介绍使用服务器训练模型的两种方式&#xff1a;pycharm&#xff08;可视化界面友好&#xff09;and终端&#xff0c;本人用的是macos系统&#xff0c;可能pycharm某些入口的位置不一样&#xff0c;本教程代码以faster-rcnn为例 准备工作&#xff1a; 1.知道自己所用服…

外卖店优先级c++

题目 输入样例&#xff1a; 2 6 6 1 1 5 2 3 1 6 2 2 1 6 2输出样例&#xff1a; 1样例解释 6时刻时&#xff0c;1 号店优先级降到 3&#xff0c;被移除出优先缓存&#xff1b;2 号店优先级升到 6&#xff0c;加入优先缓存。 所以是有 1 家店 (2 号) 在优先缓存中。 思路 …

docker 安装部署 jenkins

今天 小☀ 给大家普及一下什么是 jenkins&#xff01;&#xff01; Jenkins是一个开源软件项目&#xff0c;基于Java开发的持续集成工具。它提供了一个开放易用的软件平台&#xff0c;使软件项目可以进行持续集成。Jenkins起源于Hudson&#xff0c;主要用于持续、自动地构建、…

C语言 自定义类型:结构体

目录 前言 一、结构体类型 1.1 结构体的声明 1.2 结构体变量的创建和初始化 1.3 结构体的特殊声明 1.4 结构体的自引用 二、结构体的对齐 2.1 对齐规则 2.2 内存对齐的原因 2.3 修改默认对齐数 2.4 结构体传参 三、结构体实现位段 3.1 位段的内存分配 3.2 段的跨平…

通过JWT完成token登录验证

前言 什么是JWT&#xff1f; 全称是JSON Web token&#xff0c;是用于对应用程序上的用户进行身份验证的标记&#xff0c;使用 JWTS 的应用程序不再需要保存有关其用户的 cookie 或其他session数据 使用JWT的优势 提高了程序的可伸缩性&#xff0c;也极大的提高了应用程序的安全…

几种常见的IO模型学习

IO模型 IO模型&#xff08;输入输出模型&#xff09;是计算机科学中用于描述程序如何处理输入、产生输出以及与外部系统交互的一种概念模型。在操作系统和网络编程中&#xff0c;IO模型尤其重要&#xff0c;因为它们决定了程序如何与文件、网络套接字和其他资源进行通信。以下…

Harbor介绍

1.什么是Harbor Harbor是一个开源的企业级Docker Registry管理项目&#xff0c;由VMware公司开源。 Harbor提供了比Docker官方公共镜像仓库更为丰富和安全的功能&#xff0c;尤其适合企业环境使用。以下是Harbor的一些关键特性&#xff1a; 权限管理&#xff08;RBAC&#x…

Ribbon知识点

1、通过类实现重写Ribbon规则 1.1注意 这个类一定不能跟启动类放在同一个包下面&#xff0c;不能被componentScan给扫描到。 需要如图放置&#xff1a; 要是被componentScan给扫描到&#xff0c;则会被所有的服务提供方所共享&#xff0c;那么就不能实现指定服务用不同的Ribbo…

灵神DP题单---划分型 DP---§6.1 判定能否划分

这里的状态定义一般使用DP【i】 表示 考虑前i个东西能否满足条件&#xff0c;然后我们枚举上一次的转移位置就好了 2369. 检查数组是否存在有效划分 需要注意的是我习惯从1开始写&#xff0c;所以要处理好边界的下标问题 class Solution { public:bool validPartition(vector&l…

java网络原理(三)----三次握手四次挥手

三次握手 三次握手是建立连接的过程&#xff0c;四次挥手是断开连接的过程&#xff0c;三次握手发生在socket.accept()之前。 客户端和服务器尝试建立连接的时候服务器就会和客户端进行一系列的数据交换称为握手&#xff0c;这个过程建立完了后&#xff0c;连接就好了。 A和B…

Matlab有限差分法求解狄利克雷(Dirichlet)边界的泊松(Poisson)问题,边界值为任意值

参考l链接&#xff1a; 有限差分法简介有限差分法-二维泊松方程及其Matlab程序实现弹性力学方程 有限差分法matlab,泊松方程的有限差分法的MATLAB实现 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%% Matrix method for Poisson Equation …

基于python+vue的OA公文发文管理系统flask-django-php-nodejs

系统根据现有的管理模块进行开发和扩展&#xff0c;采用面向对象的开发的思想和结构化的开发方法对OA公文发文管理的现状进行系统调查。采用结构化的分析设计&#xff0c;该方法要求结合一定的图表&#xff0c;在模块化的基础上进行系统的开发工作。在设计中采用“自下而上”的…

使用 Amazon SageMaker 微调 Llama 2 模型

本篇文章主要介绍如何使用 Amazon SageMaker 进行 Llama 2 模型微调的示例。 这个示例主要包括: Llama 2 总体介绍Llama 2 微调介绍Llama 2 环境设置Llama 2 微调训练 前言 随着生成式 AI 的热度逐渐升高&#xff0c;国内外各种基座大语言竞相出炉&#xff0c;在其基础上衍生出…