MySQL——运维篇

三、运维篇🚩

1. 日志🍻

1.1 错误日志

错误日志记录了当mysql启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息。——数据库无法正常使用时,使用该日志

# 可以查看错误日志存放的位置
show variables like '%log_error%';

在这里插入图片描述

Linux中使用:tail -f 文件名——>查看错误日志追加的内容

-f 实时刷新尾部的内容

1.2 二进制日志

二进制日志(binary log, BINLOG)记录了所有的DDL和DML语句,但不包括数据查询(记录数据库、表、表中数据的变更)

作用:

  • 灾难时的数据恢复
  • MySQL的主从复制
# 查看binlog的位置
show variables like '%log_bin%';

在这里插入图片描述

/*
日志格式
1. STATEMENT:记录的是SQL语句,对数据修改的SQL都会记录在日志文件中
2. ROW:记录的是每一行的数据变更(默认)
3. MIXED:上面两种格式的混合,默认采用STATEMENT,某些特殊情况下会自动切换成ROW进行记录
*/
# 查看
show variables like '%binlog_format%';
# 删除
reset master  # 删除全部binlog日志,删除之后编号从binlog.000001重新开始
purge master logs to "binlog.******"  # 删除******编号之前的所有日志
purge master logs before '日期'  # 删除这个日期之前产生的所有日志
# 在配置文件中设置过期时间,设置了之后,二进制日志过期就会自动删除
show variables like '%binlog_expire_logs_seconds%';  # 默认30天

1.3 查询日志

记录客户端的是所有操作语句,默认是未开启的

如果想要开启,要进行配置

# 查看
show variables like '%general%';/*
general_log,OFF
general_log_file,/var/lib/mysql/VM-4-13-ubuntu.log
*/

1.4 慢查询日志

记录所有执行时间超过long_query_time设置值并且扫描记录数不小于min_examined_row_limit的所有的SQL语句的日志,默认是未开启的。

# 开启慢查询日志
slow_query_log = 1
# 执行时间参数,默认是10秒,最小是0,精度可以到微秒
long_query_time = 2
# 默认情况下,不会记录管理语句,也不会记录不使用索引进行查找的查询
# 开启记录执行较慢的管理语句
log_slow_admin_statements = 1;
# 开启记录执行较慢的未使用索引的语句
log_queries_not_using_indexes = 1;

2. 主从复制🍷

2.1 概述

涉及主库(Master)和从库(Slave),主数据库的DDL和DML操作通过二进制日志传到从数据库(可以是多个),然后在从库上对这些日志重新执行(重做),从而使得从库和主库的数据保持同步。

注: MySQL支持一台主库同时向多台从库进行复制,从库同时也可以作为其他从服务器的主库,实现链状复制

优点:

  • 主库出现问题,可以快速切换到从库提供服务——>避免崩溃
  • 实现读写分离,降低主库的访问压力——>分工合作
  • 可以在从库上执行备份,以避免备份期间影响主库服务——>备份恢复

2.2 原理

在这里插入图片描述

2.3 搭建

1)主从复制的服务器环境

  • 关闭防火墙/指定端口
  • 检查mysql的运行状态

2)主库配置

①修改配置文件

在这里插入图片描述

②重启mysql

③登录mysql,创建远程连接的账号,并授予主从复制的权限

CREATE USER 'username'@'%' IDENTIFIED WITH mysql_native_password BY 'password';
GRANT REPLICATION SLAVE ON *.* TO 'username'@'%';

④找到要从哪里开始复制——二进制文件的坐标

show master status;
/*
file:从哪个日志文件开始推送日志文件
position:从哪个位置开始推送日志
binlog_ignore_db:指定不需要同步的数据库
*/

3)从库配置

①修改配置文件

在这里插入图片描述

②重启数据库

③设置主库的相关配置——让机器之间能够互相联系起来

在这里插入图片描述

④开启同步操作

# 8.0.22之后
start replic;
# 8.0.22之前
start slave;

⑤查看主从复制的状态

show replic status;
# IO running
# SQL running

3. 分库分表🍸

3.1 介绍

问题: 应用系统的数据量成指数式增长,如果采用单数据库进行数据存储,会存在性能瓶瓶

  • IO瓶颈:数据量大,缓存不足,产生大量磁盘IO,效率较低。请求数据太多,带宽不够,网络IO瓶颈
  • CPU瓶颈:排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源,请求数太多,CPU瓶颈

将单数据库的数据分散到多态数据库服务器中,实现负载均衡

在这里插入图片描述

这么复杂,应用程序咋操作嘞?

  • shardingJDBC:基于AOP原理(面向切片编程),在应用程序中对本地执行的SQL进行拦截,解析、改写、路由处理。需要自行编码配置实现,只支持JAVA语言,性能较高
  • Mycat:数据库分库分表的中间件(应用程序无感知的),不用调整代码就可以实现分库分表,支持多种语言,性能不及前者

3.2 Mycat概述

概念: 数据库中间件,可以像使用mysql一样来使用mycat(伪装协议),对开发人员来说根本感觉不到mycat的存在

优势:

  • 性能可靠稳定
  • 强大的技术团队
  • 体系完善
  • 社区活跃

在这里插入图片描述

学完docker再回来实操吧

3.3 Mycat入门

3.4 Mycat配置

1)schema.xml:涵盖MyCat的逻辑库、逻辑表、分片规则、分片节点及数据源配置

主要包含以下三组标签

  • schema标签:逻辑库、逻辑表
  • datanode标签:数据节点
  • datahost标签:接待你主机以及数据源的相关信息

2)rule.xml:定义了所有拆分表的规则,在使用过程中可以灵活使用分片算法,或者对同一个分片算法使用不同的参数,这一配置文件使分片过程可配置化

主要包含以下两组标签

  • tableRule:根据哪个字段进行分片,当前分片规则指定的分片算法,是个引用
  • Function:具体的算法的实现方法

3)server.xml:配置文件包含了MyCat的系统配置信息

主要包含两个标签

  • system:对应系统配置项及其含义,环境选项
  • user:能被哪些用户访问(用户及其权限0000-增改查删)

3.5 Mycat分片

3.6 Mycat管理及监控

在这里插入图片描述

在这里插入图片描述

可视化——Mycat-web/eye+zookeeper

4. 读写分离🍹

4.1 介绍

把对数据库的读和写操作分开,以应对不同的数据库服务器。主数据库是提供写操作,从数据库是提供读操作——>减轻单台数据库的压力

客户端直接实现会很繁琐,可以使用Mycat中间件

writeHost

readHost

4.2 一主一从

4.3 一主一从读写分离

4.4 双主双从

高可用

4.5 双主双从读写分离

总结

Mycat部分没有进行实操,笔记较略,实操之后会来补充
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/578911.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

虚拟机VMware安装openWrt作为旁路由

虚拟机VMware安装openWrt作为旁路由 前言:前提是已经成功安装了VMware Workstation Pro 一、下载openWrt系统固件 固件有很多,我选择的是下面这个: https://fw0.koolcenter.com/iStoreOS/x86_64/istoreos-22.03.5-2023121510-x86-64-squas…

SAP 配额维护 ME_UPDATE_QUOTA 解读

竟然直接insert 表 FUNCTION ME_UPDATE_QUOTA. *"---------------------------------------------------------------------- *"*"Verbuchungsfunktionsbaustein: *" *"*"Lokale Schnittstelle: *" TABLES *" XEQ…

Codeforces Pinely Round 3 (Div. 1 + Div. 2)

A.Distinct Buttons(思维) 题意: 你在开始时站在点 ( 0 , 0 ) (0,0) (0,0),同时,手上有一个遥控器,上面有四个按钮: U:移动到 ( x , y 1 ) (x, y 1) (x,y1)的位置 R:移动到 ( x 1 , y ) (x 1, y) (x1,y)的位置 …

代码随想录算法训练营Day10 | 239.滑动窗口的最大值、347.前K个高频元素

LeetCode 239 滑动窗口的最大值 本题思路: 采用单调队列来完成,单调队列就是队列里的元素顺序,是单调递减/递增的情况。 那么我们应该如何维护这个单调队列呢,此处既然是最大值,那么采用的是单调递减的队列。让队列的出口处是当前…

java爬虫(jsoup)如何设置HTTP代理ip爬数据

目录 前言 什么是HTTP代理IP 使用Jsoup设置HTTP代理IP的步骤 1. 导入Jsoup依赖 2. 创建HttpProxy类 3. 设置代理服务器 4. 使用Jsoup进行爬取 结论 前言 在Java中使用Jsoup进行网络爬虫操作时,有时需要使用HTTP代理IP来爬取数据。本文将介绍如何使用Jsoup设…

如何给beaglebone black狗板扩容

接上一篇 beaglebone black狗板,交叉编译Qt5(eglfs)-CSDN博客 默认的分区大小已经不够了,需要调整 这里改成500M,能勉强正常,但是SD是32G还是有大量的剩余空间没被使用 这里可以用以下两类方法来把剩余的…

电影分线发行来势汹汹,行业新规到底利好谁?

年末的贺岁档,一直是各大影视公司的必争之地,但2023年却透露出一股不寻常的气息。 在10月份举办的第一届全国电影交易大会上,分线发行影片的机制被提出之后,贺岁档的多部影片启用了这一发行方式。 分线发行,简单来说…

apisix 路由转发成功 但响应502异常(转发导致客户端来源发生变化)

访问报如下异常 这种情况通常是通过apisix转发后,导致丢失原有域名(也可以理解为客户端来源变了)导致最终程序端某些安全检查不通过 此时有两种解决方法 路由中修改 操作路径: 路由-域名改写 如下图 上游(upstream…

Mac上5款非常实用的资源工具分享

Lifespan Lifespan是一款创新的macOS菜单栏应用程序,旨在监控基于闪存的存储设备的剩余使用寿命。我们的软件可以方便地显示您的固态硬盘 (SSD) 的剩余寿命。寿命菜单显示每个支持的SSD的当前寿命,并在剩余寿命接近临界阈值时立即向您发出警报。有了这些…

ZKTeco与亚马逊云科技部署Cloud Foundations解决方案,构建MinervaIoT高质量云底座

ZKTeco背景介绍 熵基科技股份有限公司(ZKTeco)成立于2007年,是一家多模态“计算机视觉与生物识别”领域的领军企业。熵基科技于2021年开始与亚马逊云科技合作,推进集团云转型,逐步将各产品线云化。其中最重要的里程碑是…

智慧城市新型基础设施建设综合方案:文件全文52页,附下载

关键词:智慧城市建设方案,智慧城市发展的前景和趋势,智慧城市项目方案,智慧城市管理平台,数字化城市,城市数字化转型 一、智慧城市新基建建设背景 1、城市化进程加速:随着城市化进程的加速&am…

K8s简述

1、定义:是一种开源的容器集群管理系统,在docker 容器技术的基础之上,为容器化的集群提供部署、运行、资源调度、服务发现、动态伸缩等一系列完整的功能的大规模容器管理 2、功能 (1)对docker的容器技术应用的包&…

RHCE9学习指南 第11章 网络配置

11.1 网络基础知识 一台主机需要配置必要的网络信息,才可以连接到互联网。需要的配置网络信息包括IP,子网掩码,网关和DNS。 11.1.1 IP地址 在计算机中对IP的标记使用的是32bit的二进制,例如, 11000000 10101000 00…

远程访问及控制

一、SSH远程管理 SSH(Secure Shell)是一种安全通道协议,主要用来实现字符界面的远程登录.远程复制等功能。SSH 协议对通信双方的数据传输进行了加密处理,其中包括用户登录时输入的用户口令。与早期的Telent(远程登录)、…

C++的多继承和虚继承

目录 多继承的定义和用法定义多继承多继承中派生类对象的内存布局访问基类成员多继承带来的问题 虚继承虚继承的语法虚继承对象的内存布局虚继承中的构造虚继承的缺点 多继承的定义和用法 C支持多继承,即一个派生类可以有多个基类。 很多时候,单继承就…

效果图渲染电脑渲染好?还是云渲染更好?

效果图的渲染是建筑和室内设计领域中不可或缺的一步,随着技术的发展,云渲染作为一项新技术,正逐渐受到人们关注。今天,让我们深入探讨电脑渲染和云渲染这两种方法的优缺点以及它们的适用场景。 本地电脑渲染 本地电脑渲染是利用用…

往年面试精选题目(前50道)

常用的集合和区别,list和set区别 Map:key-value键值对,常见的有:HashMap、Hashtable、ConcurrentHashMap以及TreeMap等。Map不能包含重复的key,但是可以包含相同的value。 Set:不包含重复元素的集合&#…

库函数atoi的功能及模拟实现

atoi函数的功能 int atoi(const char * str) 参数是字符指针,函数值是转换后的int型数据。使用时要包含头文件stdlib.h。 atoi函数的功能是:跳过不可见(空白)字符(如空格、换页\f、换行\n、回车\r、制表符\t、垂直制表符\v),碰到正负号或…

在k8s中使用cert-manager部署gitlab集群

写在前面的话:前面有详细的分享过在k8s集群中部署gitlab,不过当时使用gitlab的访问证书是阿里云上免费的ssl证书,今天特意专门介绍下另外一种基于cert-manager发布自签证书的方式实现部署gitlab到k8s集群中。 往期gitlab部署系列如&#xff1…

麒麟信安桌面操作系统顺利上线长沙职业技术学院,深度促进产教融合,赋能信创人才培养

随着信息基础设施国产化进程的加快,信息技术创新产业对人才的需求量激增,为解决信创人才培养难题、深度促进产教融合,近日,麒麟信安、湖南欧拉生态创新中心携手长沙职业技术学院共同组建的“麒麟信安&欧拉(openEuler)国产操作…