『MySQL 实战 45 讲』22 - MySQL 有哪些“饮鸩止渴”提高性能的方法?

MySQL 有哪些“饮鸩止渴”提高性能的方法?

  1. 需求:业务高峰期,生产环境的 MySQL 压力太大,没法正常响应,需要短期内、临时性地提升一些性能

短连接风暴

  1. 短连接模式:执行很少的 SQL 语句就断开,下次需要的时候再重连。如果使用的是短连接,在业务高峰期的时候,就可能出现连接数突然暴涨的情况
  2. max_connections 参数,用来控制一个 MySQL 实例同时存在的连接数的上限,被拒绝的连接的请求,从业务角度就是数据库不可用
  3. 机器负载比较高时,处理现有请求的时间变长,每个连接保持的时间也更长,就有可能超过 max_connections 参数
  4. 一个比较自然的想法,就是调高 max_connections 的值,但是系统的负载可能进一步加大,并且量的资源耗费在权限验证等逻辑上

第一种方法:先处理掉那些占着连接但是不工作的线程

  1. 对于不需要保持的连接,可以通过 kill connection 主动踢掉,相当于设置 wait_timeout 参数效果一样
  • wait_timeout 参数:一个线程空闲 wait_timeout 这么多秒之后,就会被 MySQL 直接断开连接
  1. 例如下面例子
    在这里插入图片描述
  • 可以用过 SELECT CONNECTION_ID(); 查询当前会话 id
  • 通过 show processlist; 查看进程结果,其中 109 为 A,110 为 B,112 为 C,从而可以看到哪些会话是 Sleep 状态
    在这里插入图片描述
  • 通过 select * from information_schema.innodb_trx\G 可以看到事务具体状态
    在这里插入图片描述
  • 其中 trx_mysql_thread_id=109 表示 id = 109 A 线程还在事务中
  • 从服务端断开连接使用的是 kill connection + id
    在这里插入图片描述
  • 它的连接被服务端主动断开后,这个客户端并不会马上知道。直到客户端在发起下一个请求的时候,才会收到这样的报错
    在这里插入图片描述
  • 注意:从数据库端主动断开连接可能是有损的,尤其是有的应用端收到这个错误后,不重新连接,而是直接用这个已经不能用的句柄重试查询。这会导致从应用端看上去,“MySQL 一直没恢复”。

第二种方法:减少连接过程的消耗

  1. 有的业务代码会在短时间内先大量申请数据库连接做备用,从而导致服务打挂,那么一种可能的做法,是让数据库跳过权限验证阶段
  2. 跳过权限验证的方法:
  • 重启数据库,并使用 –skip-grant-tables 参数启动
  • 注意:风险极高,特别是外网访问
  • 若确定开启该参数,MYSQL8 会默认把 --skip-networking 参数打开,表示这时候数据库只能被本地的客户端连接

慢查询性能问题

  1. 大体有以下三种可能
  • 索引没有设计好
  • SQL 语句没写好
  • MySQL 选错了索引

导致慢查询的第一种可能是,索引没有设计好

  1. 这种场景一般就是通过紧急创建索引来解决
  • MySQL 5.6 版本以后,创建索引都支持 Online DDL
  • 对于那种高峰期数据库已经被这个语句打挂了的情况,最高效的做法就是直接执行 alter table 语句
  1. 比较理想的是能够在备库先执行。假设你现在的服务是一主一备,主库 A、备库 B,大致流程是这样的
  • 在备库 B 上执行 set sql_log_bin=off,也就是不写 binlog,然后执行 alter table 语句加上索引
  • 执行主备切换
  • 这时候主库是 B,备库是 A。在 A 上执行 set sql_log_bin=off,然后执行 alter table 语句加上索引
  1. 这是一个“古老”的 DDL 方案。平时在做变更的时候,你应该考虑类似 gh-ost 这样的方案,更加稳妥。但是在需要紧急处理时,上面这个方案的效率是最高的

导致慢查询的第二种可能是,语句没写好

  1. 我们可以通过改写 SQL 语句来处理。MySQL 5.7 提供了 query_rewrite 功能,可以把输入的一种语句改写成另外一种模式
  2. MYSQL 8 安装 install_rewriter 插件,需要从 share 目录找到 install_rewriter.sql 脚本
# 登录
mysql -uroot -p 
# 执行脚本
source install_rewriter.sql
# 查看是否有 Rewriter 插件
show plugins
# 查看是否改写开启
show variables like '%rewrite%'
  1. 例如语句被错误地写出了 select * from t where id + 1 = 10000,可以通过下面方式改写规则
# 其中 testdb 是你的库
mysql> insert into query_rewrite.rewrite_rules(pattern, replacement, pattern_database) values ("select * from t where id + 1 = ?", "select * from t where id = ? - 1", "testdb");
# 这个存储过程,是让插入的新规则生效,也就是我们说的“查询重写
call query_rewrite.flush_rewrite_rules();
  • 通过 show warnings 可以看到是否生效

在这里插入图片描述

MySQL 选错了索引

  1. 应急方案是在语句加上 force index

总结

  1. 由慢查询导致性能问题的三种可能情况,实际上出现最多的是前两种
  2. 可以通过下面过程,预先发现问题
  • 上线前,把慢查询日志(slow log)打开,并且把 long_query_time 设置成 0,确保每个语句都会被记录入慢查询日志
  • 在测试表里插入模拟线上的数据,做一遍回归测试
  • 观察慢查询日志里每类语句的输出,特别留意 Rows_examined 字段是否与预期一致
  1. 新增的 SQL 语句不多,手动跑一下就可以。而如果是新项目的话,或者是修改了原有项目的表结构设计,全量回归测试都是必要的。这时候,你需要工具帮你检查所有的 SQL 语句的返回结果。比如,你可以使用开源工具 pt-query-digest

QPS 突增问题

  1. 有时候由于业务突然出现高峰,或者应用程序 bug,导致某个语句的 QPS 突然暴涨,也可能导致 MySQL 压力过大,影响服务
  • 理想的情况:让业务把这个功能下掉
  1. 如果从数据库端处理的话,对应于不同的背景,有不同的方法可用
  • 一种是由全新业务的 bug 导致的:如果 DB 运维是比较规范的,说白名单是一个个加的。这种情况下,如果你能够确定业务方会下掉这个功能,只是时间上没那么快,那么就可以从数据库端直接把白名单去掉
  • 这个新功能使用的是单独的数据库用户,可以用管理员账号把这个用户删掉,然后断开现有连接
  • 这是一个止血方案,最低优先级)这个新增的功能跟主体功能是部署在一起的,那么我们只能通过处理语句来限制。这时,我们可以使用上面提到的查询重写功能,把压力最大的 SQL 语句直接重写成"select 1"返回
    • 注意:这个操作风险会很高
    • 如果别的功能里面也用到了这个 SQL 语句模板,会有误伤
    • 很多业务并不是靠这一个语句就能完成逻辑的,所以如果单独把这一个语句以 select 1 的结果返回的话,可能会导致后面的业务逻辑一起失败
  1. 前 2 个方案都要依赖于规范的运维体系:虚拟化、白名单机制、业务账号分离

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/863028.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uniapp加载打点点效果

uniapp加载打点点效果 背景实现思路代码实现尾巴 背景 为了增加系统的交互性,我们在加载数据时通常会增加一些loading动效,但是在某些场景下只需要一些简单文字提醒。比如说使用【加载中】或者【loading】等字段,但是写静态的字符又显得交互…

【若依前后端分离】前端vue页面查看服务器本地的PDF

后端实现: 使用FileSystemResource包装文件,以便Spring MVC可以处理该资源 创建HttpHeaders对象以设置响应头 设置Content-Disposition头,使得浏览器以内联方式显示PDF(即在浏览器中直接打开) 设置Content-Type为appli…

Thinger.io 支持多协议、插件化100%开源 IoT 企业级物联网平台

项目源码,文末联系小编 Thinger.io 是一个开源插件化物联网平台,提供了设备原型、扩展和设备连接管理所需的一切工具。我们的目标是使物联网的使用民主化,使其可供全世界使用,并简化大型物联网项目的开发。 01 Thinger.io 物联网平…

Python学习路线图:120天系统学习,你也能成大神!

学Python,切忌今天这学一点,明天那里学一点,零零散散没有系统的学习。这样不仅耽搁大家时间,久而久之也会消磨大家学习的兴致!这里给大家总结了一张系统的Python学习路线图!希望大家共勉! Pyth…

期末考试结束,成绩如何快速发布?

随着期末考试的落幕,老师们又迎来了一项繁琐的任务将成绩单私信给学生家长。这项工作耗时耗力,而且极易出错,期末老师的工作已经足够繁重还要私发成绩,简直是雪上加霜。 好消息是,现在有了易查分小程序,只需…

学会整理电脑,基于小白用户(无关硬件升级)

如果你不想进行硬件升级,就要学会进行整理维护电脑 基于小白用户,每一个操作点我都会在后续整理出流程,软件推荐会选择占用小且实用的软件 主要从三个角度去讨论【如果有新的内容我会随时修改,也希望有补充告诉我,我…

【Linux详解】进程地址空间

目录 研究背景 验证地址空间 实验一:父子进程变量地址一致性 实验二:变量值修改后父子进程的差异 分析与结论 实验三:进程地址空间验证 理解进程地址空间 区域与页表 写时拷贝机制 进程地址空间的意义 文章手稿: xmind…

基于语音识别的智能电子病历(二)苹果端的语音接入

是2011年参与的,俺负责Wav文件处理、FTP通讯和一些后端部分。iPhone/iPad/iPod Recorder 前2年还在APP Store上 说明 Step-by-Step Procedure to Install App and Use the FnetRecorder Download the App from Apple Store Launch Apple Store and key in “fnetr…

深入理解LibTorch:从安装到API详解

摘要: 本文将详细介绍LibTorch的安装步骤和主要API的使用方法,帮助开发者快速上手并利用LibTorch进行深度学习应用开发。 正文: 一、LibTorch开发背景与优势 PyTorch是一个灵活且功能强大的深度学习框架,它的动态计算图特性使…

golang中空值判断函数,支持任意类型的空值判断

使用反射方式对any任意类型的数据是否为空判断, 可判断时间对象是否为空, 可判断所有数字类型,指针类型和结构体字符串是否为空 判断规则: bool类型因为只有true和false 所以 全部视为非空 nil 类型全部视为空 所有数字类型的 零值全部视为空 对应指针类型数据,只要是非ni…

labview排错

源代码正常跑,应用程序报这个错,是因为源代码的可以找到项目路径内所有dll的路径,而应用程序只能找到data文件夹的dll文件 解决查看源代码中.net的程序集的路径,复制对应的dll到data文件夹下 在执行developinterface.dll出现labv…

学习java第一百一十三天

Spring框架的好处? 轻量级:Spring框架是轻量级的,最基础的版本大约只有2MB。 控制反转(IOC):通过控制反转技术,实现了解耦合。对象给出它们的依赖,而不是创建或查找依赖的对象。 …

雅思词汇及发音积累 2024.6.28

住宿 Student Accommodation Centre 学生住宿管中心 Student Accommodation Officer 学生住宿员 roommate/flatmate/dormmate/housemate 室友 housing coordinator /kəʊˈɔːdɪneɪtə(r)/ 住宿协调员 newspaper advertisement 报纸广告 landlord /ˈlndlɔːd/ 男房东 re…

深入探索Memcached:高效数据检索指南

标题:深入探索Memcached:高效数据检索指南 摘要 Memcached是一个高性能的分布式内存缓存系统,广泛用于提升Web应用程序的性能。它通过缓存数据和减少数据库查询来加速数据检索。本文将详细介绍如何从Memcached中检索数据,包括基…

R1快开门式压力容器操作历年真题含答案

单选题 1.安全联锁装置是用于( )目的的自动化装置,它通过机械或电气的机构使两个动作具有互相制约的关系。 A、自动化 B、安全(正确答案) 2.卡箍式快开门的安全连锁实现较为( )。 A、容易 B、困难(正确答案) 3.…

Python+Pytest+Allure+Yaml+Jenkins+GitLab接口自动化测试框架详解

PythonPytestAllureYaml接口自动化测试框架详解 编撰人:CesareCheung 更新时间:2024.06.20 一、技术栈 PythonPytestAllureYamlJenkinsGitLab 版本要求:Python3.7.0,Pytest7.4.4,Allure2.18.1,PyYaml6.0 二、环境配置 安装python3.7&…

Python operator模块这么用,效率杠杠的!

目录 1、基础操作符应用 🐍 1.1 加载operator模块 1.2 使用itemgetter进行排序 1.3 attrgetter与方法调用 2、高级功能探索 🔍 2.1 methodcaller的妙用 2.2 操作符重载与定制 3、结合lambda表达式 ✨ 3.1 lambda与operator模块协同工作 3.2 实战案例分析 4、结合…

【Spring Boot 事务管理】

Spring Boot 事务管理 一、Spring Boot中的事务管理1.声明式事务管理Transactional注解基本使用配置选项 2.编程式事务管理TransactionTemplatePlatformTransactionManager 二、Transactional注解深入1.基本使用基本属性 2.传播行为3.隔离级别4.事务超时设置5.回滚规则 三、事务…

如何保护磁盘数据?电脑磁盘数据怎么保护?

电脑磁盘是存储数据的基础,可以将各种重要数据保存在其中。为了避免数据泄露,我们需要保护磁盘数据。那么,电脑磁盘数据怎么保护呢?下面我们就一起来了解一下吧。 文件夹加密超级大师 文件夹加密超级大师是一款优秀的电脑数据加密…

人工智能 (AI) 基本概念 入门篇【C#】版

1. 什么是人工智能? 人工智能(Artificial Intelligence, AI)是指计算机系统能够执行通常需要人类智能的任务,如视觉识别、语音识别、决策和语言翻译等。AI的核心是通过算法和数据进行学习和推理,以实现智能行为。 2.…