【MYSQL】MYSQL 的学习教程（七）之 慢 SQL 优化思路

1. 慢 SQL 优化思路

  1. 慢查询日志记录慢 SQL
  2. explain 分析 SQL 的执行计划
  3. profile 分析执行耗时
  4. Optimizer Trace 分析详情
  5. 确定问题并采用相应的措施

1. 慢查询日志记录慢 SQL

如何定位慢SQL呢？

我们可以通过 慢查询日志 来查看慢 SQL。

①：开启慢查询日志：

  • SET global slow_query_log = ON;：设置慢查询开启的状态（ON：开启；OFF：关闭）
  • slow_query_log_file：设置慢查询日志存放的位置
  • SET global log_queries_not_using_indexes = ON;：记录没有使用索引的查询 SQL。前提是slow_query_log 的值为 ON，否则不会奏效
  • SET long_query_time = 10;：设置慢查询的阀值，单位秒。如果SQL执行时间超过阀值，就属于慢查询 记录到日志文件中

②：查看慢查询日志配置：

  • show variables like 'slow_query_log%
  • show variables like 'long_query_time'

③：慢查询日志分析工具：

mysqldumpslow：该工具是慢查询自带的分析慢查询工具，一般只要安装了mysql，就会有该工具

# 取出使用最多的10条慢查询
mysqldumpslow -s c -t 10 /var/run/mysqld/mysqld-slow.log 
# 取出查询时间最慢的3条慢查询
mysqldumpslow -s t -t 3 /var/run/mysqld/mysqld-slow.log 
# 得到按照时间排序的前10条里面含有左连接的查询语句
mysqldumpslow -s t -t 10 -g “left join” /database/mysql/slow-log 
# 按照扫描行数最多的
mysqldumpslow -s r -t 10 -g 'left join' /var/run/mysqld/mysqld-slow.log

注意: 使用 mysqldumpslow 的分析结果不会显示具体完整的sql语句,只会显示sql的组成结构;

假如: SELECT * FROM sms_send WHERE service_id=10 GROUP BY content LIMIT 0, 1000;

Count: 1 Time=1.91s (1s) Lock=0.00s (0s) Rows=1000.0 (1000), vgos_dba[vgos_dba]@[10.130.229.196]
SELECT * FROM sms_send WHERE service_id=N GROUP BY content LIMIT N, N;

工具其实还有很多，并不限制只有这一种，还有 pt-query-digest、mysqlsla 等，这些都是可以定位慢查询日志的小工具

慢查询原因：

  • 全表扫描：explain分析type属性all
  • 全索引扫描：explain分析type属性index
  • 索引过滤性不好：靠索引字段选型、数据量和状态、表设计
  • 频繁的回表查询开销：尽量少用select *，使用覆盖索引

＜转＞详解 慢查询 之 mysqldumpslow

2. explain 查看分析 SQL 的执行计划

当定位出查询效率低的 SQL 后，可以使用 explain 查看 SQL 的执行计划。

当 explain 与 SQL 一起使用时，MySQL 将显示来自优化器的有关语句执行计划的信息。即：MySQL 解释了它将如何处理该语句，包括有关如何连接表以及以何种顺序连接表等信息：

在这里插入图片描述
一般来说，我们需要重点关注 type、key、rows、extra

13.1 type

type 表示连接类型，查看索引执行情况的一个重要指标。以下性能从好到坏依次：system > const > eq_ref > ref > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

  • NULL：表示不用访问表，速度最快
  • system：这种类型要求数据库表中只有一条数据，是 const 类型的一个特例，一般情况下是不会出现的
  • const：通过一次索引就能找到数据，一般用于主键或唯一索引作为条件，这类扫描效率极高，速度非常快
  • eq_ref：常用于主键或唯一索引扫描，一般指使用主键的关联查询
  • ref : 常用于非主键和唯一索引扫描
  • ref_or_null：这种连接类型类似于 ref，区别在于 MySQL 会额外搜索包含 NULL 值的行
  • index_merge：使用了索引合并优化方法，查询使用了两个以上的索引
  • unique_subquery：类似于 eq_ref，条件用了 in 子查询
  • index_subquery：区别于 unique_subquery，用于非唯一索引，可以返回重复值
  • range：常用于范围查询，比如：between … and 或 In 等操作
  • index：全索引扫描
  • all：全表扫描

13.2 possible_keys

表示查询时能够使用到的索引（显示的是索引名称），只是可能用到的索引，而不是实际上用到的索引

13.3 key

该列表示实际用到的索引。一般配合 possible_keys 列一起看

13.4 rows

MySQL查询优化器会根据统计信息，估算 SQL 要查询到结果需要扫描多少行记录。原则上 rows 是越少效率越高，可以直观的了解到SQL效率高低

13.5 extra

该字段包含有关 MySQL 如何解析查询的其他信息，它一般会出现这几个值：

  • Using filesort：表示按文件排序，一般是在指定的排序和索引排序不一致的情况才会出现。一般见于 order by 语句。建议优化
  • Using temporary: 表示使用了临时表，性能特别差，需要重点优化。一般多见于 group by 语句，或者 union 语句
  • Using index ：表示用了覆盖索引
  • Using where : 表示使用了 where 条件过滤，需要通过索引回表查询数据
  • Using index condition：MySQL5.6 之后新增的索引下推。在存储引擎层进行数据过滤，而不是在服务层过滤，利用索引现有的数据减少回表的数据
  • NULL：查询的列未被索引覆盖

总结：

extrawhere 条件select 的字段
nullwhere 筛选条件是索引的前导列查询的列未被索引覆盖
Using indexwhere 筛选条件是索引的前导列查询的列被索引覆盖
Using where; Using indexwhere 筛选条件是索引列之一但不是前导列或者where筛选条件是索引列前导列的一个范围查询的列被索引覆盖
Using where;where 筛选条件不是索引列-
Using where;where 筛选条件不是索引前导列、是索引列前导列的一个范围(>)查询列未被索引覆盖
Using index conditionwhere 索引列前导列的一个范围（<、between）查询列未被索引覆盖

两种排序的情况：

extra出现场景
Using filesortfilesort主要用于查询数据结果集的排序操作，首先MySQL会使用sort_buffer_size大小的内存进行排序，如果结果集超过了sort_buffer_size大小，会把这一个排序后的chunk转移到file上，最后使用多路归并排序完成所有数据的排序操作。
Using temporaryMySQL使用临时表保存临时的结构，以用于后续的处理，MySQL首先创建heap引擎的临时表，如果临时的数据过多，超过max_heap_table_size的大小，会自动把临时表转换成MyISAM引擎的表来使用。

filesort 只能应用在单个表上，如果有多个表的数据需要排序，那么MySQL会先使用using temporary保存临时数据，然后再在临时表上使用filesort进行排序，最后输出结果

13.6 select_type

select_type：表示查询的类型。

常用的值如下：

  • SIMPLE ： 表示查询语句不包含子查询或 UNION
  • PRIMARY：表示此查询是最外层的查询
  • UNION：表示此查询是 UNION 的第二个或后续的查询
  • DEPENDENT UNION：UNION 中的第二个或后续的查询语句，使用了外面查询结果
  • UNION RESULT：UNION 的结果
  • SUBQUERY：SELECT 子查询语句
  • DEPENDENT SUBQUERY：SELECT子查询语句依赖外层查询的结果

最常见的查询类型是 SIMPLE，表示我们的查询没有子查询也没用到 UNION 查询

13.7 filtered

该列是一个百分比的值，通过查询条件最终查询记录行数和通过 type 字段扫描记录行数的百分比。简单点说，这个字段表示存储引擎返回的数据在经过过滤后，剩下满足条件的记录数量的比例

13.8 key_len

表示查询使用了索引的字节数量（可以判断是否全部使用了组合索引）

key_len的计算规则如下：

  1. 字符串类型：字符串长度跟字符集有关：latin1 = 1、gbk = 2、utf8 = 3、utf8mb4 = 4
    • char(n)：n * 字符集长度
    • varchar(n)：n * 字符集长度 + 2字节
  2. 数值类型
    • TINYINT：1个字节
    • SMALLINT：2个字节
    • MEDIUMINT：3个字节
    • INT、FLOAT：4个字节
    • BIGINT、DOUBLE：8个字节
  3. 时间类型
    • DATE：3个字节
    • TIMESTAMP：4个字节
    • DATETIME：8个字节
  4. 字段属性
    • NULL 属性占用1个字节，如果一个字段设置了 NOT NULL，则没有此项

3. profile 分析执行耗时

explain 只是看到 SQL 的预估执行计划，如果要了解 SQL 真正的执行线程状态及消耗的时间，需要使用 profiling

开启 profiling 参数后，后续执行的 SQL 语句都会记录其资源开销，包括 IO，上下文切换，CPU，内存等等，我们可以根据这些开销进一步分析当前慢 SQL 的瓶颈再进一步进行优化

查看是否开启 profiling：

show variables like '%profil%'

开启 profiling ：

set profiling=ON

使用 profiling ：

show profiles

在这里插入图片描述

show profiles 会显示最近发给服务器的多条语句，条数由变量 profiling_history_size 定义，默认是 15。如果我们需要看单独某条 SQL 的分析，可以 show profile 查看最近一条 SQL 的分析，也可以使用 show profile for query id（其中id就是show profiles中的 QUERY_ID）查看具体一条的 SQL 语句分析：

在这里插入图片描述

4. Optimizer Trace 分析详情

profile 只能查看到 SQL 的执行耗时，但是无法看到 SQL 真正执行的过程信息，即不知道 MySQL 优化器是如何选择执行计划。这时候，我们可以使用 Optimizer Trace，它可以跟踪执行语句的解析优化执行的全过程

开启：

set optimizer_trace="enabled=on";

在这里插入图片描述

查看分析其执行树，会包括三个阶段：

  • join_preparation：准备阶段
  • join_optimization：分析阶段
  • join_execution：执行阶段

在这里插入图片描述

5. 确定问题并采用相应的措施

确认问题，就采取对应的措施。

  • 多数慢 SQL 都跟索引有关，比如不加索引，索引不生效、不合理等，这时候，我们可以优化索引
  • 我们还可以优化 SQL 语句，比如一些in元素过多问题（分批），深分页问题（基于上一次数据过滤等），进行时间分段查询
  • SQL 没办法很好优化，可以改用 ES 的方式，或者数仓
  • 如果单表数据量过大导致慢查询，则可以考虑分库分表
  • 如果数据库在刷脏页导致慢查询，考虑是否可以优化一些参数，跟 DBA 讨论优化方案
  • 如果存量数据量太大，考虑是否可以让部分数据归档

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/578342.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

vr虚拟高压电器三维仿真展示更立体全面

vr虚拟高压电器三维仿真展示更立体全面

VR工业虚拟仿真软件的应用价值主要体现在以下几个方面&#xff1a; 降低成本&#xff1a;通过VR技术进行产品设计和开发&#xff0c;可以在虚拟环境中进行&#xff0c;从而减少对物理样机的依赖&#xff0c;降低试错成本和时间。此外&#xff0c;利用VR技术构建的模拟场景使用方…
阅读更多...
蓝桥杯-Excel地址[Java]

蓝桥杯-Excel地址[Java]

目录&#xff1a; 学习目标&#xff1a; 学习内容&#xff1a; 学习时间&#xff1a; 题目&#xff1a; 题目描述: 输入描述: 输出描述: 输入输出样例: 示例 1: 运行限制: 题解: 思路: 学习目标&#xff1a; 刷蓝桥杯题库日记 学习内容&#xff1a; 编号96题目Ex…
阅读更多...
Find My文具盒|苹果Find My技术与文具盒结合，智能防丢，全球定位

Find My文具盒|苹果Find My技术与文具盒结合，智能防丢，全球定位

文具盒&#xff0c;学生用来装钢笔、铅笔、尺子、橡皮等文具的盒子。质地种类很多&#xff0c;一般有木质、铁质、塑料等制品&#xff0c;形状各异&#xff0c;多为长方体形状。文具盒能培养学生的管理能力。使用文具盒的过程就是一个管理自己的过程。每次使用文具之前&#xf…
阅读更多...
Android/iOS APP备案流程指南

Android/iOS APP备案流程指南

Android/iOS APP备案流程指南 摘要 本文通过详细介绍了工信部对移动互联网应用程序&#xff08;APP&#xff09;备案的要求&#xff0c;解释了APP备案的定义、时间节点、办理流程以及腾讯云、阿里云的备案流程&#xff0c;最后提供了常见问题的解答。 引言 随着移动互联网的…
阅读更多...
docker部署kafka zookeeper模式集群

docker部署kafka zookeeper模式集群

单机模式链接&#xff1a;https://blog.csdn.net/wsdhla/article/details/133032238 kraft集群模式链接&#xff1a;部署Kafka_kafka 部署-CSDN博客 zookeeper选举机制举例&#xff1a; 目前有5台服务器&#xff0c;每台服务器均没有数据&#xff0c;它们的编号分别是1,2,3,4,5…
阅读更多...
博客摘录「 Apollo安装和基本使用」2023年11月27日

博客摘录「 Apollo安装和基本使用」2023年11月27日

一、常见配置中心对比 Spring Cloud Config: https://github.com/spring-cloud/spring-cloud-configApollo: https://github.com/ctripcorp/apolloNacos: https://github.com/alibaba/nacos 对比项目/配置中心 spring cloud config apollo nacos(重点) 开源时间 2014.9 …
阅读更多...
Vue使用Element表格Table设置所有单元格内容居中对齐

Vue使用Element表格Table设置所有单元格内容居中对齐

为单个列的单元格设置居中对齐代码如下&#xff1a; <el-table-columnprop"productInfo.productName"label"中文名"width"100"align"center"></el-table-column>需要设置el-table-column标签里面的属性设置为align"c…
阅读更多...
开源分布式搜索引擎ElasticSearch结合内网穿透远程连接

开源分布式搜索引擎ElasticSearch结合内网穿透远程连接

文章目录 前言1. Windows 安装 Cpolar2. 创建Elasticsearch公网连接地址3. 远程连接Elasticsearch4. 设置固定二级子域名 前言 简单几步,结合Cpolar 内网穿透工具实现Java 远程连接操作本地分布式搜索和数据分析引擎Elasticsearch。 Cpolar内网穿透提供了更高的安全性和隐私保…
阅读更多...
基于XLA_GPU的llama7b推理

基于XLA_GPU的llama7b推理

环境 pytorch-tpu/llamapytorch 2.1.2(cuda117)torch-xla 2.1.1 # llama2 git clone --branch llama2-google-next-inference https://github.com/pytorch-tpu/llama.git # pytorch git clone https://github.com/pytorch/pytorch.git git checkout v2.1.2 # 部分仓库可能下载…
阅读更多...
LeetCode刷题---单词规律

LeetCode刷题---单词规律

解题思路&#xff1a; 首先分别将pattern字符串转为字符数组p&#xff0c;将s字符串根据" "切割为字符串数组s1&#xff0c;判断两个数组的长度是否相等&#xff0c;如果不相等&#xff0c;则返回false。之后对两个数组的每个元素与哈希表做比对&#xff0c;哈希表的…
阅读更多...
redis cluster判断key属于那个分片。

redis cluster判断key属于那个分片。

一、判断阿里云 redis cluster&#xff0c;的key属于那个分片。 阿里云特有的命令info key 可以查看key属于那个slot&#xff0c;那个分片 命令行查看&#xff1a; xxxx:6379> info key xxxx_compressed_xxx slot:4941 node_index:9 xxxx:6379> cluster keyslot xxxx_…
阅读更多...
地图服务器GeoServer的安装与配置

地图服务器GeoServer的安装与配置

文章目录 1.安装配置Java2.安装配置Tomcat3 安装配置GeoServer GeoServer提供了多种安装配置方式&#xff0c;但是本质上GeoServer是一个基于Java Web的项目&#xff0c;因此我们理论上只需要安装Java&#xff0c;并且将其放置在一个Web服务器&#xff08;例如Apache Tomcat&am…
阅读更多...
如何与听力损失者沟通

如何与听力损失者沟通

如何与听力损失者沟通&#xff1f; 当您与有听力损失的人交谈时&#xff0c;请记住&#xff0c;对您来说&#xff0c;简单的沟通可能会让您的同伴感到疲惫。听力损失的人必须积极努力去理解。助听器可能会有所帮助&#xff0c;但调高音量不会使失真的声音更清晰。 通过使用以下…
阅读更多...
解放双手！微信这样批量自动添加好友高效且实用

解放双手！微信这样批量自动添加好友高效且实用

随着私域流量的兴起&#xff0c;越来越多的人开始在微信上进行营销推广&#xff0c;以及维护与客户的关系&#xff0c;尤其是从其他自媒体平台引流到微信的客户&#xff0c;如果还是一个号码一个号码地逐一添加&#xff0c;那可就太麻烦啦&#xff01; 所以&#xff0c;在工作…
阅读更多...
56.0/DIV+CSS 布局(详细版)

56.0/DIV+CSS 布局(详细版)

目录 56.1 本章简介 56.2 实例讲解 56.2.1 菜单制作 56.2.2 美化滚动条 56.2.3 DIV+CSS 布局 56.3 综合示例 56.3.1 总体分析 56.3.2 Header 层 56.3.3 最终代码 56.1 本章简介 本章通过几个实例讲解 DIV+CSS 的应用。 采用表格布局的页面内，为了实现设计的布局，制作者往往…
阅读更多...
OAuth2.0 四种授权方式讲解

OAuth2.0 四种授权方式讲解

一、OAuth2.0 的理解 OAuth2是一个开放的授权标准&#xff0c;允许第三方应用程序以安全可控的方式访问受保护的资源&#xff0c;而无需用户将用户名和密码信息与第三方应用程序共享。OAuth2被广泛应用于现代Web和移动应用程序开发中&#xff0c;可以简化应用程序与资源服务器之…
阅读更多...
行业报告 | 中国AI大模型成长之路，披荆斩棘创佳绩

行业报告 | 中国AI大模型成长之路，披荆斩棘创佳绩

原创 | 文 BFT机器人 前言&#xff1a; 相信大家现在对于AI大模型这个概念都清楚&#xff0c;毕竟现在AI大模型渗入到了我们各个生活场景中&#xff0c;这股科技之风吹遍了中国大大小小的城市&#xff0c;近年来看&#xff0c;还有越吹越烈之势。今天小编带你们来了解一下我国…
阅读更多...
java并发编程六 共享模型之内存

java并发编程六 共享模型之内存

文章目录 Java 内存模型可见性解决方法 有序性解决方法 Java 内存模型 JMM 即 Java Memory Model&#xff0c;它定义了主存、工作内存抽象概念&#xff0c;底层对应着 CPU 寄存器、缓存、硬件内存、CPU 指令优化等。 JMM 体现在以下几个方面 原子性 - 保证指令不会受到线程上…
阅读更多...
STM32独立看门狗

STM32独立看门狗

时钟频率 40KHZ 看门狗简介 STM32F10xxx 内置两个看门狗&#xff0c;提供了更高的安全性、时间的精确性和使用的灵活性。两个看 门狗设备 ( 独立看门狗和窗口看门狗 ) 可用来检测和解决由软件错误引起的故障&#xff1b;当计数器达到给 定的超时值时&#xff0c;触发一个中…
阅读更多...
腾讯云2核4G服务器CVM标准型S5实例5年优惠价格表

腾讯云2核4G服务器CVM标准型S5实例5年优惠价格表

腾讯云服务器续费贵所以一次性买3年或5年&#xff0c;腾讯云轻量应用服务器3年价格有优惠&#xff0c;CVM云服务器5年有特价&#xff0c;腾讯云3年轻量和5年云服务器CVM优惠活动入口&#xff0c;3年轻量应用服务器配置可选2核2G4M和2核4G5M带宽&#xff0c;5年CVM云服务器可以选…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023