mysql slowlog中querytime分析_技术分享 | Slow Query Log 使用详解

作者:宓祥康

爱可生交付服务部团队 DBA 擅长日志分析、问题排查等;主要负责处理 MySQL 与我司自研数据库自动化管理平台 DMP 的日常运维问题,对数据库及周边技术有浓厚的学习兴趣。

本文来源:原创投稿

爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

引言

什么是 Slow Query Log?

该如何使用它?

它的存在对运维数据库有什么帮助呢?

一、 简介

慢查询日志,开启它我们可以通过参数来控制其记录执行或查询时间长的 SQL、全表扫描的 SQL、没有使用索引的 SQL。没错,它的作用就是记录哪些糟糕的、让数据库变慢的 SQL,把它们揪出来。

我们一般通过如下参数来控制 slow 的开启与记录:slow_query_log、slow_query_log_file、long_query_time、min_examined_row_limit、log_output、log_queries_not_using_indexes、log_throttle_queries_not_using_indexes。

slow_query_log:控制 slow_query_log 是否开启,参数 ON|OFF

slow_query_log_file:控制文件的写入位置,参数为文件的具体位置,如:/data/slow.log

long_query_time:设置 SQL 执行时间大于等于多少秒(可精确到微秒)时记录到日志中

min_examined_row_limit:设置检查的行数大于等于多少行时记录到日志中

log_output:设置慢查询记录到哪里,参数 FILE|TABLE

log_queries_not_using_indexes:控制查询过程中未使用索引或全表扫描的 SQL 是否记录到日志中

log_throttle_queries_not_using_indexes:开启 log_queries_not_using_indexes 后,此参数会限制每分钟可以写入慢速查询日志的此类查询的数量,参数设置 0 为不限制

二、查看方式与内容分析

慢日志分析的方式有两种,因为慢日志文件一般较小,所以一种方式为在慢日志文件中直接使用 less 或 more 命令来查看。第二种方式则是利用 MySQL 官方提供给我们的程序:mysqldumpslow 来快速查看 slowlog 日志中记录的慢 SQL。

对于我们详细来分析 SQL 的话,一般采用第一种方式,查找到对应时间点的对应 SQL 来进行分析。

show master status;

# Time: 2020-11-16T08:27:16.777259+08:00

# User@Host: root[root] @ [127.0.0.1] Id: 248

# Query_time: 15.293745 Lock_time: 0.000000 Rows_sent: 0 Rows_examined: 0

SET timestamp=1605486436;

那么如何读懂慢日志里面对这些信息呢?

show master status #慢 SQL

Time #出现该慢 SQL 的时间

query_time # SQL 语句的查询时间(在 MySQL 中所有类型的 SQL 语句执行的时间都叫做 query_time,而在 Oracle 中则仅指 select)

lock_time: #锁的时间

rows_sent: #返回了多少行,如果做了聚合就不准确了

rows_examined: #执行这条 SQL 处理了多少行数据

SET timestamp #时间戳

通过这些我们就可以来明确的知道一条 SQL 究竟执行了多长时间的查询,有没有发生锁等待,此查询实际在数据库中读取了多少行数据了。

三、如何在线安全清空 slow.log 文件

在开启 log_queries_not_using_indexes 后,slow log 文件不仅仅会记录慢查询日志,还会把查询过程中未使用索引或全表扫描的 SQL 记录到日志中,久而久之日志的空间便会变得越来越大,那么如何在线且安全的清空这些 slow log 日志,为磁盘释放空间呢?

MySQL 对于慢日志的输出方式支持两种,TABLE 和 FILE,查看方法如下:

mysql> show variables like '%log_output%';

+---------------+------------+

| Variable_name | Value |

+---------------+------------+

| log_output | FILE,TABLE |

+---------------+------------+

确认清楚输出方式后,可以分别对不同的输出方式选择不同的清空方法,本次将对两种清空方法共同介绍。

3.1 FILE 类型清空方法

查询 slow query log 开启状态

mysql> show variables like '%slow_query_log%';

+---------------------+-------------------------------------+

| Variable_name | Value |

+---------------------+-------------------------------------+

| slow_query_log | ON |

| slow_query_log_file | /opt/mysql/data/3306/mysql-slow.log |

+---------------------+-------------------------------------+

关闭 slow query log

mysql> set global slow_query_log=0;

确认关闭成功

mysql> show variables like '%slow_query_log%';

+---------------------+-------------------------------------+

| Variable_name | Value |

+---------------------+-------------------------------------+

| slow_query_log | OFF |

| slow_query_log_file | /opt/mysql/data/3306/mysql-slow.log |

+---------------------+-------------------------------------+

对日志进行重命名或移除

mv /opt/mysql/data/3306/mysql-slow.log /opt/mysql/data/3306/mysql-old-slow.log

重新开启 slow query log

mysql> set global slow_query_log=1;

执行 SQL 进行验证

mysql> select sleep(5);

+----------+

| sleep(5) |

+----------+

| 0 |

+----------+

验证新生成文件记录成功

cat /opt/mysql/data/3306/mysql-slow.log

[root@DMP1 3306]# cat mysql-slow.log

/opt/mysql/base/5.7.31/bin/mysqld, Version: 5.7.31-log (MySQL Community Server (GPL)). started with:

Tcp port: 3306 Unix socket: /opt/mysql/data/3306/mysqld.sock

Time Id Command Argument

# Time: 2021-01-05T13:26:44.001647+08:00

# User@Host: root[root] @ localhost [] Id: 81786

# Query_time: 5.000397 Lock_time: 0.000000 Rows_sent: 1 Rows_examined: 0

SET timestamp=1609824404;

select sleep(5);

清理旧的 slowlog 文件

mv /opt/mysql/data/3306/mysql-old-slow.log /mysqlback

3.2 TABLE 类型清空方法

先关闭 slow query log

mysql> set global slow_query_log=0;

确认关闭成功

mysql> show variables like 'slow_query_log';

+---------------------+-------------------------------------+

| Variable_name | Value |

+---------------------+-------------------------------------+

| slow_query_log | OFF |

+---------------------+-------------------------------------+

TABLE 类型的 slowlog 存放在 mysql.slow_log 表中,对 slow_log 进行重命名为 old_slow_log

mysql> use mysql

mysql> ALTER TABLE slow_log RENAME old_slow_log;

创建全新的 slow_log 文件拷贝原来 slow_log 文件的表结构

mysql> CREATE TABLE slow_log LIKE old_slow_log;

启动 slow query log

mysql> SET GLOBAL slow_query_log = 1;

测试验证

mysql> select sleep(5);

+----------+

| sleep(5) |

+----------+

| 0 |

+----------+

mysql> select * from slow_log \G

*************************** 1. row ***************************

start_time: 2021-01-05 13:49:13.864002

user_host: root[root] @ localhost []

query_time: 00:00:05.000322

lock_time: 00:00:00.000000

rows_sent: 1

rows_examined: 0

db: mysql

last_insert_id: 0

insert_id: 0

server_id: 874143039

sql_text: select sleep(5)

thread_id: 339487

删除旧的 slow_log 表

mysql> drop table old_slow_log;

总结

该文章主要讲述了 slow log 的开启方式、分析方法与清空操作,熟练使用分析 slow log 文件可以实时观察数据库 SQL 的执行情况,并为 SQL 优化奠定基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/436313.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

进程控制2--exec族

系统调用exe函数族对当前进程进行替换&#xff0c;替换着为一个指定程序&#xff0c;其参数包括文件名filename&#xff0c;参数列表argv&#xff0c;以及环境变量envp 整个函数家族如下&#xff1a; #include <unistd.h> extern char **environ; int execl(const char *…

请问如何让Dundas chart for asp.net控件产生的临时图片文件减少一些?

所属分类&#xff1a;.NET技术 图表区-----------------------------------------在用Dundas chart for asp.net控件生成图表时,每个图表都作为一个图片文件被保存下来了,这样,浏览多了,这些无用的图片文件也多了?请问大家怎么样让它不要产生这么多临时文件? ---------------…

【转】二、VTK用于QT的安装

一、说明 本文的主要目的是在说明通过Cmake重新编译VTK,使得其能够与QT交互使用 二、VTK的安装 VTK版本&#xff1a;8.2.0 VS版本2019 电脑&#xff1a;win-64bit 需要软件&#xff1a;CMake(我使用的版本是3.16.0) 三、过程 大概过程分为以下几个步骤&#xff1a; 1、下载vt…

mysql密码安全级别_Mysql数据库的安全性问题释疑

数据库系统的安全性包括很多方面。由于很多情况下&#xff0c;数据库服务器容许客户机从网络上连接&#xff0c;因此客户机连接的安全对MySQL数据库安全有很重要的影响。不在客户机的命令行上提供密码使用mysql、mysqladmin等客户机用一个用户身份与MySQL服务器连接时&#xff…

SQL中binary 和 varbinary的区别

binary 和 varbinary固定长度 (binary) 的或可变长度 (varbinary) 的 binary 数据类型。binary [ ( n ) ]固定长度的 n 个字节二进制数据。N 必须从 1 到 8,000。存储空间大小为 n4 字节。 varbinary [ ( n ) ]n 个字节变长二进制数据。n 必须从 1 到 8,000。存储空间大小为实际…

【转】一、用于VS2019的QT配置

转自&#xff1a;https://www.cnblogs.com/fantianliang/p/12355973.html 一、前言 本期间的主要目的是最后能够使用VS开发关于QT为界面的程序&#xff0c;同时能够使用VTK和ITK程序&#xff0c;这是第一部分。 因为之前查看的有关博客随着时间没有跟随版本变化&#xff0c;所…

进程控制3--signal

signal信号是一种比较古老的进程控制手段&#xff0c;可以在进程内和进程间传递事件&#xff0c;通常被用来通知进程产生了异常事件 信号全称为软中断信号&#xff0c;也有人称作软中断。从它的命名可以看出&#xff0c;它的实质和使用很象中断。所以&#xff0c;信号可以说是进…

python settings模块导入不了_python settings 中通过字符串导入模块

1. 项目文件结构set_test├─ main.py # 入口函数│├─notify # 自定义的模块│ ├─ email.py # 自定义模块│ ├─ msg.py # 自定义模块│ ├─ wechat.py # 自定义模块│ └─ __init__.py # 模块导入初始化函数│└─set_test # 总配置文件└─ settings.py# 这个项目的架…

IIS 7.0探索用于 Windows Vista 的 Web 服务器和更多内容

我经常听到 Microsoft 内部和外部的人将新的 IIS 7.0 Web 服务器称为 Microsoft 在过去几年中所进行的最重要的开发工作之一。考虑到 Microsoft 最近推出了一系列引人注意的技术&#xff0c;包括 Windows Vista™&#xff0c;这个评语具有重要意义&#xff01; IIS 7.0 的发布时…

【转】三、QT例子-打开一个图片并且显示

一、前言 本博客的主要目的在于对QT有进一步的了解&#xff0c;单纯只使用QT。 今天小例子主要是打开图片&#xff0c;然后显示出来&#xff0c;并且显示图片的路径。 二、工程建立 1、参考前面 博客一QT安装过程里面的例子&#xff0c; 建立一个QT GUI Application 2、打开.u…

学习linux/unix编程方法的建议[转]

首先先学学编辑器&#xff0c;vim, emacs什么的都行。然后学make file文件&#xff0c;只要知道一点就行&#xff0c;这样就可以准备编程序了。 然后看看《C程序设计语言》K&R&#xff0c;这样呢&#xff0c;基本上就可以进行一般的编程了&#xff0c;顺便找本数据结构的书…

PPC(Pocket PC)中显示二进制数组(byte[])类型的图片

//给数组赋值&#xff0c;这里用的是通过WebService返回的二进制数组 byte[] img MyService.GetImg(textBox1.Text); MemoryStream ms new MemoryStream(img); Bitmap bt new Bitmap(ms); pictureBox1.Image Image.FromHbitmap(bt.GetHbitmap()); 转载于:https://www.cnblo…

【转】四、关于如何使用软件库的一个技巧-避免重复配置属性表

一、前言 我们需要使用各种函数库&#xff0c;比如Opencv,Itk, vtk,当不同的函数库使用的时候&#xff0c;在VS配置属性是一个很麻烦的问题&#xff0c;并且设计到不同函数库的交叉使用&#xff0c;所以这里提供一个小技巧。 那就是我们把每一个函数库的配置为属性表的形式&…

Linux编程练习 --多线程1--线程创建

POSIX线程—轻量级进程&#xff0c;线程调度是由内核调度程序完成的&#xff0c;线程所消耗的系统资源比较少&#xff0c;相互通讯也比较容易。 多线程的优点&#xff1a; 1.资源消耗量少。我们知道&#xff0c;在Linux系统下&#xff0c;启动一个新的进程必须分配给它独立的…

java configuration_关于JAVA 中的Configuration类

properties文件是Java平台默认的配置文件格式&#xff0c;其优点是格式清晰&#xff0c;简单易懂&#xff0c;使用commons-configuration读取properties文件也比较简单&#xff0c;代码如下&#xff1a;基本用法&#xff1a;1.加载jar包&#xff0c;我使用maven自动加载&#x…

Ajax Extensions核心控件介绍

摘自:http://www.cnblogs.com/remember515/archive/2007/06/28/799030.html Ajax的核心组件包括ScriptManager、ScriptManagerProxy、UpdatePanel、Timer、UpdateProgress&#xff0c;其相关属性如下&#xff1a;updatePanel控件UpdatePanel主要属性 UpdateMode 内容模板的更…

【转】五、VTK读取图片,然后QT显示

一、前言 今天实现的主要功能是通过vtk读取jpg图片(只能够读取.jpg文件)&#xff0c;然后通过QT显示出来,整个程序的框架是QT GUIApplication 版本&#xff1a; VS2019VTK8.2.0QT5.13.1版本配置 VS 为release x64&#xff08;这个是工程建立的时候设置的解决方案属性&#xff…

Linux编程练习 --多线程2--属性的设置

在上一篇的练习里&#xff0c;我们用pthread_create函数创建了一个线程&#xff0c;在这个线程中&#xff0c;我们使用了默认参数&#xff0c;即将该函数的第二个参数设为NULL。的确&#xff0c;对大多数程序来说&#xff0c;使用默认属性就够了&#xff0c;但我们还是有必要来…

使用Installshield制作asp,asp.net应用的安装程序

在使用asp&#xff0c;asp.net编写Web应用时&#xff0c;最大的烦恼莫过于程序的分发的部署&#xff0c;由于面向的最终用户&#xff0c;所以程序的安装的过程必须要简单&#xff0c;方便和快捷。 下面提供了Installshield的脚本&#xff0c;改脚本功能包括&#xff1a; 1&…

用java查询excel表格_如何把java查询出的内容导入到excel表格

展开全部java查询出的内容导入到excel表格/**导出数据为XLS格式* param fos* param bo*/public void writeExcelBo(FileOutputStream fos, java.util.Vector ve){jxl.write.WritableWorkbook wwb;try{wwb Workbook.createWorkbook(fos);jxl.write.WritableSheet ws wwb.createS…