mysql 获取昨天凌晨_MySQL慢日志体系建设

23e4ea6c76ad61724734f295047fe676.gif

慢查询日志是MySQL提供的一种日志记录,用来记录在MySQL中响应时间超过阈值的SQL语句,在很大程度上会影响数据库整体的性能,是MySQL优化的一个重要方向。在58的云DB平台建设中,慢SQL系统作为一个非常重要功能模块,不仅是DBA日常运维使用,我们也希望通过该功能可以协助开发人员更快速定位业务问题。

目前我们的慢日志系统主要包括两个核心功能:慢日志报表和实时慢SQL。

  • 慢日志报表主要基于上一天的所有慢SQL进行汇总分析,最后获得慢SQL数量的变化趋势、执行次数、执行平均时长等统计结果;

  • 实时慢SQL就是实时获取线上生产数据库产生的慢SQL语句,并提供给开发人员查阅。

慢日志分析工具

MySQL的慢日志分析工具主流有官方自带的mysqldumpslow和第三方的pt-query-digest,由于后者有更多的额外属性和附加能力,我们的慢日志分析工具选择使用pt-query-digest。

pt-query-digest有两个比较好用的功能:query review和query history。在使用review功能时,会将慢日志中的查询语句去参数化后进行分组统计,并可将结果直接保存到数据库中。使用history时,则会将慢SQL的查询度量(如查询时间、锁时间等)保存到数据库中,这些数据将来可用于趋势分析和查询性能分析。

慢日志报表

我们定义的慢查询阈值(long_query_time) 标准为0.1s,不过不同的集群可以个性化定制。为了获取数据库每天的慢日志报表,后台程序会根据云DB平台的cmdb信息,对所有的数据库集群每天凌晨进行切割,生成一个上一整天的慢查询日志文件,大体格式如下:

a12e8882c3c49870fea591ce294c5c0f.png

整个58集团有几千套数据库集群,为了整体统计所有数据库集群的慢SQL报表,我们内部开发了一套完善的慢SQL分析流程,主要包含SQL流水计算、全局分析、诊断优化、建议推送、跟踪反馈等各个功能模块。

通过收集模块收集所有集群的慢SQL文件,计算模块消费分析每天产生的慢日志文件,并将计算结果保存到MySQL中。筛选后的数据,由云DB平台展示,并根据慢SQL的数量排行,将topN的邮件推送给开发人员。之后开发人员可使用云DB平台,获取慢SQL调优建议,并可借助工单系统,自助修改表索引,达到优化的目的。

我们的处理流程的大体如下:

80d08987be74f25b54974974104717e6.png

慢SQL分析计算流程:

• 根据数据库集群cmdb信息,获取需要分析慢日志的数据库列表并进行切割;

• 通过ansible将相应的慢日志文件拉取到慢日志分析服务器;

• 通过pt-query-digest分析慢日志并将结果写入慢SQL详情库;

• 在数据库管理平台展示相应数据;

• 调用SQLAdvisor,获取优化建议;

核心模块为调用pt-query-digest的分析,此处采用信息入库的方式,结果会保存到两个结果表tb_slowlog_review和tb_slowlog_review_history中,分析的具体命令如下:

e66f90a9d7305794b70d90824fdbbe24.png

经过流水计算后,慢SQL分析的结果信息存储在MySQL中,之后由数据库云平台开发相应的功能对外展示。目前我们主要抽象了如下几个功能:

慢SQL数量统计及优化建议

对每个集群的慢SQL总数量进行趋势图展示,并包括该集群下所有慢SQL的执行次数、执行平均时间等维度的排序,以及对应的慢SQL优化建议,如下图:

cba5b52369e68d4ed39b094f42dbb53c.png

单条慢SQL详情追踪

针对产生的每一条慢SQL给出数量趋势统计,并会统计该慢SQL的第一次出现时间、最新一次出现时间、来源IP、所属业务集群、负责人、执行次数等详细信息,最大程度的协助用户快速定位该慢SQL的来源。具体见下图:

f2aacfe84fdf12000bcbbdce86984639.png

除了上面两个主要的模块外,我们还支持每日慢SQL报表邮件推送,新增慢SQL汇总统计,通过多种方式协助高效进行慢SQL的优化,提高数据库的访问性能。

实时慢SQL系统

慢SQL报表系统,用于分析前一日产生的慢查询日志文件,但一个非常大缺陷是不能分析当日实时产生的慢SQL,特别对于实时的线上调优效果,非常不方便。所以为解决该问题,我们实现支持了实时慢SQL功能,开发人员可在平台中实时查看生产环境产生的每一条慢SQL语句。我们这里引入了ELK和Kafka相关技术,实时慢SQL系统结构如下:

eed8ce5c64301d3e43d49be5a8d2cdf6.png

实时慢SQL的收集工作流程如下:

  • 通过filebeat,实时采集慢查询日志的文件变化;

  • 采集到的慢日志数据实时上报到kafka中;

  • Logstash消费kafka中数据,并进行过滤、切割,存入ES;

  • 云DB平台读取ES数据,进行数据展示

这样在用户端,开发人员即可所负责的MySQL集群中查看实时产生的慢SQL了:

2ba3b08ebc171984b73f4eb8a9421228.png

总结

MySQL慢查询,作为影响性能关键因素,应被DBA、开发人员重视,并及时处理。云DB平台从总体报表、实时流水、定量分析等多个维度,打造MySQL慢查询体系建设,为DBA以及开发人员提供有力支持。

ccc7547d3b839a9eb5abef03140aa39b.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/431166.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python关键词提取_python对文件中的关键词查找替换,实现自动获取配置

1、目的 想对update_variable.py文件中的配置进行修改,数据通过系统接口自动获取 update_variable.py my_name‘null‘ my_age18 2、代码 update_file.py # namephyger # line‘my name: {name}‘ # newline.replace(‘{name}‘,name) # print(new) # cur_abspathos…

Poj 2676 Sudoku[dfs]

题目大意: 九宫格问题,也有人叫数独问题 把一个9行9列的网格,再细分为9个3*3的子网格,要求每行、每列、每个子网格内都只能使用一次1~9中的一个数字,即每行、每列、每个子网格内都不允许出现相同的数字。 0是待填位置&…

十进制小数化为二进制小数的方法是什么_十进制转成二进制的两种方式

第一种:用2整除的方式。用2整除十进制整数,得到一个商和余数;再用2去除商,又会得到一个商和余数,如此重复,直到商为小于1时为止,然后把先得到余数作为二进制数的低位有效位,后得到的…

notes邮件正文显示不全_python实现一次性批量发邮件

在上次实现了批量修改文件名后(链接:https://zhuanlan.zhihu.com/p/133727520),又拿来了同事编写的一次性批量发邮件小程序,小编每月向分公司发数据任务算是基本上实现了自动化 需要新建2个.py文件实现,一个…

用python画五角星中心颜色不同_画个五角星让它绕中心点旋转

李兴球Python画个五角星绕中心点旋转 画一个五角星让它旋转起来,这在Python中有几个方案可选,这里提供一个不是用自定义形状的方案,以下是部分源代码, 其实关键的代码函数,也就是starpoints这个函数,它是核心。代码已经给你了。接下来就看你的聪明才智了…

Subsets

我的思路&#xff1a;二进制位上有1则加 class Solution { public:vector<vector<int>> subsets(vector<int>& nums) {vector<vector<int>> res;sort(nums.begin(),nums.end());for(int i0;i<pow(2,nums.size());i){vector<int> pa…

oracle 建表id自增长_oracle 左连接、右连接、全外连接、内连接、以及 (+) 号用法...

Oracle中的连接可分为&#xff0c;内连接(INNER JOIN)、外连接(OUTER JOIN)、全连接(FULL JOIN)&#xff0c;不光是 Oracle&#xff0c;其他很多的数据库也都有这3种连接查询方式。Oracle 外连接(OUTER JOIN)&#xff0c;又分为左外连接和右外连接&#xff0c;即左连接和右连接…

匿名函数自我调用_Python中的匿名函数及递归思想简析

匿名函数前言上次咱们基本说了一下函数的定义及简单使用&#xff0c;Python中的基本函数及其常用用法简析&#xff0c;现在咱们整点进阶一些的。同样都是小白&#xff0c;咱也不知道实际需要不&#xff0c;但是对于函数的执行顺序以及装饰器的理解还是很有必要的。首先咱们先简…

python-pass

Python pass是空语句&#xff0c;是为了保持程序结构的完整性。 passass 不做任何事情&#xff0c;一般用做占位语句。 Python 语言 pass 语句语法格式如下&#xff1a; pass 实例&#xff1a; #!/usr/bin/python # -*- coding: UTF-8 -*- # 输出 Python 的每个字母 for letter…

java解析dxf文件_浅析JVM方法解析、创建和链接

一&#xff1a;前言上周末写了一篇文章《你知道Java类是如何被加载的吗&#xff1f;》&#xff0c;分析了HotSpot是如何加载Java类的&#xff0c;干脆趁热打铁&#xff0c;本周末再来分析下Hotspot又是如何解析、创建和链接类方法的。二&#xff1a;Class文件中的Java方法Java类…

python解释器的提示符是shell嘛_python解释器怎么运行

python解释器怎么运行&#xff1f; 在Python可用的机器上&#xff0c;Python解释器通常放在 /usr/local/bin/python3.7 ; 把 /usr/local/bin 放到你 Unix shell 的搜索路径当中 , 这样就能键入命令:python3.7 就能运行了。安装时可以选择安装目录&#xff0c;所以解释器也可能在…

我的iOS学习历程 - OC第九天

今天主要讲的是内存的管理方法 1.IOS的内存管理中 Mac是使用的垃圾回收(gc) 有轮询延迟 手机用的是 引用计数 2.引用计数的方法: ( 1 ) alloc alloc 开辟空间引用计数 从0 ->1 Person *p1 [[Person alloc]initWithName:"wanglong" age:18]; ( 2 ) retainretain 使…

判断运营商_三大通信运营商步调一致,大流量互联网套餐陆续成绝版

此前笔者就发过一篇文章“预警”三大通信运营商的大流量互联网资费套餐面临调整&#xff0c;很可能一直流行的200G定向流量套餐都将会大幅缩减&#xff0c;不过未引起大家的注意。当初的判断&#xff0c;是基于卡商渠道和内部传言消息分析&#xff0c;同时也基于此前通信运营商…

python实现图形旋转_Python3+OpenCV2实现图像的几何变换

几何变换可以看成图像中物体&#xff08;或像素&#xff09;空间位置改变&#xff0c;或者说是像素的移动。 几何运算需要空间变换和灰度级差值两个步骤的算法&#xff0c;像素通过变换映射到新的坐标位置&#xff0c;新的位置可能是在几个像素之间&#xff0c;即不一定为整数坐…

【LINUX/UNIX网络编程】之使用消息队列,信号量和命名管道实现的多进程服务器(多人群聊系统)...

RT&#xff0c;使用消息队列&#xff0c;信号量和命名管道实现的多人群聊系统。 本学期Linux、unix网络编程的第三个作业。 先上实验要求&#xff1a; 实验三 多进程服务器 【实验目的】 1、熟练掌握进程的创建与终止方法&#xff1b; 2、熟练掌握进程间通信方法&#xff1b; …

图像 pipeline_多面体优化,Pipeline与深度学习编译器

有幸参与了MICRO2020&#xff0c;见识到了很多优秀的论文&#xff0c;其中最让我惊艳的是华为的在多面体优化上做优化的文章 <Optimizing the Memory Hierarchy by Compositing Automatic Transformations on Computations and Data>&#xff08;https://www.di.ens.fr/~…

python不同数据的读入_python读写不同编码txt文件_python读写txt文件

python读写不同编码txt文件_python读写txt文件 以后整理规范 [python] view plaincopy import os import codecs filenamesos.listdir(os.getcwd()) outfile(“name.txt”,“w”) for filename in filenames: out.write(filename.decode(“gb2312”).encode(“utf-8”)) out.cl…

Java06动手动脑

1. 子类的构造函数如果要引用super的话&#xff0c;必须把super放在函数的首位如果想用super继承父类构造的方法&#xff0c;但是没有放在第一行的话&#xff0c;那么在super之前的语句&#xff0c;肯定是为了满足自己想要完成某些行为的语句&#xff0c;但是又用了super继承父…

rs485接口上下拉_RS485接口EMC电路设计方案

一、原理图1. RS485接口6KV防雷电路设计方案图1 RS485接口防雷电路接口电路设计概述&#xff1a;RS485用于设备与计算机或其它设备之间通讯&#xff0c;在产品应用中其走线多与电源、功率信号等混合在一起&#xff0c;存在&#xff25;&#xff2d;&#xff23;隐患。本方案从…

python可以在linux运行_服务器(Linux)上运行python总结

跑实验换了几次服务器了&#xff0c;每次遇到相似问题都要重新百度&#xff0c;而且每次百度搜索出的顺序都不一样&#xff0c;又得重新找半天&#xff0c;这次把遇到的问题都总结一下。 1.准备 PuTTY和FileZilla FileZilla使用FTP传输时&#xff0c;实验室的服务器可能是出于安…