数据库优化 - MYSQL优化

判断问题SQL
判断SQL是否有问题时可以通过两个表象进行判断:

系统级别表象
CPU消耗严重
IO等待严重
页面响应时间过长
应用的日志出现超时等错误
可以使用sar命令,top命令查看当前系统状态。

也可以通过Prometheus、Grafana等监控工具观察系统状态。(感兴趣的可以翻看我之前的文章)

SQL语句表象
冗长
执行时间过长
从全表扫描获取数据
执行计划中的rows、cost很大
冗长的SQL都好理解,一段SQL太长阅读性肯定会差,而且出现问题的频率肯定会更高。更进一步判断SQL问题就得从执行计划入手,如下所示:

640?wx_fmt=png

执行计划告诉我们本次查询走了全表扫描Type=ALL,rows很大(9950400)基本可以判断这是一段"有味道"的SQL。

获取问题SQL
不同数据库有不同的获取方法,以下为目前主流数据库的慢查询SQL获取工具

MySQL

慢查询日志
测试工具loadrunner
Percona公司的ptquery等工具


Oracle

AWR报告
测试工具loadrunner等
相关内部视图如v$、$session_wait等
GRID CONTROL监控工具
达梦数据库AWR报告
测试工具loadrunner等
达梦性能监控工具(dem)
相关内部视图如v$、$session_wait等
SQL编写技巧
SQL编写有以下几个通用的技巧:

• 合理使用索引

索引少了查询慢;索引多了占用空间大,执行增删改语句的时候需要动态维护索引,影响性能 选择率高(重复值少)且被where频繁引用需要建立B树索引;一般join列需要建立索引;复杂文档类型查询采用全文索引效率更好;索引的建立要在查询和DML性能之间取得平衡;复合索引创建时要注意基于非前导列查询的情况

 

使用UNION ALL替代UNION

UNION ALL的执行效率比UNION高,UNION执行时需要排重;UNION需要对数据进行排序

• 避免select * 写法

执行SQL时优化器需要将 * 转成具体的列;每次查询都要回表,不能走覆盖索引。

• JOIN字段建议建立索引

一般JOIN字段都提前加上索引

• 避免复杂SQL语句

提升可阅读性;避免慢查询的概率;可以转换成多个短查询,用业务端处理

• 避免where 1=1写法

• 避免order by rand()类似写法

RAND()导致数据列被多次扫描
 

SQL优化

执行计划

完成SQL优化一定要先读执行计划,执行计划会告诉你哪些地方效率低,哪里可以需要优化。我们以MYSQL为例,看看执行计划是什么。(每个数据库的执行计划都不一样,需要自行了解)explain sql

字段	解释
id	每个被独立执行的操作标识,标识对象被操作的顺序,id值越大,先被执行,如果相同,执行顺序从上到下
select_type	查询中每个select 字句的类型
table	被操作的对象名称,通常是表名,但有其他格式
partitions	匹配的分区信息(对于非分区表值为NULL)
type	连接操作的类型
possible_keys	可能用到的索引
key	优化器实际使用的索引(最重要的列) 从最好到最差的连接类型为const、eq_reg、ref、range、index和ALL。当出现ALL时表示当前SQL出现了“坏味道”
key_len	被优化器选定的索引键长度,单位是字节
ref	表示本行被操作对象的参照对象,无参照对象为NULL
rows	查询执行所扫描的元组个数(对于innodb,此值为估计值)
filtered	条件表上数据被过滤的元组个数百分比
extra	执行计划的重要补充信息,当此列出现Using filesort , Using temporary 字样时就要小心了,很可能SQL语句需要优化

接下来我们用一段实际优化案例来说明SQL优化的过程及优化技巧。

优化案例

  • 表结构

CREATE TABLE `a`(`id`          int(11) NOT NULL AUTO_INCREMENT,`seller_id`   bigint(20)                                       DEFAULT NULL,`seller_name` varchar(100) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL,`gmt_create`  varchar(30)                                      DEFAULT NULL,PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;CREATE TABLE `b`(`id`          int(11) NOT NULL AUTO_INCREMENT,`seller_name` varchar(100) DEFAULT NULL,`user_id`     varchar(50)  DEFAULT NULL,`user_name`   varchar(100) DEFAULT NULL,`sales`       bigint(20)   DEFAULT NULL,`gmt_create`  varchar(30)  DEFAULT NULL,PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;CREATE TABLE `c`(`id`         int(11) NOT NULL AUTO_INCREMENT,`user_id`    varchar(50)  DEFAULT NULL,`order_id`   varchar(100) DEFAULT NULL,`state`      bigint(20)   DEFAULT NULL,`gmt_create` varchar(30)  DEFAULT NULL,PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

三张表关联,查询当前用户在当前时间前后10个小时的订单情况,并根据订单创建时间升序排列,具体SQL如下

select a.seller_id,a.seller_name,b.user_name,c.state
from a,b,c
where a.seller_name = b.seller_nameand b.user_id = c.user_idand c.user_id = 17and a.gmt_createBETWEEN DATE_ADD(NOW(), INTERVAL – 600 MINUTE)AND DATE_ADD(NOW(), INTERVAL 600 MINUTE)
order by a.gmt_create;

查看数据量  

原执行时间

原执行计划

初步优化思路1,SQL中 where条件字段类型要跟表结构一致,表中user_id 为varchar(50)类型,实际SQL用的int类型,存在隐式转换,也未添加索引。将b和c表user_id 字段改成int类型。
2,因存在b表和c表关联,将b和c表user_id创建索引
3,因存在a表和b表关联,将a和b表seller_name字段创建索引
4,利用复合索引消除临时表和排序

 

初步优化SQLalter table b modify `user_id` int(10) DEFAULT NULL;
alter table c modify `user_id` int(10) DEFAULT NULL;
alter table c add index `idx_user_id`(`user_id`);
alter table b add index `idx_user_id_sell_name`(`user_id`,`seller_name`);
alter table a add index `idx_sellname_gmt_sellid`(`gmt_create`,`seller_name`,`seller_id`);

查看优化后执行时间

查看优化后执行计划

查看warnings信息

继续优化   alter table a modify "gmt_create" datetime DEFAULT NULL;

查看执行时间

查看执行计划

总结1,查看执行计划 explain
2,如果有告警信息,查看告警信息 show warnings;
3,查看SQL涉及的表结构和索引信息
4,根据执行计划,思考可能的优化点
5,按照可能的优化点执行表结构变更、增加索引、SQL改写等操作
6,查看优化后的执行时间和执行计划
7,如果优化效果不明显,重复第四步操作

 

原文链接:https://blog.csdn.net/jianzhang11/article/details/102867120

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/576312.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ofbiz 定义

OFBiz概述 OFBiz 是开放的电子商务平台,是一个非常著名的开源项目,提供了创建基于最新J2EE/XML规范和技术标准,构建大中型企业级、跨平台、跨数据库、跨应用服务 器的多层、分布式电子商务类WEB应用系统的框架。 OFBiz最主要的特点是OFBiz提供…

队列入队和出队程序演示

#include <stdio.h> #include <string.h> #include <malloc.h>typedef struct Queue {int * pBase;int front;int rear;} QUEUE;void init(QUEUE *); bool en_queue(QUEUE *pQ, int val); //入队 void traverse_queue(QUEUE * pQ); bool full_queue(QUEUE…

图的遍历DFS与BFS(邻接表)

#include "stdafx.h" #include <iostream> #include <fstream> #include <queue> #include <Windows.h>using namespace std;#define INFINITY INT_MAX #define MAX_VERTEX_NUM 20 //顶点最多个数 #define LENGTH 5 //顶点字符长…

递归求n的阶层算法实现

专题:递归 定义:一个函数自己直接或间接调用自己 递归满足三个条件 1、递归必须得有-一个明确的中止条件 2、该函数所处理的数据规模必须在递减 3、这个转化必须是可解的 #include <stdio.h> #include <string.h> #include <malloc.h> #include <stdlib…

IOS各种文件描述

http://wg2009perfect.blog.163.com/blog/static/12799766320120513954711/转载于:https://www.cnblogs.com/qiqibo/archive/2012/08/15/2639508.html

递归求1到100的和算法演示

循环和递归 递归:易于理解、速度慢、存储空间大 循环&#xff1a;不易理解、速度快、存储空间小 #include <stdio.h> #include <string.h> #include <malloc.h> #include <stdlib.h>long sum_sum(int n) {if (1 n) {return 1;}else {int sum n sum…

Terasoluna(中文)

1、靶期业务及框架基本处理流程 整体来看&#xff0c;靶期业务业务处理流程可分为三个环节&#xff1a; 前处理(Job前处理)->主处理(主要业务)->后处理(Job后处理)。 其中&#xff0c;前处理可能是取得靶期日付或者一些执行主处理前的准备工作&#xff0c;后处理主要是靶…

递归实现汉诺塔程序

[将汉诺塔]这不是线性递归&#xff0c;这是个非线性递归! n1 1 n2 3 n3 7 ................. n64 2的64次方减1 [这是个天文数字&#xff0c;就算世界上最快的计算机也解决不了 汉诺塔的复杂度是2的n次方减一 问题很复杂&#xff0c;恒真正解决问题的编码就…

个人博客发展前景

我最近着手写一个博客 但是发现素材很少 而且各种类型博客已经来了 特别不想有重复的内容 百般纠结呀 求各位的意见 来自 个人博客转载于:https://www.cnblogs.com/xiezewen/archive/2012/08/16/2641111.html

转 ofbiz的webservice接口提供(1)-WSDL的生成

ofbiz的service&#xff1a;这个是ofbiz赖以骄傲的设计方式。她可以将所有内部实体对象的CRUD都使用service的方式提供&#xff0c;不同系统之间可以通过互相调用service来完成业务操作。这种松耦合的方式是很多框架梦寐以求的效果。 在ofbiz4的文档中提到&#xff0c;如果想将…

mysql常见函数

###进阶4&#xff1a;常见函数一、单行函数1、字符函数concat拼接substr截取子串upper转换成大写lower转换成小写trim去前后指定的空格和字符ltrim去左边空格rtrim去右边空格replace替换lpad左填充rpad右填充instr返回子串第一次出现的索引length 获取字节个数2、数学函数round…

数组循环移位

设计一个算法&#xff0c;把一个含有N个元素的数组循环右移K位&#xff0c;要求时间复杂度为O&#xff08;N&#xff09;&#xff0c;且只允许使用两个附加变量。 不合题意的解法如下&#xff1a; 我们先试验简单的办法&#xff0c;可以每次将数组中的元素右移一位&#xff0c;…

数据结构之树概述

非线性结构&#xff1a; 树的定义&#xff1a;树&#xff08;Tree&#xff09;是n&#xff08;n>0&#xff09;个节点的有限集T。它或是空集&#xff08;空树即n0&#xff09;&#xff0c;或者是非空集。 对于任意一颗非空树&#xff1a; &#xff08;1&#xff09;有且仅…

IIS7中WCF配置问题集合

1 IIS注册WCF 以管理员身份运行命令行&#xff1a; "C:\Windows\Microsoft.NET\Framework\v3.0\Windows Communication Foundation\ServiceModelReg.exe" -r -y 2 问题&#xff1a;无法找到 ServiceHost 指令中作为服务属性值提供的类型 将网站转换为应用程序 3 无法…

解决scanf_s函数报错:没有为格式字符串传递足够的参数

报错&#xff1a;scanf_s函数报错:没有为格式字符串传递足够的参数 int main() {char s1[20] "i m name";char *p1, *p2;char s3[10] {0};p1 s1;p2 s3;printf("请输入你的名字: \n");scanf_s("%s",&s3);printf("%s\n", s3);f…

Commons codec jar包详解

Commons项目中用来处理常用的编码方法的工具类包&#xff0c;例如DES、SHA1、MD5、Base64, 及 hex, metaphone, soundex 等编码演算。 JavaDoc:http://www.osctools.net/apidocs/apidoc?apicommons-codec 官网下载地址&#xff1a;http://commons.apache.org/codec/ 使用&…

数据结构:在一个单链表中,若删除p指向节点的后继节点,则执行的操作为:( )

在一个单链表中,若删除p指向节点的后继节点,则执行的操作为&#xff1a;&#xff08; &#xff09; A.qp->next; p->nextp->next->next; free(q) B.pp->next; qp->next;pq->next; free(q) C.qp->next->next; pp->next; free(q) D.pp->next-&…

使用ActionScript实现滤镜效果

使用ActionScript实现滤镜效果2009年02月24日 11:17用as做滤镜效果&#xff0c;每种滤镜效果对应一个类别&#xff0c;这些类别将来会在Macromedia\Flash 8\语系\First Run\Classes\FP8\flash\filters 这个资料夹中. 一、渐变斜角——GradientBevelFilter类别 二、投影——Drop…

已知先序和中序求后序

先序: ABCDEFGH 中序: BDCEAFHG 求后序:DECBHGFA 具体看B站郝斌视频&#xff1a;https://www.bilibili.com/video/BV11s41167h6?p71

微软的Surface平板电脑RT版,RT是什么缩写?|转|

http://www.guokr.com/question/240887/ 1# 其实rt是win8家族的新成员&#xff0c;专为arm系列处理器设计的windows 8版本&#xff0c;不兼容win32程序 2# zzllrr 2012-06-21 09:28:19 找到权威解答了&#xff1a;“RT”代表“Runtime”的意思。既Windows Runtime Library&…