MySQL从入门到高级 --- 15.优化 16.pymysql

文章目录

    • 第十五章 && 第十六章：
      • 15.优化
        • 15.1 查询SQL执行效率
        • 15.2 定位低效率执行SQL
        • 15.3 explain分析执行计划 - 基本使用
        • 15.4 explain分析执行计划 - id
        • 15.5 explain分析执行计划 - select_type
        • 15.6 explain分析执行计划 - type
        • 15.7 explain分析执行计划 -其他指标字段
        • 15.8 show profile分析SQL
        • 15.9 trace分析优化器执行计划
        • 15.10 使用索引优化
          • 15.10.1 数据
          • 15.10.2 避免索引失效应用 - 权值匹配
          • 15.10.3 避免索引失效应用 - 最左前缀法则
          • 15.10.4 避免索引失效应用 - 其他匹配
        • 15.11 SQL优化
          • 15.11.1 大批量数据加载优化
          • 15.11.2 insert优化
          • 15.11.3 order by优化
            • FileSort优化
          • 15.11.4 子查询优化
          • 15.11.5 limit优化
      • 16.pymysql
        • 16.1 查询操作
        • 16.2 增删改操作

第十五章 && 第十六章：

15.优化

优化方式：

  • 从设计上

  • 从查询上

  • 从索引上

  • 从存储上

15.1 查询SQL执行效率

语法：show [session | global |] status

  • 查看服务器状态信息

在这里插入图片描述

参数意义
Com_select执行select操作数次，一次查询只累加1
Com_insert执行insert操作数次，对批量插入的insert操作，只累加1次
Com_update执行update操作数次
Com_delete执行delete操作数次
Innodb_rows_readselect查询返回的行数
Innodb_rows_inserted执行insert操作插入的行数
Innodb_rows_updated执行update操作更新的行数
Innodb_rows_deleted执行delete操作删除的行数
Connections试图连接MySQL服务器的次数
Uptime服务器工作时间
Slow_queries慢查询的次数
15.2 定位低效率执行SQL

两种方式：

  • 慢查询日志：定位执行效率较低的SQL语句

  • show processlist：该指令查看当前MySQL在进行的线程，包括线程的状态、是否锁表等，可实时查看SQL执行情况，同时对一些锁表操作进行优化

在这里插入图片描述

15.2.1 show processlist

在这里插入图片描述

  1. id：用户登录mysqld时，系统分配的"connection_id"，可用函数connection_id()查询

  2. user：显示当前用户。若不是root，该命令只显示用户权限范围的SQL语句

  3. host：显示语句从哪个ip端口上发的，可用来跟踪出现问题语句的用户

  4. db：显示进程目前连接的数据库

  5. command：显示当前连接执行的命令，一般取值为休眠(sleep),查询(query)，连接(connect)等

  6. time：显示状态持续的时间，单位是秒

  7. state：显示使用当前连接的SQL语句状态。描述的是语句执行中的某一个状态

  8. info：显示SQl语句，判断问题语句的重要依据

15.3 explain分析执行计划 - 基本使用

在这里插入图片描述

  • id：序列号，查询中执行select子句或者是操作表的顺序

  • select_type：SELECT的类型

  • table：输出结果集的表

  • type：表的连接类型

  • possible_keys：查询时，可能使用的索引

  • key：实际使用的索引

  • key_len：索引字段的长度

  • rows：扫描行的数量

  • extra：执行情况的说明和描述

15.4 explain分析执行计划 - id

  • 相同id表示加载表的顺序是从上到下

  • 不同id值越大，优先级越高，越先被执行

  • id有相同，也有不同，同时存在。id相同可认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先被执行

15.5 explain分析执行计划 - select_type
  • 表示SELECT类型
select_type意义
SIMPLEselect查询，查询中不包含子查询或UNION
PRIMARY查询中包含任何复杂的子查询，最外层查询标记为该标识
SUBQUERYSELECT或WHERE列表中包含了子查询
DERIVEDFROM列表中包含的子查询，被标记为DERIVED，MySQL会递归执行子查询，将结果放入临时表中
UNION若第二个SELECT出现在UNION后，则标记为UNION；若UNION包含在FROM子句的子查询中，外层SELECT将被标记DERIVED
UNION RESULTUNION表获取结果的SELECT
15.6 explain分析执行计划 - type
  • 显示访问类型
type意义
NULL不访问任何表，索引，直接返回结果
system系统表，少量数据，通常不需要进行磁盘IO
const命中主键或唯一索引
eq_ref对于前表的每一行，后表只有一行被扫描
ref非唯一性索引扫描，返回匹配某个单独值的所有行
range只检索给定返回的行，使用一个索引来选择行
index需要扫描索引上的全部数据
all全表扫描，此时id上无索引

结果值从最好到最坏：system->const->eq_ref->ref->range->index->all

15.7 explain分析执行计划 -其他指标字段

  • table：显示所访问数据库中表名称有时不是真实的表名字，可能是简称

  • rows：扫描行的数量

  • possible_keys：显示可能应用在该表的索引，一个或多个

  • key：实际使用的索引，若为NULL，则没有使用索引

  • key_len：索引中使用的字节数，该值为索引字段最大可能长度，不是实际使用长度，在不损失精度的情况下，长度越短越好

  • extra：

extra意义
using filesort说明数据库会对数据使用一个外部的索引排序，不按照表内的索引顺序进行读取，效率较低
using temporary需建立临时表来暂存中间结果，效率较低
using indexSQL所需返回的所有列数据均在一颗索引树上，避免访问表的数据行，效率可观
15.8 show profile分析SQL

通过have_profiling参数，可看到当前MySQL是否支持profile

select @@have_profiling;
set profiling=1 -- 开启profiling开关

show profile for query query_id 可查看到该SQL执行过程中每个线程的状态和消耗时间

在这里插入图片描述

15.9 trace分析优化器执行计划
set optimizer_trace="enabled=on",end_markers_in_json=on;
set optimizer_trace_max_mem_size=1000000;
  • 打开trace，设置格式为json，并设置trace最大能用的内存大小，避免解析过程中默认内存太小而不能完整展示

通过information_schema.optimizer_trace可知道MySQL如何执行SQL

-- 执行SQL
select * from emp;
select * from information_schema.optimizer_trace \G;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

15.10 使用索引优化
15.10.1 数据
create table stu(id int,name varchar(20),age int,sex varchar(20),address varchar(20),primary key(id)
);insert into stu values(1,'xiaoming',19,'男','北京');
insert into stu values(2,'xiaowang',25,'女','深圳');
insert into stu values(3,'xiaohong',42,'男','北京');
insert into stu values(4,'xiaowu',35,'男','北京');
insert into stu values(5,'xiaoli',52,'女','上海');
insert into stu values(6,'xiaomi',21,'男','北京');
insert into stu values(7,'xiaolin',35,'女','深圳');
insert into stu values(8,'xiaowa',41,'男','深圳');
insert into stu values(9,'xiaoya',23,'女','深圳');
insert into stu values(10,'xiaoyi',27,'女','上海');
insert into stu values(11,'xiaoniu',23,'男','北京');
insert into stu values(12,'xiaohei',43,'女','上海');create index index_name_sex_address on stu(name,sex,address); -- 创建组合索引
15.10.2 避免索引失效应用 - 权值匹配
  • 该情况下，索引生效，执行效率高
-- 和字段匹配成功即可，和字段无关
explain select * from stu where name = 'xiaoming' and age = '19' and address = '北京';
explain select * from stu where address = '北京' and name = 'xiaoming' and age = '19';
15.10.3 避免索引失效应用 - 最左前缀法则
  • 该情况下，索引生效，执行效率高
-- 若索引了多列，要遵守最左前缀法则。查询从索引的最左前列开始，且不跳过索引中的列
explain select * from stu where name = 'xiaoming';-- 违反最左前缀法则，索引失效
explain select * from stu where id = '1';-- 复合最左前缀法则，但出现跳跃某一列，只有最左列索引生效
explain select * from stu where name = 'xiaoming' and address = '北京';
15.10.4 避免索引失效应用 - 其他匹配
  • 该情况下，索引生效，执行效率高
/*
Extra:using index ：使用覆盖索引时会出现using where ：查找使用索引情况下，需回表去查询所需数据using index condition ：查找使用了索引，但需要回表查询数据using index;using where ：查找使用了索引，但所需的数据都在索引列中能找到，因此无需回表查询数据
*/-- 范围查询右边的列，不能使用索引
explain select * from stu where name = 'xiaoming' and age > '18' and address = '北京';-- 不要在索引列上进行运算操作，不然索引将失效
explain select * from stu where substring(name,5,4) = 'ming';-- 字符串不加单引号，会造成索引失效
explain select * from stu where name = 'xiaoming' and age > 18;-- 尽量使用覆盖索引，避免select * 
explain select * from stu where name = 'xiaoming' and age = 19; -- 需从原表及磁盘上读取数据，效率较低-- 从索引树中就可查询所有数据
explain select name from stu where name = 'xiaoming' and address = '北京'; -- 效率较高
explain select name,age from stu where name = 'xiaoming' and address = '北京'; -- 效率较高
explain select name,age,sex,address from stu where name = 'xiaoming' and address = 'beijing'; -- 效率较高-- 用or分隔的条件，若or前的条件中的列有索引，而后面的列没有索引，那么涉及的索引都不会被用到
explain select * from stu where name = 'xiaoming' or address = '北京';-- 以%开头的like模糊查询，索引失效
explain select * from stu where name like 'ming%'; -- 使用索引
explain select * from stu where name like '%ming'; -- 不用索引
explain select * from stu where name like '%ming%'; -- 不用索引-- 弥补不足，不用*,使用索引列
explain select name from stu where name like '%ming%';-- 若MySQL评估使用索引比全表慢，则不使用
create index index_stu_address on stu(address);explain select * from stu where address = '北京'; -- 没用索引-- is NULL, is NOT NULL  有时有效 有时失效
create index index_age on stu(age);
explain select * from stu where address is NULL;  -- 有效
explain select * from stu where age is not NULL; -- 无效-- in 有效 , not in 索引无效
-- 普通索引
explain select * from stu where name in('xiaoming','xiaohong'); -- 使用索引
explain select * from stu where name not in('xiaoming','xiaohong'); -- 不使用索引-- 主键索引 
explain select * from stu where age in(18, 19); -- 使用索引
explain select * from stu where age not in(18, 19); -- 不使用索引-- 单列索引和复合索引，尽量使用复合索引
create index index_stu_name_age_address on stu(name, age, address);
-- 等价 ---》 name / name + age / name + age + addresscreate index index_address on stu(address);explain select * from stu where name = 'xiaoming' and age > 18 and address = '北京';-- 若一张表有多个单列索引，即使WHERE中都使用了索引列，则只有一个最优索引列生效
create index index_name on stu(name);
create index index_age on stu(age);
create index index_address on stu(address);
explain select * from stu where name = 'xiaoming' and age = '19' and address = '北京';
15.11 SQL优化
15.11.1 大批量数据加载优化

使用load命令导入数据时，适当设置可提高导入效率。对于InnoDB类型的表，以下方式可提高导入的效率：

  • 主键顺序插入：InnoDB类型的表按照主键的顺序保存，将导入的数据按照主键的顺序排列，可有效提高导入数据的效率

  • 关闭唯一性校验：导入数据前执行SET UNIQUE_CHECKS=0,关闭唯一性校验，导入结束后SET UNIQUE_CHECKS=1, 恢复唯一性校验，可提高导入效率

15.11.2 insert优化
-- 原始方法
insert into stu values(1,'xiaoming',19,'男','北京');
insert into stu values(2,'xiaowang',25,'女','深圳');
insert into stu values(3,'xiaohong',42,'男','北京');-- 优化后
insert into stu values(1,'xiaoming',19,'男','北京'),(2,'xiaowang',25,'女','深圳'),(3,'xiaohong',42,'男','北京');-- 大大缩减客户端与数据库之间的连接、关闭等消耗-- 在事务中进行数据插入
begin;
insert into stu values(1,'xiaoming',19,'男','北京');
insert into stu values(2,'xiaowang',25,'女','深圳');
insert into stu values(3,'xiaohong',42,'男','北京');
commit;-- 数据有序插入
insert into stu values(3,'xiaoming',19,'男','北京');
insert into stu values(1,'xiaowang',25,'女','深圳');
insert into stu values(2,'xiaohong',42,'男','北京');-- 优化后
insert into stu values(1,'xiaoming',19,'男','北京');
insert into stu values(2,'xiaowang',25,'女','深圳');
insert into stu values(3,'xiaohong',42,'男','北京');
15.11.3 order by优化

  • 通过对返回数据进行排序，该情况为filesort排序，所有不是通过索引直接返回排序结果的排序都叫FileSort排序

  • 通过有序索引顺序扫描直接返回有序数据，该情况为using index，无需额外排序，操作效率高

    explain select * from stu order by age; -- using filesort
explain select * from stu order by age,sex; -- using filesortexplain select id from stu order by age; -- using index
explain select id,age from stu order by age; -- using index
explain select id,age,sex from stu order by age; -- using index-- order by后的多个排序字段尽量排序方式相同 
explain select id,age from stu order by age asc, sex desc; -- Using index;Using filesort
explain select id,age from stu order by age desc, sex desc; -- Backward index scan;Using index-- order by后边的多个排序字段字段顺序尽量和组合索引字段一致
explain select id,age from stu order by sex,age; -- using index, using filesort
FileSort优化

通过创建合适的索引，减少FileSort的出现，需要加快排序操作，MySQL有两种排序算法：

  • 两次扫描算法：先根据条件取出排序字段和行指针信息，然后在排序区sort buffer中排序，若sort buffer不够，则在临时表temporary table中存储排序结果。完成排序后，再根据行指针回表读取记录，该操作会导致大量随机I/O操作

  • 一次扫描算法：一次性取出满足条件的所有字段，，然后在排序区sort buffer中排序后直接输出结果集。排序时内存开销较大，但排序效率比两次扫描算法更高
    MySQL通过比较系统变量max_length_for_sort_data和Query语句取出的字段总大小，判定使用哪种算法，若max_length_for_sort_data更大，使用第二种优化后的算法，反之使用第一种算法。可适当提高max_length_for_sort_data和sort_buffer_size系统变量，来增大排序区的大小，提高排序效率

show variables like 'max_length_for_sort_data'; -- 4096
show variables like 'sort_buffer_size'; -- 262144
15.11.4 子查询优化

使用子查询可一次性完成很多逻辑上需要多个步骤才能完成的操作，同时还可避免事务或表锁死，写起来也比较容易。但在有些情况，子查询可被更加高效的连接(JOIN)替代

explain select * from stu where uid in (select uid from stu_role);explain select * from stu s, stu_role sr where s.uid = ur.uid

system>const>eq_ref>ref>range>index>ALL

连接(JOIN)查询效率更高些的原因是MySQL不需要在内存中创建临时表来完成逻辑上需要两个步骤的查询工作

15.11.5 limit优化

  • 在索引上完成排序分页操作，最后根据主键关联回原表查询所需的其他列内容

  • 可把limit查询转换程某个位置的查询，适用于主键自增的表

select count(*) from stu;select * from stu limit 0,10;select * from * from stu limit 900000,10; -- 0.582select * from stu a, (select id from stu2 order by id limit 900000,10) b where a.id = b.id -- 0.375explain select * from stu where id > 90000 limit 10;

16.pymysql

16.1 查询操作

在这里插入图片描述

16.2 增删改操作

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/852372.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Java：爬虫htmlunit抓取a标签

Java：爬虫htmlunit抓取a标签

如果对htmlunit还不了解的话可以参考Java：爬虫htmlunit-CSDN博客 了解了htmlunit之后，我们再来学习如何在页面中抓取我们想要的数据，我们在学习初期可以找一些结构比较清晰的网站来做测试爬取，首先我们随意找个网站如下&#xff…
阅读更多...
【5.x】ELK日志分析

【5.x】ELK日志分析

ELK日志分析 一、ELK概述 1、ELK简介 ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。 一个完整的集中式日志系统，需要包含以下几个主…
阅读更多...
linux执行ifconfig命令ens33没有显示ip地址解决方法

linux执行ifconfig命令ens33没有显示ip地址解决方法

1.右键启动VMware DHCP和NAT这两个服务 2.执行reboot命令，重启linux。然后再执行ifconfig命令,可以看到inet了，就是ip。xshell也可以连接到主机了。
阅读更多...
复旦微FMQL20SM全国产ARM+FPGA核心板，替代xilinx ZYNQ7020系列

复旦微FMQL20SM全国产ARM+FPGA核心板，替代xilinx ZYNQ7020系列

FMQL20SM核心板一款全国产工业核心板。基于复旦微FMQL20S400M四核ARM Cortex-A7（PS端） FPGA可编程逻辑资源（PL端）异构多核SoC处理器设计的全国产工业核心板，PS端主频高达1GHz。 核心板简介 FMQL20SM核心板是一款全国…
阅读更多...
RK3568平台（显示篇）HDMIOUT调试

RK3568平台（显示篇）HDMIOUT调试

一.HDMIOUT代码路径 DRM 全称是 Direct Rendering Manager 是 DRI ( Direct Rendering Infrastructure ) 框架的一个 组件。LINUX 4.4/4.19 内核采用 DRM 框架， HDMI 驱动的路径为： kernel/drivers/gpu/drm/rockchip/dw_hdmi-Rockchip.c kernel/driv…
阅读更多...
【Spine学习07】之跑步动作制作思路总结

【Spine学习07】之跑步动作制作思路总结

前几节试着做了待机和走路动画 现在开始尝试做跑步动作 注意跑步动作和走路一样 暂时不需要使用IK约束但是会用到塞贝尔曲线（模拟裙子飞起动效） 第一步： 先将人物整体斜放置（因为人跑步的时候，身体前倾） …
阅读更多...
电池包断路单元DBU的预充电电阻应用案例

电池包断路单元DBU的预充电电阻应用案例

当电池组接触器闭合到电机和逆变器上时，逆变器电容器中会有电流涌入。这种非常高的电流至少可能会使接触器老化，并可能永久损坏接触器。 因此，当我们关闭电池组上的接触器时，我们分三个步骤执行此操作： 1.关闭主负极…
阅读更多...
MMDetection实用工具详解（下）：模型复杂度、基准测试

MMDetection实用工具详解（下）：模型复杂度、基准测试

工具目录 四、模型复杂度应用展示结果解析 五、基准测试鲁棒性测试基准应用展示结果解析Testing gaussian_noise at severity 0Testing gaussian_noise at severity 2Aggregated results 遇到的tools自定义导包模块No Module Error错误解决思路 上期MMDetection内三个实用工具详…
阅读更多...
算法day29

算法day29

第一题 695. 岛屿的最大面积 本题解法：采用bfs的算法； 本题使用象限数组的遍历方法和定义布尔数组vis来遍历每一个元素的上下左右元素，防治被遍历的元素被二次遍历； 本题具体分析如上题故事，但是由于要求区域的最大面…
阅读更多...
如何更新 iOS 18 Beta 版本？具体步骤总结

如何更新 iOS 18 Beta 版本？具体步骤总结

如何更新 iOS 18 Beta 想必有一些用户已经迫不及待的想要知道怎么更新 iOS 18 Beta 版本了吧，下面就给大家总结了具体的操作步骤： 在更新 iOS 18 Beta 版本之前记得我们需要将手机的数据进行备份，大家可以自行选用备份软件比如 iCloud 等。…
阅读更多...
嵌入式硬件VS软件，到底哪个更难？

嵌入式硬件VS软件，到底哪个更难？

在嵌入式系统开发中，硬件和软件是密不可分的两个方面。但是，究竟是硬件开发更具挑战性，还是软件开发更难以应对呢？本文将就这一问题展开讨论，探究嵌入式硬件和软件在开发过程中的各种挑战与特点。 一、硬件开发&#…
阅读更多...
html是什么？http是什么？

html是什么？http是什么？

html Html是什么？http是什么？ Html 超文本标记语言；负责网页的架构； http(（HyperText Transfer Protocol）超文本传输协议； https（全称：Hypertext Transfer Protocol …
阅读更多...
Java | Leetcode Java题解之第149题直线上最多的点数

Java | Leetcode Java题解之第149题直线上最多的点数

题目&#xff1a; 题解&#xff1a; class Solution {public int maxPoints(int[][] points) {int n points.length;if (n < 2) {return n;}int ret 0;for (int i 0; i < n; i) {if (ret > n - i || ret > n / 2) {break;}Map<Integer, Integer> map ne…
阅读更多...
Docker-Portainer可视化管理工具

Docker-Portainer可视化管理工具

Docker-Portainer可视化管理工具 文章目录 Docker-Portainer可视化管理工具介绍资源列表基础环境一、安装Docker二、配置Docker加速器三、拉取Portainer汉化版本镜像四、运行容器五、访问可视化界面 介绍 Portainer是一款开源的容器管理平台&#xff0c;它提供了一个直观易用的…
阅读更多...
AI数字人的开源解决方案

AI数字人的开源解决方案

目前&#xff0c;国内外已经涌现出一些优秀的数字人开源解决方案&#xff0c;这些解决方案为开发者提供了构建数字人应用的工具和基础设施。以下是一些比较知名的数字人开源解决方案。北京木奇移动技术有限公司&#xff0c;专业的软件外包开发公司&#xff0c;欢迎交流合作。 1…
阅读更多...
如何通过 6 种方法从 iPhone 恢复已删除的文件

如何通过 6 种方法从 iPhone 恢复已删除的文件

想知道如何从 iPhone 恢复已删除的文件吗&#xff1f;本文将指导您如何从 iPhone 恢复数据&#xff0c;无论您是否有 iTunes/iCloud 备份。 iPhone 上已删除的文件去哪儿了&#xff1f; 许多 iPhone 用户抱怨他们经常丢失 iPhone 上的一些重要文件。由于意外删除、iOS 更新失败…
阅读更多...
【StableDiffusion】Embedding 底层原理，Prompt Embedding，嵌入向量

【StableDiffusion】Embedding 底层原理，Prompt Embedding，嵌入向量

Embedding 是什么&#xff1f; Embedding 是将自然语言词汇&#xff0c;映射为 固定长度 的词向量 的技术 说到这里&#xff0c;需要介绍一下 One-Hot 编码 是什么。 One-Hot 编码 使用了众多 5000 长度的1维矩阵&#xff0c;每个矩阵代表一个词语。 这有坏处&#xff0c…
阅读更多...
SpringBoot系列——使用Spring Cache和Redis实现查询数据缓存

SpringBoot系列——使用Spring Cache和Redis实现查询数据缓存

文章目录 1. 前言2. 缓存2.1 什么是缓存2.2 使用缓存的好处2.3 缓存的成本2.4 使用Spring Cache和Redis的优点 3. Spring Cache基础知识3.1 Spring Cache的核心概念3.2 Spring Cache的注解3.2.1 SpEL表达式3.2.2 Cacheable3.2.3 CachePut3.2.4 CacheEvict 4. 实现查询数据缓存4…
阅读更多...
eclipse创建maven项目

eclipse创建maven项目

第一步&#xff1a;打开eclipse 我们选择java项目即可 点击finish即可 它会自动下载插件 然后在控制台上输入Y即可
阅读更多...
HCIE-QOS基本原理

HCIE-QOS基本原理

QOS基本原理 QOS概述什么是QOSQoS服务模型区分服务模型QoS常用技术 (DiffServ模型)QoS数据处理流程 (DiffServ模型) QoS流分类和流标记QoS数据处理流程为什么需要流分类和流标记 简单流分类外部优先级 - VLAN报文外部优先级 - MPLS报文外部优先级 - IP报文各外部优先级间的对应…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023