MySQL 优化总结

目标知识

MySQL执行流程图

MySQL 优化成本路线图

  • 优化成本:硬件>系统配置>数据库表结构>SQL及索引。
  • 优化效果:硬件<系统配置<数据库表结构<SQL及索引。

MySQL 五大优化原则

  • 减少数据返回:设置合理字段数据类型、启用压缩(1、MySQL客户端和MySQL服务器传输数据量太大,需要进行压缩减少带宽。2、MySQL 某几张表太大,需要将表压缩减少磁盘空间占用。3、MySQL表中特定字段过大,需要针对特定字段压缩。)、通过索引访问等方式减少磁盘IO。
  • 返回更少数据:返回业务所需要字段、设置数据分页以减少磁盘IO和网络IO。
  • 减少交互次数:批量执行DML操作/增删改查、使用自定义函数和存储过程以减少与MySQL服务器交互。
  • 减少MySQL服务器CPU开销:尽量避免数据库表的排序操作以及全表扫描查询,减少MySQL 服务器CPU和内存占用。
  • 拓展资源:使用分表操作、分库分表操作、增加并行操作,最大程度使用CPU资源。

总结来说:

  1. 查询尽量命中索引
  2. 尽量避免全部扫描
  3. 移除无效字段查询

select 语句执行顺序

select 语法格式

SELECT
DISTINCT <select_list>
FROM <left_table>
<join_type> JOIN <right_table>
ON <join_condition>
WHERE <where_condition>
GROUP BY <group_by_list>
HAVING <having_condition>
ORDER BY <order_by_condition>
LIMIT <limit_number>

执行顺序

FROM<表名> # 选取表,将多个表数据通过笛卡尔积变成一个表。

ON<筛选条件> # 对笛卡尔积的虚表进行筛选

JOIN <join, left join, right join...>

<join表> # 指定join,用于添加数据到on之后的虚表中,例如left join会将左表的剩余数据添加到虚表中

WHERE<where条件> # 对上述虚表进行筛选

GROUP BY<分组条件> # 分组

HAVING<分组筛选> # 对分组后的结果进行聚合筛选,<SUM()等聚合函数> # 用于having子句进行判断,在书写上这类聚合函数是写在having判断里面的

SELECT<返回数据列表> # 返回的单列必须在group by子句中,聚合函数除外

DISTINCT数据除重

ORDER BY<排序条件> # 排序

LIMIT<行数限制>

SQL 优化策略实战

温馨提示:SQL优化策略适用于查询数据量较大或单表数据量较大的场景下,如果数据量较小,没必要以此为准。

1、避免不走索引场景 

避免在字段开头模糊查询,会导致数据库引擎放弃索引进行全表扫描。

示例如下:

select * from t_user t where t.name like '%周%' 

优化建议:尽量在字段后面使用模糊查询

select * from t_user t where t.name like '周%'

优化建议和解释如下:

  1. 将 %周% 改为 '周%':在 SQL 查询中,尽量避免使用 % 作为 LIKE 操作符的开头,这样会导致数据库无法使用索引,强制数据库做全表扫描,影响查询性能。将 %周% 改为 '周%' 可以有效利用索引,提高查询性能。

  2. 添加索引:如果表 t_user 的 name 字段没有索引,可以考虑为 name 字段添加索引,从而加快 LIKE 操作的性能。在此案例中,由于 WHERE 子句中对 name 字段进行了模糊查询,添加索引可以显著提升查询性能。

尽量避免使用in 和not in,会导致引擎走全表扫描。

示例如下:

select * from t_user t where t.id in (1, 2)

优化一建议:使用or 查询替换in 查询

select * from t_user t where t.id = 1 or t.id = 2

优化建议和解释:

原始的 SQL 查询语句使用了 IN 子句来查询指定的 id,而优化后的 SQL 查询语句使用 OR 来连接多个 id 的条件,这样数据库在执行查询时可以更有效地利用索引。

使用 OR 来连接多个 id 的条件可以让数据库优化器更好地进行索引选择,避免了 IN 子句可能导致的全表扫描。此外,OR 连接条件时也可以让优化器更好地使用联合索引。

因此,将 IN 子句替换为 OR 来连接多个条件是一个简单却有效的 SQL 查询优化方法。

优化二建议:如果是连续性数字,可以考虑使用between *** and 代替

select * from t_user t where t.id between 1  and 2

示例如下:

select * from t_user t where t.orgId in (select id from t_org o where o.isDelete = 1)

优化一建议:使用内联查询替换in 查询

select t.* from t_user t 
join t_org o on t.orgId = o.id 
where o.isDelete = 1

优化建议和解释:

  1. 原查询中使用了子查询来获取符合条件的 orgId,这样的写法会导致多次查询数据库,效率较低。我们可以通过使用 JOIN 来连接 t_user 表和 t_org 表来实现同样的功能,避免重复查询。
  2. 使用 JOIN 来连接两个表,可以利用索引来加速查询。在这个情况下,我们可以为 t_org 表的 isDelete 字段创建索引,这样在执行 JOIN 操作时能够更快地定位符合条件的数据。
  3. 尽量避免在查询条件中使用函数或者子查询,这样会增加查询的复杂度和开销,影响查询性能。通过将条件拆分成简单的等值条件,可以提高查询效率。

优化二建议:使用existe 函数 替换 in 查询

select * from t_user t where exists (select 1 from t_org o where o.id = t.orgId and o.isDelete = 1)

尽量避免使用 or,会导致数据库引擎放弃索引进行全表扫描。

示例如下:

SELECT * FROM t WHERE id = 1 OR id = 3

优化建议:使用union 代替or

SELECT * FROM t WHERE id = 1UNION
SELECT * FROM t WHERE id = 3

尽量避免进行null值的判断,会导致数据库引擎放弃索引进行全表扫描。

示例如下:

SELECT * FROM t WHERE t.phone is null

优化建议:给字段添加默认值'',对字段取值=''进行判断。

SELECT * FROM t WHERE t.phone =''

尽量避免在where条件中等号的左侧进行表达式、函数操作,会导致数据库引擎放弃索引进行全表扫描。

示例如下:

SELECT * FROM t_score t WHERE t.score/10 = 9

优化建议:左侧表达式运算移动至右侧

SELECT * FROM t_score t WHERE t.score = 10*9

当数据量大时,避免使用where 1=1的条件。通常为了方便拼装查询条件,我们会默认使用该条件,数据库引擎会放弃索引进行全表扫描。

示例如下:

SELECT username, age, sex FROM t_user WHERE 1=1

优化建议:代码拼装sql时进行判断,没 where 条件就去掉 where 1= 1,有where条件就加 and。

SELECT username, age, sex FROM t_use

查询条件不能用 <> 或者 !=

示例如下:

SELECT username, age, sex FROM T WHERE  t.id != 1

优化建议:使用大于(>)操作符替换!=

SELECT username, age, sex FROM T WHERE  t.id > 1

优化建议和解释如下:

  1. 尽量避免在 WHERE 子句中使用不等于(!=)操作符,因为对不等于操作符的查询往往需要进行全表扫描,性能较差。改为使用大于(>)操作符可以更好地利用索引。

示例如下:

SELECT username, age, sex FROM T WHERE  t.username != 'root'

优化建议和解释如下:

  1. 考虑给关联字段(在本例中是 username 字段)添加索引:确保表 T 的 id 字段上有索引,可以加快查询速度。

where条件仅包含复合索引非前置列

示例:复合(联合)索引包含key_part1,key_part2,key_part3三列,但SQL语句没有包含索引前置列"key_part1",按照MySQL联合索引的最左匹配原则,不会走联合索引。

select * from table where key_part2=1 and key_part3=2

隐式类型转换造成不使用索引

SQL语句由于索引对列类型为varchar,但给定的值为数值,涉及隐式类型转换,造成不能正确走索引。

select * from table where col_varchar=123; 

order by 条件要与where中条件一致,否则order by不会利用索引进行排序

-- 不走age索引
SELECT * FROM t order by age;-- 走age索引
SELECT * FROM t where age > 0 order by age;

正确使用hint优化语句

MySQL中可以使用hint指定优化器在执行时选择或忽略特定的索引。

  • use index 在你查询语句中表名的后面,添加 USE INDEX 来提供希望 MySQL 去参考的索引列表,就可以让 MySQL 不再考虑其他可用的索引。例子: SELECT col1 FROM table use index (mod_time, name)...
  • ignore index 如果只是单纯的想让 MySQL 忽略一个或者多个索引,可以使用 IGNORE INDEX 作为 Hint。例子: SELECT col1 FROM table ignore index (priority) ...
  • force index 为强制 MySQL 使用一个特定的索引,可在查询中使用FORCE INDEX 作为Hint。例子: SELECT col1 FROM table FORCE INDEX (mod_time)

SELECT语句其他优化

避免出现select * 

避免出现不确定结果的函数

特别是针对主从复制这类业务场景,由于原理上从库复制的是主库执行的语句,使用如now()、rand()、sysdate()、current_user()等不确定结果的函数很容易导致主库与从库相应的数据不一致。

多表关联查询时,小表在前,大表在后。

在MySQL中,执行 from 后的表关联查询是从左往右执行的(Oracle相反),第一张表会涉及到全表扫描,所以将小表放在前面,先扫小表,扫描快效率较高,在扫描后面的大表,或许只扫描大表的前100行就符合返回条件并return了。

示例:表1有1000条数据,表2有500万条数据;如果全表扫描表2,SQL会提示超时异常。

使用表的别名

当在SQL语句中连接多个表时,请使用表的别名并把别名前缀于每个列名上。减少列名歧义引起的语法错误。

调整Where字句中的连接顺序

MySQL采用从左往右,自上而下的顺序解析where子句。根据这个原理,应将过滤数据多的条件往前放,最快速度缩小结果集。

DML /增删改查语句优化

大批量数据插入

如果同时执行大量的插入,建议使用批量插入INSERT语句,这比循环插入INSERT语句快,性能提示主要体现减少与MySQL 服务器交互次数。

避免重复查询更新的数据

在实际业务开发中经常出现的更新行同时又希望获得改行信息的需求,MySQL并不支持PostgreSQL那样的update teturning语法,在MySQL中可以通过变量实现。

示例如下:更新一行记录的时间戳,同时希望查询当前记录中存放的时间戳。

Update t set time=now() where id=1; Select time from t where id =1; 

优化建议:使用MySQL变量,重写上述功能

Update t set time=now () where id =1 and @now: = now (); Select @now;

前后二者都需要两次网络来回,但使用变量避免了再次访问数据表,特别是当t表数据量较大时,后者比前者快很多。

查询优先还是更新(insert、update、delete)优先

MySQL 允许改变语句调度优先级,它可以使来自多个客户端的查询更好地协作,这样单个客户端就不会由于锁定而等待很长时间。改变优先级还可以确保特定类型的查询被处理得更快。我们首先应该确定应用的类型,判断应用是以查询为主还是以更新为主的,是确保查询效率还是确保更新的效率,决定是查询优先还是更新优先。下面我们提到的改变调度策略的方法主要是针对只存在表锁的存储引擎,比如 MyISAM 、MEMROY、MERGE,对于Innodb 存储引擎语句的执行是由获得行锁的顺序决定的。MySQL 的默认的调度策略可用总结如下:

  1. 写入操作优先于读取操作。
  2. 对某张数据表的写入操作某一时刻只能发生一次,写入请求按照它们到达的次序来处理。
  3. 对某张数据表的多个读取操作可以同时地进行。MySQL 提供了几个语句调节符,允许你修改它的调度策略
  • LOW_PRIORITY关键字应用于DELETE、INSERT、LOAD DATA、REPLACE和UPDATE;
  • HIGH_PRIORITY关键字应用于SELECT和INSERT语句;
  • DELAYED关键字应用于INSERT和REPLACE语句。

如果写入操作是一个 LOW_PRIORITY(低优先级)请求,那么系统就不会认为它的优先级高于读取操作。在这种情况下,如果写入者在等待的时候,第二个读取者到达了,那么就允许第二个读取者插到写入者之前。只有在没有其它的读取者的时候,才允许写入者开始操作。这种调度修改可能存在 LOW_PRIORITY写入操作永远被阻塞的情况。

SELECT 查询的HIGH_PRIORITY(高优先级)关键字也类似。它允许SELECT 插入正在等待的写入操作之前,即使在正常情况下写入操作的优先级更高。另外一种影响是,高优先级的 SELECT 在正常的 SELECT 语句之前执行,因为这些语句会被写入操作阻塞。如果希望所有支持

LOW_PRIORITY 选项的语句都默认地按照低优先级来处理,那么 请使用--low-priority-updates 选项来启动服务器。通过使用 INSERTHIGH_PRIORITY 来把 INSERT 语句提高到正常的写入优先级,可以消除该选项对单个INSERT语句的影响。

查询条件优化

对于复杂的查询,使用中间临时表暂存数据

优化group by语句

默认情况下,MySQL 会对GROUP BY分组的所有值进行排序,如 “GROUP BY 字段1,字段2,....;” MySQL 同时开启隐藏排序,如 “ORDER BY 字段1,字段2,...;”

查询如果包括 GROUP BY 但你并不想对分组的值进行排序,你可以指定 ORDER BY NULL禁止排序。示例如下:

SELECT 字段1, 字段2, COUNT(*) FROM table GROUP BY  字段1, 字段2 ORDER BY NULL ;

优化join语句

MySQL中通过子查询使用 SELECT 语句来实现一个单列的查询结果,然后把这个结果作为过滤条件用在另一个查询中。使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的 SQL 操作,同时也可以避免事务或者表锁死,并且写起来也很容易。但是,有些情况下,子查询可以被更有效率的连接(JOIN)替代。

示例如下:

select * from t_user t where t.orgId in (select id from t_org o where o.isDelete = 1)

优化一建议:使用内联查询替换in 查询

select t.* from t_user t 
join t_org o on t.orgId = o.id 
where o.isDelete = 1

优化union查询

MySQL通过创建并填充临时表的方式来执行union查询。除非确实要消除重复的行,否则建议使用union all。原因在于如果没有all这个关键词,MySQL会给临时表加上distinct选项,这会导致对整个临时表的数据做唯一性校验,这样做的消耗相当高。

示例如下:

select id, name, age t where t.id= 1
union
select id, name, age b where b.id= 2

优化建议:

select id, name, age t where t.id= 1
union all
select id, name, age b where b.id= 2

拆分复杂SQL为多个小SQL,避免大事务

  • 简单的SQL容易使用到MySQL的QUERY CACHE;
  • 减少锁表时间特别是使用MyISAM存储引擎的表;
  • 可以使用多核CPU。

使用truncate代替delete

当删除全表中记录时,使用delete语句的操作会被记录到undo块中,删除记录也记录binlog,当确认需要删除全表时,会产生很大量的binlog并占用大量的undo数据块,此时既没有很好的效率也占用了大量的资源。

使用truncate替代,不会记录可恢复的信息,数据不能被恢复。也因此使用truncate操作有其极少的资源占用与极快的时间。另外,使用truncate可以回收表的水位,使自增字段值归零。

使用合理的分页方式以提高分页效率

使用合理的分页方式以提高分页效率 针对展现等分页需求,合适的分页方式能够提高分页的效率。

select * from t 
where id = 10000 and is_deleted = 0 
order by create_time asc 
limit 0, 15

该种写法缺陷:越翻到后面执行效率越差,时间越长,尤其表数据量很大的时候。

优化建议:

select t.* from (select id from t where t.id = 10000 and t.is_deleted = 0order by t.create_time asc limit 0, 15) a, t where a.id = t.id;

建表优化

  • 在表中建立索引,优先考虑where、order by使用到的字段。
  • 尽量使用数字型字段(如性别,男:1 女:2),若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。
  • 查询数据量大的表 会造成查询缓慢。可以通过合理分页查询来解决。
  • 用varchar/nvarchar 代替 char/nchar

       尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。不要以为 NULL 不需要空间,比如:char(100) 型,在字段建立时,空间就固定了, 不管是否插入值(NULL也包含在内),都是占用 100个字符的空间的,如果是varchar这样的变长字段, null 不占用空间。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/802371.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue-B站学习笔记

1. 路由配置 B站视频之Vue route文件下的index.js app.vue

js获取上周本周下周的日期(附Demo)

目录 前言1. 基本知识2. Demo3. 彩蛋 前言 现在的时间点是&#xff1a;2024-04-08&#xff0c;对应的日期如下&#xff08;上周、这周、下周&#xff09; 1. 基本知识 讲述Demo之前&#xff0c;先补充一些基础知识 JavaScript 中的 Date 对象是用于处理日期和时间的对象。它…

提问:一台交换机能带动多少个网络监控摄像头?

你们好&#xff0c;我的网工朋友。 标题的这个问题呢&#xff0c;其实有点问题的。因为这一个问题&#xff0c;需要有一堆条件加上&#xff0c;才好判断。 比如&#xff0c;你的交换机是百兆的还是千兆的&#xff1f; 整机的POE功率和端口POE功率是多少&#xff1f; 交换机…

【C语言】青蛙跳台阶问题

题目&#xff1a;一只青蛙一次可以跳上1级台阶&#xff0c;也可以跳上2级台阶。现求该青蛙跳上一个 n 级的台阶总共有多少种跳法。 题目分析&#xff1a; 当 n 等于 1 时&#xff0c;青蛙只能跳一级台阶到达&#xff0c;因此只有一种跳法&#xff0c;直接返回 1。当 n 等于 2 时…

【Android】App通信基础架构相关类源码解析

应用通信基础架构相关类源码解析 这里主要对Android App开发时&#xff0c;常用到的一些通信基础类进行一下源码的简单分析&#xff0c;包括&#xff1a; Handler&#xff1a;处理器&#xff0c;与某个Looper&#xff08;一个线程对应一个Looper&#xff09;进行关联。用于接…

最少按键次数

题目描述 给你一个字符串 s&#xff0c;由小写英文字母组成。 电话键盘上的按键与 不同 小写英文字母集合相映射&#xff0c;可以通过按压按键来组成单词。例如&#xff0c;按键 2 对应 ["a","b","c"]&#xff0c;我们需要按一次键来输入 &quo…

【javaWeb 原理篇】底层实现原理(快速学习配置原理,Bean管理)

Spring底层 配置优先级Bean管理获取beanBean的作用域第三方Bean SpringBoot原理起步依赖自动配置自动配置的原理自定义starter 配置优先级 Spring中的配置文件如果配置了相同的内容则根据配置优先级进行配置: application.properties>application.yml>application.yaml …

用Python+OpenCV截取视频中所有含有字幕的画面

1、需求背景 有的视频文件的字幕已经压制到了视频的图像中&#xff0c;不能单独提取出字幕文件。网上的 “提取视频字幕” 网站多为提取视频中的字幕文件&#xff0c;而非识别视频图像中的字幕。少数通过OCR技术识别画面中字幕的工具需要在线运行、运行速度较慢&#xff0c;或…

蓝桥杯练习笔记(十八)

蓝桥杯练习笔记&#xff08;十八&#xff09; 一、用辅助栈来优化递归深度过大的问题 输入示例 0000100010000001101010101001001100000011 0101111001111101110111100000101010011111 1000010000011101010110000000001011010100 0110101010110000000101100100000101001001 0…

QT打包生成.exe可执行文件

QT打包生成.exe可执行文件 程序运行图标如何设置快捷方式显示图标QT打包成可执行文件将可执行文件打包成安装包程序运行图标 如何生成如下图标? 首先将你的图标(ico文件)放入当前工程目录,即含有.pro文件的同级目录 右击项目,选择ADD New,选择Qt Resource File, 这是一个…

吴恩达2022机器学习专项课程(一) 5.7 检测梯度下降是否收敛

问题预览/关键词 什么是梯度下降收敛&#xff1f;哪些方法可以检测梯度下降是否收敛&#xff1f;什么是学习曲线&#xff1f;曲线上升代表什么&#xff1f;什么原因造成的&#xff1f;如何检测梯度下降是否收敛&#xff1f;多少次迭代&#xff0c;梯度下降会收敛&#xff1f;什…

C++:初步接触C++(2)

hello&#xff0c;各位小伙伴&#xff0c;本篇文章跟大家一起学习C&#xff0c;感谢大家对我上一篇的支持&#xff0c;如有什么问题&#xff0c;还请多多指教 &#xff01; 文章目录 内联函数1.概念2.特性 auto关键字1.auto简介2.auto的使用细则3.auto不能推导的场景 基于范围…

RTThread studio 驱动开发

rtthread 驱动使用的两种情况 rtthread studio 自动生成 由 RT Thread Studio 自动生成&#xff0c;无需修改任何文件或者简单定义几个宏即可直接使用的驱动&#xff0c;如 GPIO&#xff0c;UART&#xff0c;I2C&#xff0c;SPI&#xff0c;SDIO 和 ETH 等。 使用 RT-Thread S…

如何定位和优化程序CPU、内存等性能之巅

如何定位和优化程序CPU、内存等性能之巅 摘要 性能优化指在不影响系统运行正确性的前提下&#xff0c;使之运行得更快&#xff0c;完成特定功能所需的时间更短&#xff0c;或拥有更强大的服务能力。本文将介绍性能优化的基本概念以及如何定位和优化程序中的CPU、内存和IO瓶颈…

信息泄露漏洞的JS整改方案

引言 &#x1f6e1;️ 日常工作中&#xff0c;我们经常会面临线上环境被第三方安全厂商扫描出JS信息泄露漏洞的情况&#xff0c;这给我们的系统安全带来了潜在威胁。但幸运的是&#xff0c;对于这类漏洞的整改并不复杂。本文将介绍几种可行的整改方法&#xff0c;以及其中一种…

指挥中心控制台厂家定制控制台技术规范全方位指南

指挥中心控制台作为现代化管理的重要组成部分&#xff0c;在整个企业的运行中起着重要作用&#xff0c;为了保证指挥中心的正常运行&#xff0c;控制台的定制不可缺少&#xff0c;那么指挥中心控制台厂家定制控制台技术规范是什么? 1. 结构性能规范&#xff1a;控制台需采用优…

kmeans聚类sklearn实现(Python实验)

Kmeans毫无疑问&#xff0c;好用又“便宜”的算法&#xff0c;经常在很多轻量化场景中实现。所谓的“聚类”&#xff08;Clustering&#xff09;&#xff0c;就是通过欧氏距离找哪些点构成一个簇。假设我们空间中有一堆点&#xff0c;通过肉眼大概可以看出有两簇&#xff0c;思…

jmeter压测websocket协议

一、jmeter 安装websocket插件 1、选项--插件管理 2、搜索WebSocket Samplers by Peter Doornbosch插件 进行安装 3、 重启 jmeter 二、jmeter压测websocket协议实战 2.1、以网站为例&#xff1a; websocket在线测试 1、断开连接 2、打开F12&#xff0c;查看WS数据 3、…

DragonIM龙通讯

前言 龙通讯是一款C/S架构的即时通讯软件&#xff0c;实现了用户注册、登录、好友私聊、群聊&#xff08;文字、表情、文件&#xff09;&#xff0c;群文件上传/下载&#xff0c;群公告&#xff0c;朋友圈&#xff08;可点赞和评论&#xff09;&#xff0c;AI聊天&#xff0c;…

剪切助手-高颜值的跨平台剪切板工具

高颜值的跨平台剪切板工具来了&#xff01;&#xff01; http://t.csdnimg.cn/xKB3B 出于我的一些日常使用需求以及在对比了其他剪切板软件后&#xff0c;我决定做一个跨平台的高颜值剪切板工具《剪切助手》&#xff01; 废话不多说&#xff0c;你可以来这里 下载体验 它&…