【MySQL进阶】SQL优化

文章目录

  • SQL 优化
    • 主键优化
      • 数据组织方式
      • 页分裂
      • 页合并
      • 主键设计原则
    • insert优化
    • order by优化
    • group by优化
    • limit优化
    • count优化

SQL 优化

主键优化

数据组织方式

  • 在InnoDB存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表

image.png

  • 在InnoDB引擎中，数据行是记录在逻辑结构 page 页中的，而每一个页的大小是固定的，默认16K。 那也就意味着， 一个页中所存储的行也是有限的，如果插入的数据行row在该页存储不小，将会存储 到下一个页中，页与页之间会通过指针连接。

页分裂

每个页的大小书固定的，页可以为空，也可以填充一半，也可以填充100%，每个页包含了2-N行数据(如果一行数据过大，会行 溢出)，根据主键排列

  • 按主键自增的方式插入数据。

①. 从磁盘中申请页， 主键顺序插入
②. 第一个页没有满，继续往第一页插入
image.png
③. 当第一个也写满之后，再写入第二个页，页与页之间会通过指针连接
image.png
④. 当第二页写满了，再往第三页写入
image.png

  • 主键乱序插入效果

①. 假如1#,2#页都已经写满了，存放了如图所示的数据
image.png
②. 此时再插入id为50的记录，就会发生页分裂。因为需要顺序存储，按照顺序，应该存储在47之后，
但是该页已经满了，则需要新申请一个3#页，将1#页后一半的数据，移动到3#页，然后在3#页，插入50。
image.png
重新设置链表指针
image.png

上述现象就叫做页分裂，是比较耗费性能的。

页合并

假如表中已有数据的索引结构(叶子节点)如下：
image.png
当我们对已有数据进行删除时，具体的效果如下:
当删除一行记录时，实际上记录并没有被物理删除，只是记录被标记（flaged）为删除并且它的空间
变得允许被其他记录声明使用。
image.png
当页中删除的记录达到 MERGE_THRESHOLD（默认为页的50%），InnoDB会开始寻找最靠近的页（前
或后）看看是否可以将两个页合并以优化空间使用。
image.png

上述现象就叫做页合并

主键设计原则

  • 满足业务需求的情况下，尽量降低主键的长度。
  • 插入数据时，尽量选择顺序插入，选择使用AUTO_INCREMENT自增主键。
  • 尽量不要使用UUID做主键或者是其他自然主键，如身份证号。
  • 业务操作时，避免对主键的修改。

insert优化

如果我们需要一次性往数据库表中插入多条记录，可以从以下四个方面进行优化

  • 优化方案一：批量插入数据
    • 假如一条一条的插入数据，每次插入数据，都需要建立连接，很费时间
  • 优化方案二：手动控制事务
    • MySQL默认执行一条语句提交一次事务，耗时
  • 优化方案三：主键顺序插入
    • 因为 InnoDB 类型的表是按照主键的顺序保存的，所以将导入的数据按照主键的顺序排列，可以有效的提高导入数据的效率。
    • 主键是否连续对性能影响不大，只要是递增的就可以，比如雪花算法产生的 ID 不是连续的，但是是递增的，因为递增可以让主键索引尽量地保持顺序插入，避免了页分裂，因此索引更紧凑。
  • 优化方案四：关闭唯一性校验。
    • 在导入数据前执行 SET UNIQUE_CHECKS=0，关闭唯一性校验；导入结束后执行 SET UNIQUE_CHECKS=1，恢复唯一性校验，可以提高导入的效率。

如果一次性需要插入大批量数据(比如: 几百万的记录)，使用insert语句插入性能较低，此时可以使用MySQL数据库提供的load指令进行插入。操作如下：

-- 客户端连接服务端时，加上参数 -–local-infile
mysql –-local-infile -u root -p
-- 设置全局参数local_infile为1，开启从本地加载文件导入数据的开关
set global local_infile = 1;
-- 执行load指令将准备好的数据，加载到表结构中
load data local infile '/root/sql1.log' into table tb_user fields terminated by ',' lines terminated by '\n' ;

image.png

order by优化

MySQL的排序，有两种方式：

  • Using filesort : 通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序。
  • Using index : 通过有序索引顺序扫描直接返回有序数据，这种情况即为 using index，不需要额外排序，操作效率高。

对于以上的两种排序方式，Using index的性能高，而Using filesort的性能低，我们在优化排序操作时，尽量要优化为 Using index。

测试：目前tb_user只有一个主键索引

  1. 执行排序SQLexplain select id,age,phone from tb_user order by age, phoneimage.png

由于age、phone都没有索引，可以看到为Using filesort，需要到内存中重新排序。

  1. 创建索引create index idx_user_age_phone_aa on tb_user(age,phone);
  2. 创建索引后，根据age, phone进行升序排序

explain select id,age,phone from tb_user order by age，phone;
image.png
可以看到建立索引之后，再次进行排序查询，就由原来的Using filesort， 变为了 Using index，性能
就是比较高的了。（仍然遵循最左前缀原则）
优化注意以下几点：
A. 根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则。
B. 尽量使用覆盖索引。
C. 多字段排序, 一个升序一个降序，此时需要注意联合索引在创建时的规则（ASC/DESC)。

  • 若索引两个字段都是升序，则排序时两字段升序或降序都会Using index。
  • 索引字段的排序规则需要和order by后面字段的排序规则一样。

D. 如果不可避免的出现filesort，大数据量排序时，可以适当增大排序缓冲区大小

group by优化

GROUP BY 也会进行排序操作，与 ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作，所以在 GROUP BY 的实现过程中，与 ORDER BY 一样也可以利用到索引

  • 分组查询：
DROP INDEX idx_emp_age_salary ON emp;
EXPLAIN SELECT age,COUNT(*) FROM emp GROUP BY age;

Using temporary：表示 MySQL 需要使用临时表（不是 sort buffer）来存储结果集，常见于排序和分组查询

  • 查询包含 GROUP BY 但是用户想要避免排序结果的消耗， 则可以执行 ORDER BY NULL 禁止排序：EXPLAIN SELECT age,COUNT(*) FROM emp GROUP BY age ORDER BY NULL;
  • 创建索引：索引本身有序，不需要临时表，也不需要再额外排序

CREATE INDEX idx_emp_age_salary ON emp(age, salary);

  • 数据量很大时，使用 SQL_BIG_RESULT 提示优化器直接使用直接用磁盘临时表

limit优化

一个常见的问题是 LIMIT 200000,10，此时需要 MySQL 扫描前 200010 记录并进行排序，仅仅返回 200000 - 200010 之间的记录，其他记录丢弃，查询排序的代价非常大

  • 分页查询：EXPLAIN SELECT * FROM tb_user_1 LIMIT 200000,10;
  • 优化方式一：内连接查询，在索引列 id 上完成排序分页操作，最后根据主键关联回原表查询所需要的其他列内容（id是索引列，查询速度较快）
  • EXPLAIN SELECT * FROM tb_user_1 t,(SELECT id FROM tb_user_1 ORDER BY id LIMIT 200000,10) a WHERE t.id = a.id;
  • 优化方式二：方案适用于主键自增的表，可以把 LIMIT 查询转换成某个位置的查询
EXPLAIN SELECT * FROM tb_user_1 WHERE id > 200000 LIMIT 10;         -- 写法 1
EXPLAIN SELECT * FROM tb_user_1 WHERE id BETWEEN 200000 and 200010; -- 写法 2

count优化

在不同的 MySQL 引擎中，count(*) 有不同的实现方式：

  • MyISAM 引擎把一个表的总行数存在了磁盘上，因此执行 count(*) 的时候会直接返回这个数，效率很高，但不支持事务
  • InnoDB 表执行 count(*) 会遍历全表，虽然结果准确，但会导致性能问题

解决方案：

  • 计数保存在 Redis 中，但是更新 MySQL 和 Redis 的操作不是原子的，会存在数据一致性的问题
  • 计数直接放到数据库里单独的一张计数表中，利用事务解决计数精确问题：会话 B 的读操作在 T3 执行的，这时更新事务还没有提交，所以计数值加 1 这个操作对会话 B 还不可见，因此会话 B 查询的计数值和最近 100 条记录，返回的结果逻辑上就是一致的并发系统性能的角度考虑，应该先插入操作记录再更新计数表，因为更新计数表涉及到行锁的竞争，先插入再更新能最大程度地减少事务之间的锁等待，提升并发度

count 函数的按照效率排序：count(字段) < count(主键id) < count(1) ≈ count()，所以建议尽量使用 count()

  • count(主键 id)：InnoDB 引擎会遍历整张表，把每一行的 id 值都取出来返回给 Server 层，Server直接就按行累加（主键不可能为空）
  • count(1)：InnoDB 引擎遍历整张表但不取值，Server 层对于返回的每一行，放一个数字 1 进去，直接按行累加
  • count(字段)：如果这个字段是定义为 not null 的话，一行行地从记录里面读出这个字段，直接按行累加；如果这个字段定义允许为 null，那么执行的时候，还要把值取出来，再判断一下，不是 null 才累加。
  • count(*)：不取值，按行累加。

## update优化 `update course set name = 'javaEE' where name = 'jack' ; `
  1. 如果name是索引字段，在该行数据上添加行锁。其他线程可以修改其他行数据。
  2. 如果name不是索引字段或者索引失效了，则直接在该张表上添加表锁。其他线程不可以修改其他行数据。
  3. 所以where后面的字段尽量添加索引。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/640199.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据结构Java版（4）——链表

数据结构Java版（4）——链表

一、概述 链表是一种常见的数据结构&#xff0c;用于存储一系列具有相同类型的数据元素。它由多个节点组成&#xff0c;每个节点包含一个数据元素和一个指向下一个节点的指针。 链表与数组不同&#xff0c;它的节点在内存中不是连续存储的&#xff0c;而是通过每个节点中的指针…
阅读更多...
测试C#调用OpenCvSharp和ViewFaceCore从摄像头中识别人脸

测试C#调用OpenCvSharp和ViewFaceCore从摄像头中识别人脸

学习了基于OpenCvSharp获取摄像头数据&#xff0c;同时学习了基于ViewFaceCore的人脸识别用法&#xff0c;将这两者结合即是从摄像头中识别人脸。本文测试测试C#调用OpenCvSharp和ViewFaceCore从摄像头中识别人脸&#xff0c;并进行人脸红框标记。   新建Winform项目&#xf…
阅读更多...
OpenSource - 文件在线预览模块（多格式转 PDF 文件）

OpenSource - 文件在线预览模块（多格式转 PDF 文件）

文章目录 文件在线预览模块&#xff08;多格式转PDF文件&#xff09;现已支持格式如下界面展示运行方式接口介绍文件上传文件转 PDF文件转图片文件转SVG 参数配置其他说明项目关联关键词文档转换预览技术说明同步转换异步转换 主要技术乱码问题处理帮助文档 前端预览弹出层用法…
阅读更多...
整除的特征及解释

整除的特征及解释

整除的特征及解释 整除的含义 简单地说&#xff0c;当一个非零整数除另一个整数得到整数商而没有余数时&#xff0c;叫做整除。如62&#xff1d;3&#xff0c;就说2整除6或6能被2整除。 用数学语言描述&#xff1a;若整数b除以非零整数a&#xff0c;商为整数&#xff0c;且余…
阅读更多...
zookeeper弱密码漏洞修复

zookeeper弱密码漏洞修复

1.连接zookeeper 进入zookeeper安装目录 bin目录下 ./zkCli.sh -server IP:21812.查看节点 ls /3.查看节点权限 getAcl /zookeeper4.设置IP权限 setAcl / ip:127.0.0.1:cdrwa,ip:10.86.30.11:cdrwazookeeper的权限不具备继承性,父子节点的权限相互独立,因此需要为每个子…
阅读更多...
11- OpenCV：自定义线性滤波（卷积，卷积边缘）

11- OpenCV：自定义线性滤波（卷积，卷积边缘）

目录 一、卷积 1、卷积概念 2、卷积如何工作 3、常见算子&#xff08;卷积核 Kenel&#xff09; 4、自定义卷积模糊 5、代码演示 二、卷积边缘 1、卷积边缘问题 2、处理边缘 3、相关的API说明 4、代码演示 一、卷积 1、卷积概念 &#xff08;1&#xff09;在OpenC…
阅读更多...
生成当天递增唯一的流水号的几种方式

生成当天递增唯一的流水号的几种方式

说明&#xff1a;当开发中&#xff0c;如交易、文件传输过程中的文件名&#xff0c;可能需要我们使用一串唯一的数字来锁定这一条“交互记录”&#xff0c;即流水号。 本文介绍几种生成6位递增唯一&#xff0c;且每日重置的流水号的方式。 方式一&#xff1a;使用Redis 我们…
阅读更多...
SpringSecurity（11）——核心组件和认证流程

SpringSecurity（11）——核心组件和认证流程

获取用户信息 // 获取安全上下文对象&#xff0c;就是那个保存在 ThreadLocal 里面的安全上下文对象 // 总是不为null(如果不存在&#xff0c;则创建一个authentication属性为null的empty安全上下文对象) SecurityContext securityContext SecurityContextHolder.getContext(…
阅读更多...
微信轰炸-python实现方法

微信轰炸-python实现方法

新手&#xff0c;一般都需要执行以下命令&#xff0c;用来导入对应模块 pip install -i Simple Index pynput 键盘winr进入输入cmd 执行该命令即可&#xff1a;pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pynput 打开pycharm,输入代码如下 from pynput.keybo…
阅读更多...
AI视频智能识别技术在智慧农业大棚升级改造管理场景中的应用方案

AI视频智能识别技术在智慧农业大棚升级改造管理场景中的应用方案

一、需求分析 随着科技的进步和农业现代化的推进&#xff0c;智能化技术逐渐成为现代农业发展的重要支撑。农业大棚作为现代农业的重要组成部分&#xff0c;其智能化改造对于提高农业生产效率、降低成本、增加收益具有重要意义。利用先进的信息化手段来对农业大棚进行管理&…
阅读更多...
NOC总线(2)

NOC总线(2)

1. NoC的路由 在NoC交换信息时&#xff0c;需要确定从源节点到目标节点所经过的路径&#xff0c;这时就需要路由算法来确定该路径。路由算法分为静态路由算法和动态路由算法两种。 静态路由算法对于两节点之间的路径是固定的&#xff0c;结构简单&#xff0c;便于硬件实…
阅读更多...
【算法分析与设计】二叉树的层序遍历

【算法分析与设计】二叉树的层序遍历

&#x1f4dd;个人主页&#xff1a;五敷有你 &#x1f525;系列专栏&#xff1a;算法分析与设计 ⛺️稳中求进&#xff0c;晒太阳 题目 给你二叉树的根节点 root &#xff0c;返回其节点值的 层序遍历 。 &#xff08;即逐层地&#xff0c;从左到右访问所有节点&#xf…
阅读更多...
idea插件开发

idea插件开发

1&#xff0c; file-new project 如图&#xff0c;选择了安装路径&#xff0c;报错【select home directory for intellij platform plugin sdk】。&#xff08;注意是安装路径最外层的文件夹&#xff0c;不是里面的lib&#xff0c;jbr这一层级&#xff09; 2&#xff0c;点击了…
阅读更多...
HTML前端CSS实现只显示1行或者2行、3行剩余显示省略号

HTML前端CSS实现只显示1行或者2行、3行剩余显示省略号

想要做的效果: 文本只一行显示 /**实现思路&#xff1a;1.设置inline-block属相2.强制不换行3.固定高度4.隐藏超出部分5.显示“……”*/ {display: inline-block;white-space: nowrap; width: 100%; overflow: hidden;text-overflow:ellipsis; }文本只多行显示 /** 实现思路&…
阅读更多...
【Java发送邮箱】spring boot 发送邮箱

【Java发送邮箱】spring boot 发送邮箱

导入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</artifactId> </dependency> 2.在properties配置邮箱 # 发件人QQ号 spring.mail.username2508575653qq.com # QQ邮箱授权码 sp…
阅读更多...
xshell配置隧道转移规则

xshell配置隧道转移规则

钢铁知识库&#xff0c;一个学习python爬虫、数据分析的知识库。人生苦短&#xff0c;快用python。 xshell是什么 通俗点说就是一款强大ssh远程软件&#xff0c;可以方便运维人员对服务器进行管理操作&#xff0c;功能很多朋友们自行探索&#xff0c;今天只聊其中一个功能点那…
阅读更多...
HNU-数据挖掘-实验2-数据降维与可视化

HNU-数据挖掘-实验2-数据降维与可视化

数据挖掘课程实验实验2 数据降维与可视化 计科210X 甘晴void 202108010XXX 文章目录 数据挖掘课程实验<br>实验2 数据降维与可视化实验背景实验目标实验数据集说明实验参考步骤实验过程1.对数据进行初步降维2.使用无监督数据降维方法&#xff0c;比如PCA&#xff0c;I…
阅读更多...
既是API调试平台也是自动化测试工具？Apipost

既是API调试平台也是自动化测试工具？Apipost

Apipost提供可视化的API自动化测试功能&#xff0c;使用Apipost研发人员可以设计、调试接口&#xff0c;测试人员可以基于同一数据源进行测试&#xff0c;Apipost 接口自动化功能在上次更新中进行了逻辑调整&#xff0c;带来更好的交互操作、更多的控制器选择&#xff0c;同时新…
阅读更多...
SpringMvc中拦截器的配置及应用

SpringMvc中拦截器的配置及应用

拦截器原理 在 Spring MVC 中&#xff0c;拦截器&#xff08;Interceptor&#xff09;是一种机制&#xff0c;用于拦截请求并在处理程序&#xff08;Controller&#xff09;执行之前或之后执行一些操作。拦截器允许您在请求的不同阶段&#xff08;如处理程序执行前、处理程序执…
阅读更多...
AI大模型中的Bert

AI大模型中的Bert

1.全方位上下文理解&#xff1a;与以前的模型&#xff08;例如GPT&#xff09;相比&#xff0c;BERT能够双向理解上下文&#xff0c;即同时考虑一个词 的左边和右边的上下文。这种全方位的上下文理解使得BERT能够更好地理解语言&#xff0c;特别是在理解词义、 消歧等复杂任务上…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023