PawSQL更新 | 新增18个SQL性能审核重写规则

PawSQL最新版本针对DML和DQL新增了审核和重写优化规则共计33个,整体的规则数目达到了83个,覆盖了正确性,安全性、可维护性、性能四个方面的SQL质量问题,并提供了优化建议,已经形成比较完善的针对数据操作的SQL质量审查体系。本文介绍其中新增的11个正确性相关的审核规则。本文介绍新增的18个SQL性能审核及重写优化规则。

图片

性能相关规则

1. 显式禁止结果字段排序

规则描述

在MySQL的早期版本中,即使没有order by子句,group by默认也会按分组字段排序,这就可能导致不必要的文件排序,影响SQL的查询性能。可以通过添加order by null来强制取消排序,禁用查询结果集的排序;PawSQL识别并进行了重写。

譬如下面的例子中

SELECT l_orderkey, sum(l_quantity)
FROM lineitem
GROUP BY l_orderkey;

在MySQL 5.x版本中,group by l_orderkey会引起默认排序, 可以通过添加order by null来避免该排序。

SELECT l_orderkey, sum(l_quantity)
FROM lineitem
GROUP BY l_orderkey
ORDER BY NULL;
默认预警级别
  • 警告

触发条件
  • MySQL数据库,版本低于8.0

  • 存在分组字段,且无排序字段

2. GROUP字段中有表达式导致索引失效

规则描述

数据库可以利用索引的有序性来避免GROUP子句中列的排序,从而提升SQL的性能。但是如果Group字段是一个表达式或函数,则可能无法利用索引来进行排序。

默认预警级别
  • 提示

触发条件
  • 存在分组字段,字段为表达式或函数

3. ORDER字段中有表达式导致索引失效

规则描述

数据库可以利用索引的有序性来避免ORDER子句中列的排序,从而提升SQL的性能。但是如果ORDER字段是一个表达式或函数,则可能无法利用索引来进行排序。

默认预警级别
  • 提示

触发条件
  • 存在排序字段,字段为表达式或函数

4. 排序字段方向不同导致索引失效

规则描述

ORDER BY 子句中的所有表达式需要按统一的 ASC 或 DESC 方向排序,才能利用索引来避免排序;如果ORDER BY 语句对多个不同条件使用不同方向的排序无法使用索引。

默认预警级别
  • 提示

触发条件
  • 有多个排序字段

  • 存在两种排序方向

5. 避免对长字段进行分组

规则描述

在数据库中,分组通常是通过排序或哈希来做,如果需要分组的行数比较多,那么单个字段长度会较大的影响分组效率。此规则可以通过比较分组字段的长度是否超过用户输入的阈值。如果超过阈值,则会进行预警。

默认预警级别
  • 预警

触发条件
  1. GROUP字段类型为CHAR/VARCHAR,且字段长度超过阈值

  2. 或GROUP字段类型为CLOB/TEXT/TINYTEXT/MEDIUMTEXT/LONGTEXT

6. 避免对条件字段使用负向查询

规则描述

负向查询指的是否定查询,即<>NOT IN 等否定条件。此类查询无法利用索引进行快速定位。

默认预警级别
  • 警告

触发条件
  • SQL中的条件为否定条件。

7. 表连接缺少链接条件

规则描述

表连接缺少链接条件会导致结果集变成两个表的笛卡尔集,数据量巨大,且有较大可能性不符合开发者的预期。PawSQL会检查此类写法,并进行提醒。

默认预警级别
  • 提示

触发条件
  • 表连接缺少链接条件

8. 分区表没有使用分区字段过滤

规则描述

在访问分区表时,没有使用分区字段进行过滤,会导致需要访问所有分区。

默认预警级别
  • 提示

触发条件
  • 表是分区表

  • SQL中不存在在分区键的过滤条件

9. 过滤条件中须使用主键或索引列

规则描述

如果一个表的过滤条件上没有主键或索引,则会导致全表扫描。

默认预警级别
  • 提示

触发条件
  • SQL中存在过滤或关联条件

  • 过滤或关联条件是可索引条件

  • 可索引条件不存在任何可利用的索引(包括主键索引)

10. 查询中表连接的个数超过阈值

规则描述

在单机版数据库执行计划的规划中,表连接的顺序和连接的方法是数据库优化器最重要的规划内容。表连接数目的增加将几何级数地增加数据库优化器对于最优执行计划的搜寻空间,导致生成执行计划的时间比较长,且容易生成性能较差的执行计划。所以PawSQL检测查询中表连接的数目是否超过某个阈值,并提醒用户可能的风险。在PawSQL中,阈值的默认值是5,用户可以在创建优化任务时修改此阈值。

默认预警级别
  • 警告

触发条件
  • 单个查询块中表连接的个数超过阈值(默认为5)

11. 避免查询排序时指定COLLATION

规则描述

可以在SQL中指定排序字段所使用的COLLATION,譬如下面的SQL

select * from customer c order by c_name COLLATE utf8mb4_0900_bin

这样的话,该SQL将无法利用索引的有序性来避免排序。

默认预警级别
  • 警告

触发条件
  • 显式的指定排序的COLLATION

12.避免对长字段进行排序

规则描述

在计算机中,排序是一个OlnN时间复杂度的操作,如果需要排序的行数比较多,那么单个字段长度会较大地影响排序效率。此规则可以通过比较排序字段的长度是否超过用户输入的阈值。如果超过阈值,则会进行预警。

默认预警级别
  • 预警

触发条件
  1. ORDER字段类型为CHAR/VARCHAR,且字段长度超过阈值

  2. 或ORDER字段类型为CLOB/TEXT/TINYTEXT/MEDIUMTEXT/LONGTEXT

13. 避免使用标量子查询

规则描述

标量子查询返回单行单列的一个值,它可以出现在SQL中任何单值出现的地方。标量子查询通常需要在执行时才能确定其是否只返回单行值,且其通常为相关子查询。容易引起运行时错误,以及性能问题。

默认预警级别
  • 提示

触发条件
  • SQL中出现标量子查询

14. 避免更新主键的值

规则描述

在MySQL InnoDB引擎或是SQL Server数据库中,数据存储方式都是以主键的方式组织的。在这种情况下,对主键的更新会涉及到对数据在磁盘上物理组织的调整,而且也涉及到主键值唯一性的检查,在表数据量非常大的情况下,更新的代价可能非常之大。

默认预警级别
  • 警告

触发条件
  • 更新主键的值

  • MySQL InnoDB引擎或是SQL Server数据库

16. 避免更新唯一约束的值

规则描述

对唯一性约束的列的值的更新,需要对它进行唯一性检查,在表数据量非常大的情况下,更新的代价可能非常大。

默认预警级别
  • 警告

触发条件
  • 更新唯一性列的值

17. DELETE/UPDATE禁止使用表连接

规则描述

表连接的误操作可能导致结果集的行非常大,对大结果集的DELETE/UPDATE可能会非常耗时,锁表时间较长,也难以对操作进行回滚。

默认预警级别
  • 警告

触发条件
  • DELETE/UPDATE存在多表

18. 避免使用不必要的内置函数

规则描述

某些内置函数可能不满足业务或是计算上的某些规范要求。通过配置该规则可以指定业务中需要禁止使用的内置函数。

默认预警级别
  • 提示

触发规则
  • 函数列表中的函数名称出现在SQL中。

关于PawSQL

PawSQL专注数据库性能优化的自动化和智能化,支持MySQL,PostgreSQL,Opengauss等,提供的SQL优化产品包括

  • PawSQL Cloud,在线自动化SQL优化工具,支持SQL审查,智能查询重写、基于代价的索引推荐,适用于数据库管理员及数据应用开发人员,

  • PawSQL Advisor,IntelliJ 插件, 适用于数据应用开发人员,可以IDEA/DataGrip应用市场通过名称搜索“PawSQL Advisor”安装。

  • PawSQL Engine, 是PawSQL系列产品的后端优化引擎,可以以docker镜像的方式独立安装部署,并通过http/json的接口提供SQL优化服务。

  • PawSQL Ora2pg/PawsQL Ora2op,Oracle语法的SQL应用转换为PostgreSQL和openGauss语法的工具。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/656819.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

防御保护--防火墙的可靠性

目录 前提&#xff1a; VGMP 接口故障切换场景 状态切换备份的过程 HRP 第一种备份方式 --- 自动备份 第二种备份方式 --- 手工备份 第三种备份方式 --- 快速备份 各备份场景过程分析 1&#xff0c;主备形成场景 2&#xff0c;主备模式下&#xff0c;接口故障切…

ElementUI组件:Button 按钮

button按钮 点击下载learnelementuispringboot项目源码 效果图 el-button.vue页面效果图 项目里el-button.vue代码 <script> export default {name: "el_button",// 注意这里的名称不能和 router inex.js里的name一样methods: {sendMsg() {// alert(1)xthi…

Linux系统中Docker的安装及常用组件的安装

什么是Docker Docker是一个开源的应用容器引擎&#xff0c;它可以让开发者将应用程序及其依赖项打包到一个可移植的镜像中&#xff0c;并发布到任何流行的操作系统上。Docker使用沙箱机制来隔离容器&#xff0c;使其相互独立&#xff0c;并简化了应用程序的部署和管理。沙箱机…

网工内推 | 资深网工,周末双休,厂商认证优先,14薪

01 群核科技 招聘岗位&#xff1a;资深网络运维工程师 职责描述&#xff1a; 1、负责公司IDC机房网络的规划及持续改进&#xff0c;保证网络稳定运行&#xff1b; 2、负责公司国内外传输线路建设&#xff0c;提高链路的高可用保证业务的SLA&#xff1b; 3、负责网络监控平台的…

阿尔泰科技—创新解决农业环境监测难题!

引言 “农业是人类生活中不可或缺的重要领域&#xff0c;而农业环境的监测与保护对于农作物的生长和农业生产的可持续发展至关重要。为了解决农业环境参数监测的难题&#xff0c;阿尔泰科技提供了一套先进的解决方案&#xff0c;利用USB5630-D数据采集卡搭配传感器测试方案&a…

Pi 5缺货?CM5什么出来?RP2024? 在 CES2024 上访谈树莓派CEO Eben Upton

Pi 5缺货&#xff1f;CM5什么出来&#xff1f;RP2024&#xff1f; 在 CES2024 上访谈树莓派CEO Eben Upton 树莓派 CEO Eben Upton 在 CES2024 上回答关于树莓派5缺货&#xff0c;Pi 5与AI&#xff0c;以及 CM5 和 RP2024 的未来发展这些相关问题。 00:00 - 树莓派上的AI &…

设计模式之框架源码剖析(实战+图解)

Java设计模式 1&#xff0c;概述 随着软件开发人员人数的增多&#xff0c;一些公司急需一些高端人才。作为一个高端人才&#xff0c;设计面向对象软件是必不可少的能力&#xff0c;而软件设计是需要很深的功力&#xff0c;设计模式就要求你必须掌握。 2&#xff0c;本章特色…

Linux(CentOS7)常见指令的常见用法(上)

指令功能hostname查看当前的主机名hostnamectl set-hostname修改主机名adduser添加用户passwd给用户设置密码userdel -r 删除用户ls显示某路径下的文件名ls -l ll 显示某路径下每个文件及其属性ls -la ls -al 显示某路径下所有文件包括隐藏文件及属性ls -d只看指定文件夹&…

5-1 A. DS串应用--KMP算法

题目描述 学习KMP算法&#xff0c;给出主串和模式串&#xff0c;求模式串在主串的位置 算法框架如下&#xff0c;仅供参考 输入 第一个输入t&#xff0c;表示有t个实例 第二行输入第1个实例的主串&#xff0c;第三行输入第1个实例的模式串 以此类推 输入样例&#xff1a; 3 qwe…

Mac下手动源码编译安装Swig

使用Homebrew安装 这个方式最简单&#xff0c;但是一般都是安装的最新版&#xff1a; brew install swig如果按照特定版本&#xff0c;需要看一个当前支持的列表&#xff1a; brew search swig brew install swig3源码编译安装 swig依赖pcre库&#xff0c;需要先安装pcre …

浅谈一下软件 QA 方法论 和 工具

浅谈一下软件 QA 方法论 和 工具 目录概述需求&#xff1a; 设计思路实现思路分析1.QA方法论2.Java QA工具 参考资料和推荐阅读 Survive by day and develop by night. talk for import biz , show your perfect code,full busy&#xff0c;skip hardness,make a better result…

Linux系统——文本三剑客

目录 一、grep 1.格式 2.选项 2.1 grep重定向 2.2grep -m 匹配到几次停止 2.3grep -i 忽略大小写 2.4grep -n 显示行号 2.5grep -c 统计匹配行数 2.6grep -A 后几行 2.7grep -C 前后三行 2.8grep -B 前三行 2.9grep -e 或 2.10grep -w 匹配整个单词 2.11grep -r…

窥探向量乘矩阵的存内计算原理—基于向量乘矩阵的存内计算

在当今计算领域中&#xff0c;存内计算技术凭借其出色的向量乘矩阵操作效能引起了广泛关注。本文将深入研究基于向量乘矩阵的存内计算原理&#xff0c;并探讨几个引人注目的代表性工作&#xff0c;如DPE、ISAAC、PRIME等&#xff0c;它们在神经网络和图计算应用中表现出色&…

现代C++之万能引用、完美转发、引用折叠FrancisFrancis

转载&#xff1a;现代C之万能引用、完美转发、引用折叠 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/99524127 后期参考(还未整合)&#xff1a;C 完美转发深度解析:从入门到精通_c完美转发-CSDN博客https://blog.csdn.net/qq_21438461/article/details/129938466 0.导语 …

Dragons

题目链接&#xff1a; Problem - 230A - Codeforces 解题思路&#xff1a; 用结构体排序就好&#xff0c;从最小的开始比较&#xff0c;大于就加上奖励&#xff0c;小于输出NO 下面是c代码&#xff1a; #include<iostream> #include<algorithm> using namespac…

java框架面试篇

Spring框架 spring Bean线程安全问题 Scope注解 我们可以在bean的类上加Scope注解来声明这个Bean是单个实例还是多个实例。在默认情况下Bean是单个实例的&#xff0c;此时的注解中的属性默认为Scope("singleton")&#xff0c;Scope("prototype")则是一…

一、图像读取显示

读取和显示函数主要为&#xff1a;imread()和imshow()函数 imread函数&#xff0c;im是image的缩写&#xff0c;read就是读入一张图片 同理&#xff0c;imshow也是一样的 C中读入的图片是按照矩阵&#xff08;Matrix&#xff09;进行存储的&#xff0c;故定义变量src的数据类型…

【pytorch】nn.linear 中为什么是y=xA^T+b

我记得读教材的时候是yWxb, 左乘矩阵W&#xff0c;这样才能表示线性变化。 但是pytorch中的nn.linear中&#xff0c;计算方式是yxA^Tb&#xff0c;其中A是权重矩阵。 为什么右乘也能表示线性变化操作呢&#xff1f;因为pytorch中&#xff0c;照顾到输入是多个样本一起算的&…

kerberos+kafka(2.13)认证(单节点ubuntu)

一&#xff1a;搭建kerberos。 1. 运行安装命令 apt-get install krb5-admin-server krb5-kdc krb5-user krb5-config2. 检查服务是否启动。 systemctl status krb5-admin-server systemctl status krb5-kdcsystemctl start krb5-admin-server systemctl startkrb5-kdc3. 修…

yum安装报错“Curl error (37): Could‘t read a file...”

使用yum命令安装软件包“libmcrypt-devel” 运行yum命令如下&#xff1a; yum install libmcrypt-devel 提示有这个软件以及软件版本信息&#xff0c;输入y后下载软件包。 稍后提示错误如下&#xff1a; 错误提示截图中&#xff0c;警告软件包libmcrypt-devel-2.5.8-26.el8…