关于性能测试:数据库的 SQL 性能优化实战

在性能测试中,SQL性能优化往往是最具挑战性的任务之一。数据库作为系统的核心数据处理单元,其性能直接影响整体系统的响应速度。当面对复杂的业务需求和庞大的数据量时,如何高效执行SQL语句,减少查询耗时?今天,让我们深入探索数据库的SQL优化实战技巧!

什么样的SQL优化策略能显著提升数据库的查询速度?在真实项目中有哪些有效的SQL优化案例?如何从实际测试数据中提取关键优化点?

做过性能测试的同学都应该知道,性能测试核心就是结果分析和性能瓶颈调优,然后性能的瓶颈70%-80%的问题都是来自于数据库。所以,掌握数据库的瓶颈分析对其性能测试工程师来说尤为重要。

数据库的性能优化

数据库的性能优化可以从硬件和软件两个层面来考虑:

1)硬件方面:主要就是磁盘选择,考虑磁盘的读写速度、消耗IO【读入 写出】性能,所以尽量选择固态硬盘【速度比机械硬盘高但是价格贵】,并使用独立服务器,跟业务服务器分开。

  • 数据库服务器的存储操作大于计算操作,所以关注磁盘会更多一些;

  • 但是CPU的影响也会有,比如sql复杂一些的时候也会消耗CPU;所以同步关注CPU;

  • 硬件的优化因为主要涉及设备配件的选型和购买,所以性能测试能做的性能优化有限;

2)软件方面:我们做数据库的性能优化主要是这个层面的优化, 数据库层面优化 + 表层面优化

  • 库层面:MYSQL数据库的配置参数会影响数据库的一些性能,比如最大连接数;

  • 表层面:主要是索引字段的设置优化和SQL的优化。

我们这篇文章主要讲一下表层面的SQL性能优化。

SQL语句性能优化

数据库SQL性能优化是提升数据库运行效率的关键环节,以下是一些具体的注意点,并结合案例进行演示和说明,帮助大家理解。

1、避免使用SELECT *

使用SELECT *会检索表中的所有列,会导致不必要的数据传输和内存消耗;如果数据库和项目是两台独立的服务器的话,还会增加网络传输的负载。所以尽量查询具体的列:

比如SQL样例:

* --优化前:select * from user where id=1;* --优化后:select name,age from user where id =1;

2. 使用JOIN代替子查询

子查询通常会导致数据库执行多次表扫描,会增加I/O开销和查询执行时间;使用JOIN操作将多个查询合并为一个查询,可以更好地利用索引和减少表扫描次数;


比如SQL样例:

-- 优化前(子查询)SELECT * FROM orders WHERE user_id = (SELECT user_id FROM users WHERE username = 'john_doe');-- 优化后(JOIN)SELECT o.* FROM orders o JOIN users u ON o.user_id = u.user_id WHERE u.username = 'john_doe';

3. 避免使用OR,使用UNION或UNION ALL代替

在WHERE子句中使用OR条件可能会导致数据库无法使用索引,从而增加全表扫描的机会。使用UNION ALL将多个查询结果合并,每个查询都可以单独使用索引进行优化,从而减少全表扫描的机会。

比如SQL样例:​​​​​​​

* -- 优化前(使用OR):
SELECT * FROM users WHERE age > 30 OR city = 'New York';* -- 优化后(使用UNION ALL) 
SELECT * FROM users WHERE age > 30 UNION ALL SELECT * FROM users WHERE city = 'New York';

注意:使用UNION ALL时,需要确保结果集中不包含重复数据,或者重复数据对业务逻辑没有影响。

4. 避免在WHERE子句中使用函数

在WHERE子句中使用函数会导致数据库无法使用索引来加速查询。将函数计算移到列外,直接使用列值进行判断,这样数据库可以利用索引来加速查询,避免全表扫描。

比如SQL样例:​​​​​​​

 -- 优化前(使用函数) 
SELECT * FROM users WHERE SUBSTRING(username, 1, 3) = 'joh';-- 优化后(不使用函数) 
SELECT * FROM users WHERE username LIKE 'joh%'; 

5、使用LIMIT限制结果集大小

如果查询返回的结果集过大,会消耗大量的内存和I/O资源。使用LIMIT语句限制结果集的大小可以减少数据库的负担,并提高查询性能。

比如SQL样例:

-- 优化前(无LIMIT) 
SELECT id,name FROM products;-- 优化后(使用LIMIT) 
SELECT id,name FROM products LIMIT 100;

 

6、选择合理的字段类型

字段类型选择不当会导致数据存储效率低下和查询性能下降。例如,使用VARCHAR类型存储数字数据会浪费存储空间,并降低查询速度。

所以,根据业务需求选择最合适的字段类型。例如,对于数字数据,应使用INTFLOATDECIMAL等数字类型;对于文本数据,应使用VARCHARTEXT等字符串类型。这样可以提高存储效率和查询性能。

SQL案例:使用数字类型代替字符串类型(如果适用)

-- 优化前(使用VARCHAR):
CREATE TABLE example (id VARCHAR(10), value VARCHAR(100));-- 优化后(使用INT):
CREATE TABLE example (id INT, value VARCHAR(100));

7、使用索引

索引是提高SQL查询性能的关键。没有索引的表在查询时需要执行全表扫描来查找数据,这会导致查询性能下降。在常用的查询条件和连接条件的列上建立索引。索引可以加快查询速度,并减少全表扫描的机会。同时,要注意索引的维护成本,避免创建过多的索引导致插入、更新和删除操作的性能下降。

例如SQL语句:

-- 在user_id列上创建索引 
CREATE INDEX idx_user_id ON users(user_id);-- 使用索引进行查询 
SELECT * FROM users WHERE user_id = 123;

8、避免全表扫描

优化方式:通过合理的索引设计和查询条件,避免全表扫描。

-- 避免在没有索引的列上进行范围查询-- 优化前(可能导致全表扫描):
SELECT * FROM products WHERE price > 100;-- 优化后(在price列上创建索引):
CREATE INDEX idx_price ON products(price);SELECT * FROM products WHERE price > 100;

总结

在当今海量数据的应用场景下,数据库的性能成为影响系统稳定性的重要因素之一。电商、金融、社交等高并发、高数据量的业务需求,对数据库查询效率提出了更高要求。因此,SQL优化已成为企业提升系统性能、降低服务器成本的必备手段。

所以,在做性能测试的时候,如果发现数据库占的CPU比较高,或者响应时间比较长,都可以去检查一下 数据库是否存在上述的SQL问题,从而来优化项目的数据库的性能。

SQL性能优化不仅仅是提升查询速度,更是在系统性能和稳定性方面的全方位提升。通过不断优化SQL语句和数据库结构,我们可以显著减少系统负载,改善用户体验。

“性能测试不只是找出问题,更是用数据驱动的方式,为系统注入高效能的源动力!”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/59431.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

力扣-每日温度

. - 力扣&#xff08;LeetCode&#xff09; 这是我的第一个思路 虽然可以得到正确答案 但是过于暴力 已经超出了时间限制 class Solution { public:vector<int> dailyTemperatures(vector<int>& temperatures) {vector<int>ans;for (int i 0; i <…

1. ArkTS起步

ArkTS是HarmonyOS的主力应用开发语言&#xff0c;基于TypeScript扩展&#xff0c;强化了静态检查和分析&#xff0c;旨在提升程序稳定性和性能。它采用静态类型&#xff0c;禁止运行时改变对象布局&#xff0c;并对UI开发框架能力进行扩展&#xff0c;支持声明式UI描述和自定义…

Vue3 -- 项目配置之stylelint【企业级项目配置保姆级教程3】

stylelint为css的lint工具。可格式化css代码&#xff0c;检查css语法错误与不合理的写法&#xff0c;指定css书写顺序等。 配置stylelint&#xff1a; 我们项目使用scss作为预处理器 安装依赖&#xff1a; pnpm add sass sass-loader stylelint postcss postcss-scss postc…

androidstudio下载gradle慢

1&#xff0c;现象&#xff1a; 2&#xff0c;原因&#xff0c;国内到国外网址慢 3&#xff0c;解决方法&#xff1a;更改gradle-wrapper.properties #Wed Sep 26 20:01:52 CST 2018 distributionBaseGRADLE_USER_HOME distributionPathwrapper/dists zipStoreBaseGRADLE_USER…

golang分布式缓存项目 Day4 一致性哈希

注&#xff1a;该项目原作者&#xff1a;https://geektutu.com/post/geecache-day1.html。本文旨在记录本人做该项目时的一些疑惑解答以及部分的测试样例以便于本人复习 为什么使用一致性哈希 我该访问谁 对于分布式缓存来说&#xff0c;当一个节点接收到请求&#xff0c;如…

计算机网络:运输层 —— 运输层端口号

文章目录 运输层端口号的分类端口号与应用程序的关联应用举例发送方的复用和接收方的分用 运输层端口号的分类 端口号只具有本地意义&#xff0c;即端口号只是为了标识本计算机网络协议栈应用层中的各应用进程。在因特网中不同计算机中的相同端口号是没有关系的&#xff0c;即…

STM32H503开发(1)----开发板测试

STM32H503开发----1.开发板测试 概述硬件准备视频教学样品申请源码下载产品特性参考程序生成STM32CUBEMX串口配置LED配置堆栈设置串口重定向主循环演示 概述 STM32H503 & SENSOR是一款基于STM32H5系列微控制器的评估套件。该微控制器采用了40nm工艺制造&#xff0c;具有更…

#Swift Automatic Initializer Inheritance

在Swift中&#xff0c;**自动初始化器继承&#xff08;Automatic Initializer Inheritance&#xff09;**是一种机制&#xff0c;用于简化类的初始化器继承规则。它决定了在什么条件下子类可以自动继承父类的初始化器&#xff0c;而无需手动实现或重写。自动继承初始化器的机制…

Nacos黑马笔记

1. Nacos安装&#xff08;黑马教程安装材料&#xff09; 1.1 Windows安装 开发阶段采用单机安装即可。 1.1.1 下载安装包 在Nacos的GitHub页面&#xff0c;提供有下载链接&#xff0c;可以下载编译好的Nacos服务端或者源代码&#xff1a; GitHub主页&#xff1a;https://gith…

通过投毒Bingbot索引挖掘必应中的存储型XSS

简介 在本文中&#xff0c;我将讨论如何通过从外部网站对Bingbot进行投毒&#xff0c;来在Bing.com上实现持久性XSS攻击。 什么是存储型或持久性XSS&#xff1f;存储型攻击指的是将恶意脚本永久存储在目标服务器上&#xff0c;例如数据库、论坛、访问日志、评论栏等。受害者在…

【Pikachu】File Inclusion文件包含实战

永远也不要忘记能够笑的坚强&#xff0c;就算受伤&#xff0c;我也从不彷徨。 1.File Inclusion(文件包含漏洞)概述 File Inclusion(文件包含漏洞)概述 文件包含&#xff0c;是一个功能。在各种开发语言中都提供了内置的文件包含函数&#xff0c;其可以使开发人员在一个代码…

Stored procedures in PostgreSQL

select 存储过程&#xff0c;在现了解的情况&#xff0c;还是没有mysql,sqlserver等好写好用。 --postgreSQL 11.0 以下版本 create or replace FUNCTION procInsertSchool (pSchoolId Char(5),pSchoolName VarChar(100),pSchoolTelNo VarChar(8) ) RETURNS void language plp…

Java:JVM

1.JVM内存区域的划分 一个Java写的程序跑起来,就得到了一个Java进程 JVM 上面运行的字节码指令; 进程:操作系统资源分配的基本单位; 内存区域的划分: 1.程序计数器 在内存空间里(比较小的空间),保存了下一个要执行的指令的内存地址(元数据区的地址); 这里的"下一条…

Overleaf数学符号乱码等问题

Overleaf使用XeLatex编译时&#xff0c;公式中数学符号非法显示&#xff0c;如下图&#xff0c;属于∈符号显示错误&#xff1a; 原因&#xff1a;一般是文内中文引起的&#xff0c;警惕是否有中文标点等。 XeLatex编译图片标题是中文 原因&#xff1a;用了UTF-8编码&#x…

【MySQL 保姆级教学】事务的隔离级别(详细)--下(13)

事务的隔离级别 1. 如何理解事务的隔离性2. 事务隔离级别的分类3. 查看和设置事务隔离级别3.1 全局和会话隔离级别3.2 查看和设置隔离级别 4. 事务隔离级别的演示4.1 读未提交&#xff08;Read Uncommitted&#xff09;4.2 读已提交&#xff08;Read Committed&#xff09;4.3 …

响应式网页设计--html

一&#xff0c;HTML 文档的基本结构 一个典型的 HTML 文档包含了几个主要部分&#xff0c;基本结构如下(本文以下出现的所有代码都可以套入下面示例进行测试)&#xff1a; <!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8&q…

ANDROIDWORLD: A Dynamic Benchmarking Environment for Autonomous Agents论文学习

这个任务是基于androidenv的。这个环境之前学过&#xff0c;是一个用来进行强化学习的线上环境。而这篇文章的工作就是要给一些任务加上中间的奖励信号。这种训练环境的优点就是动态&#xff0c;与静态的数据集&#xff08;比如说我自己的工作&#xff09;不同&#xff0c;因此…

从0开始学习机器学习--Day24--核函数

核函数(Kernelsl function) 非线性数据的决策边界 对于非线性问题来说&#xff0c;决策边界在很多时候都是曲线&#xff0c;需要我们在假设函数中加入高阶多项式来拟合原始数据&#xff0c;这对于算法来说需要很长的运行时间去计算这些高阶多项式&#xff0c;那么有没有更高效…

charles简单使用

一、安装&配置 1、安装 通过官网下载稳定版的charles。 说明&#xff1a;官网下载也可以免费使用&#xff0c;不用到处找破解版&#xff0c;还不安全。官网下载的也能用半小时&#xff0c;然后重启一下还能继续用。如果有钱就买个服务&#xff0c;如果不原因花钱就动一动…

VMware和CentOS 7.6 Linux操作系统的安装使用

1. 安装VMware 安装VMware之前&#xff0c;有些电脑是需要去BIOS里修改设置开启cpu虚拟化设备支持才能安装。如果运气不好在安装过程中安装不了的话就自行百度吧。 打开 VMware 的官网: https://www.vmware.com/ 点击 product&#xff0c;往下滑找到 see desktop hypeerviso…