关于性能测试:数据库的 SQL 性能优化实战

在性能测试中,SQL性能优化往往是最具挑战性的任务之一。数据库作为系统的核心数据处理单元,其性能直接影响整体系统的响应速度。当面对复杂的业务需求和庞大的数据量时,如何高效执行SQL语句,减少查询耗时?今天,让我们深入探索数据库的SQL优化实战技巧!

什么样的SQL优化策略能显著提升数据库的查询速度?在真实项目中有哪些有效的SQL优化案例?如何从实际测试数据中提取关键优化点?

做过性能测试的同学都应该知道,性能测试核心就是结果分析和性能瓶颈调优,然后性能的瓶颈70%-80%的问题都是来自于数据库。所以,掌握数据库的瓶颈分析对其性能测试工程师来说尤为重要。

数据库的性能优化

数据库的性能优化可以从硬件和软件两个层面来考虑:

1)硬件方面:主要就是磁盘选择,考虑磁盘的读写速度、消耗IO【读入 写出】性能,所以尽量选择固态硬盘【速度比机械硬盘高但是价格贵】,并使用独立服务器,跟业务服务器分开。

  • 数据库服务器的存储操作大于计算操作,所以关注磁盘会更多一些;

  • 但是CPU的影响也会有,比如sql复杂一些的时候也会消耗CPU;所以同步关注CPU;

  • 硬件的优化因为主要涉及设备配件的选型和购买,所以性能测试能做的性能优化有限;

2)软件方面:我们做数据库的性能优化主要是这个层面的优化, 数据库层面优化 + 表层面优化

  • 库层面:MYSQL数据库的配置参数会影响数据库的一些性能,比如最大连接数;

  • 表层面:主要是索引字段的设置优化和SQL的优化。

我们这篇文章主要讲一下表层面的SQL性能优化。

SQL语句性能优化

数据库SQL性能优化是提升数据库运行效率的关键环节,以下是一些具体的注意点,并结合案例进行演示和说明,帮助大家理解。

1、避免使用SELECT *

使用SELECT *会检索表中的所有列,会导致不必要的数据传输和内存消耗;如果数据库和项目是两台独立的服务器的话,还会增加网络传输的负载。所以尽量查询具体的列:

比如SQL样例:

* --优化前:select * from user where id=1;* --优化后:select name,age from user where id =1;

2. 使用JOIN代替子查询

子查询通常会导致数据库执行多次表扫描,会增加I/O开销和查询执行时间;使用JOIN操作将多个查询合并为一个查询,可以更好地利用索引和减少表扫描次数;


比如SQL样例:

-- 优化前(子查询)SELECT * FROM orders WHERE user_id = (SELECT user_id FROM users WHERE username = 'john_doe');-- 优化后(JOIN)SELECT o.* FROM orders o JOIN users u ON o.user_id = u.user_id WHERE u.username = 'john_doe';

3. 避免使用OR,使用UNION或UNION ALL代替

在WHERE子句中使用OR条件可能会导致数据库无法使用索引,从而增加全表扫描的机会。使用UNION ALL将多个查询结果合并,每个查询都可以单独使用索引进行优化,从而减少全表扫描的机会。

比如SQL样例:​​​​​​​

* -- 优化前(使用OR):
SELECT * FROM users WHERE age > 30 OR city = 'New York';* -- 优化后(使用UNION ALL) 
SELECT * FROM users WHERE age > 30 UNION ALL SELECT * FROM users WHERE city = 'New York';

注意:使用UNION ALL时,需要确保结果集中不包含重复数据,或者重复数据对业务逻辑没有影响。

4. 避免在WHERE子句中使用函数

在WHERE子句中使用函数会导致数据库无法使用索引来加速查询。将函数计算移到列外,直接使用列值进行判断,这样数据库可以利用索引来加速查询,避免全表扫描。

比如SQL样例:​​​​​​​

 -- 优化前(使用函数) 
SELECT * FROM users WHERE SUBSTRING(username, 1, 3) = 'joh';-- 优化后(不使用函数) 
SELECT * FROM users WHERE username LIKE 'joh%'; 

5、使用LIMIT限制结果集大小

如果查询返回的结果集过大,会消耗大量的内存和I/O资源。使用LIMIT语句限制结果集的大小可以减少数据库的负担,并提高查询性能。

比如SQL样例:

-- 优化前(无LIMIT) 
SELECT id,name FROM products;-- 优化后(使用LIMIT) 
SELECT id,name FROM products LIMIT 100;

 

6、选择合理的字段类型

字段类型选择不当会导致数据存储效率低下和查询性能下降。例如,使用VARCHAR类型存储数字数据会浪费存储空间,并降低查询速度。

所以,根据业务需求选择最合适的字段类型。例如,对于数字数据,应使用INTFLOATDECIMAL等数字类型;对于文本数据,应使用VARCHARTEXT等字符串类型。这样可以提高存储效率和查询性能。

SQL案例:使用数字类型代替字符串类型(如果适用)

-- 优化前(使用VARCHAR):
CREATE TABLE example (id VARCHAR(10), value VARCHAR(100));-- 优化后(使用INT):
CREATE TABLE example (id INT, value VARCHAR(100));

7、使用索引

索引是提高SQL查询性能的关键。没有索引的表在查询时需要执行全表扫描来查找数据,这会导致查询性能下降。在常用的查询条件和连接条件的列上建立索引。索引可以加快查询速度,并减少全表扫描的机会。同时,要注意索引的维护成本,避免创建过多的索引导致插入、更新和删除操作的性能下降。

例如SQL语句:

-- 在user_id列上创建索引 
CREATE INDEX idx_user_id ON users(user_id);-- 使用索引进行查询 
SELECT * FROM users WHERE user_id = 123;

8、避免全表扫描

优化方式:通过合理的索引设计和查询条件,避免全表扫描。

-- 避免在没有索引的列上进行范围查询-- 优化前(可能导致全表扫描):
SELECT * FROM products WHERE price > 100;-- 优化后(在price列上创建索引):
CREATE INDEX idx_price ON products(price);SELECT * FROM products WHERE price > 100;

总结

在当今海量数据的应用场景下,数据库的性能成为影响系统稳定性的重要因素之一。电商、金融、社交等高并发、高数据量的业务需求,对数据库查询效率提出了更高要求。因此,SQL优化已成为企业提升系统性能、降低服务器成本的必备手段。

所以,在做性能测试的时候,如果发现数据库占的CPU比较高,或者响应时间比较长,都可以去检查一下 数据库是否存在上述的SQL问题,从而来优化项目的数据库的性能。

SQL性能优化不仅仅是提升查询速度,更是在系统性能和稳定性方面的全方位提升。通过不断优化SQL语句和数据库结构,我们可以显著减少系统负载,改善用户体验。

“性能测试不只是找出问题,更是用数据驱动的方式,为系统注入高效能的源动力!”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/59431.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

力扣-每日温度

. - 力扣&#xff08;LeetCode&#xff09; 这是我的第一个思路 虽然可以得到正确答案 但是过于暴力 已经超出了时间限制 class Solution { public:vector<int> dailyTemperatures(vector<int>& temperatures) {vector<int>ans;for (int i 0; i <…

论文解析:基于区块链的去中心化服务选择,用于QoS感知的云制造(四区)

目录 论文解析:基于区块链的去中心化服务选择,用于QoS感知的云制造(四区) 基于区块链的去中心化云制造服务选择方法 一、核心内容概述 二、核心创新点及原理与理论 三、实验与理论分析 PBFT(实用拜占庭容错) 论文解析:基于区块链的去中心化服务选择,用于QoS感知的…

1. ArkTS起步

ArkTS是HarmonyOS的主力应用开发语言&#xff0c;基于TypeScript扩展&#xff0c;强化了静态检查和分析&#xff0c;旨在提升程序稳定性和性能。它采用静态类型&#xff0c;禁止运行时改变对象布局&#xff0c;并对UI开发框架能力进行扩展&#xff0c;支持声明式UI描述和自定义…

Vue3 -- 项目配置之stylelint【企业级项目配置保姆级教程3】

stylelint为css的lint工具。可格式化css代码&#xff0c;检查css语法错误与不合理的写法&#xff0c;指定css书写顺序等。 配置stylelint&#xff1a; 我们项目使用scss作为预处理器 安装依赖&#xff1a; pnpm add sass sass-loader stylelint postcss postcss-scss postc…

SpringBoot中使用拦截器拦截跳转登录详解

文章目录 SpringBoot中使用拦截器拦截跳转登录详解一、引言二、方法一&#xff1a;基于Session的拦截器1、拦截器实现1.1、创建拦截器类1.2、拦截器配置 2、控制器和视图2.1、控制器实现2.2、视图实现 三、方法二&#xff1a;基于异常处理的拦截器1、拦截器实现1.1、创建拦截器…

androidstudio下载gradle慢

1&#xff0c;现象&#xff1a; 2&#xff0c;原因&#xff0c;国内到国外网址慢 3&#xff0c;解决方法&#xff1a;更改gradle-wrapper.properties #Wed Sep 26 20:01:52 CST 2018 distributionBaseGRADLE_USER_HOME distributionPathwrapper/dists zipStoreBaseGRADLE_USER…

golang分布式缓存项目 Day4 一致性哈希

注&#xff1a;该项目原作者&#xff1a;https://geektutu.com/post/geecache-day1.html。本文旨在记录本人做该项目时的一些疑惑解答以及部分的测试样例以便于本人复习 为什么使用一致性哈希 我该访问谁 对于分布式缓存来说&#xff0c;当一个节点接收到请求&#xff0c;如…

爬虫如何解决短效代理被封的问题?

在数据采集的征途上&#xff0c;短效代理如同一把双刃剑&#xff0c;它既能为我们带来速度和效率&#xff0c;也可能因为频繁更换IP地址而遭遇被封禁的风险。那么&#xff0c;作为数据采集er的我们&#xff0c;该如何巧妙应对&#xff0c;确保爬虫的稳定运行呢&#xff1f;今天…

计算机网络:运输层 —— 运输层端口号

文章目录 运输层端口号的分类端口号与应用程序的关联应用举例发送方的复用和接收方的分用 运输层端口号的分类 端口号只具有本地意义&#xff0c;即端口号只是为了标识本计算机网络协议栈应用层中的各应用进程。在因特网中不同计算机中的相同端口号是没有关系的&#xff0c;即…

STM32H503开发(1)----开发板测试

STM32H503开发----1.开发板测试 概述硬件准备视频教学样品申请源码下载产品特性参考程序生成STM32CUBEMX串口配置LED配置堆栈设置串口重定向主循环演示 概述 STM32H503 & SENSOR是一款基于STM32H5系列微控制器的评估套件。该微控制器采用了40nm工艺制造&#xff0c;具有更…

#Swift Automatic Initializer Inheritance

在Swift中&#xff0c;**自动初始化器继承&#xff08;Automatic Initializer Inheritance&#xff09;**是一种机制&#xff0c;用于简化类的初始化器继承规则。它决定了在什么条件下子类可以自动继承父类的初始化器&#xff0c;而无需手动实现或重写。自动继承初始化器的机制…

Nacos黑马笔记

1. Nacos安装&#xff08;黑马教程安装材料&#xff09; 1.1 Windows安装 开发阶段采用单机安装即可。 1.1.1 下载安装包 在Nacos的GitHub页面&#xff0c;提供有下载链接&#xff0c;可以下载编译好的Nacos服务端或者源代码&#xff1a; GitHub主页&#xff1a;https://gith…

通过投毒Bingbot索引挖掘必应中的存储型XSS

简介 在本文中&#xff0c;我将讨论如何通过从外部网站对Bingbot进行投毒&#xff0c;来在Bing.com上实现持久性XSS攻击。 什么是存储型或持久性XSS&#xff1f;存储型攻击指的是将恶意脚本永久存储在目标服务器上&#xff0c;例如数据库、论坛、访问日志、评论栏等。受害者在…

【Pikachu】File Inclusion文件包含实战

永远也不要忘记能够笑的坚强&#xff0c;就算受伤&#xff0c;我也从不彷徨。 1.File Inclusion(文件包含漏洞)概述 File Inclusion(文件包含漏洞)概述 文件包含&#xff0c;是一个功能。在各种开发语言中都提供了内置的文件包含函数&#xff0c;其可以使开发人员在一个代码…

Stored procedures in PostgreSQL

select 存储过程&#xff0c;在现了解的情况&#xff0c;还是没有mysql,sqlserver等好写好用。 --postgreSQL 11.0 以下版本 create or replace FUNCTION procInsertSchool (pSchoolId Char(5),pSchoolName VarChar(100),pSchoolTelNo VarChar(8) ) RETURNS void language plp…

Llama微调测试记录

使用llama模型(Atom-7B-Chat) 参考github:https://github.com/LlamaFamily/Llama-Chineseconda安装python3.11的环境运行pip install -r requirements.txt从huggingface的下载Atom-7B-Chat模型,此处推荐一个好用的镜像:https://hf-mirror.com/FlagAlpha/Atom-7B-Chat使用A…

测试实项中的偶必现难测bug--苹果支付丢单问题

问题描述: app支付后,由于某种原因(可能是网络、流量不稳定、或者用户快速频繁操作。。。)会造成一定概率性的回调苹果支付结果失败的情况出现,表现的直观现象就是客户反馈已经支付了,包括苹果支付也是有记录,但是我们的后台显示的是已取消状态的订单 验证难点:测试和…

Java:JVM

1.JVM内存区域的划分 一个Java写的程序跑起来,就得到了一个Java进程 JVM 上面运行的字节码指令; 进程:操作系统资源分配的基本单位; 内存区域的划分: 1.程序计数器 在内存空间里(比较小的空间),保存了下一个要执行的指令的内存地址(元数据区的地址); 这里的"下一条…

常见git命令记录

记录一些常见的git操作 下载代码 下载 git clone [代码连接] 切分支 git branch -b [分支名] 提交代码 添加 git add [需要提交的代码路径] 提交 git commit -m "一些骚话" push git push origin HEAD:refs/for/[仓名称] 通过diff文件&#xff0c;同步修…

快递物流查询API接口如何用PHP调用

在现代商业中&#xff0c;供应链的协同运作至关重要。 快递物流查询API接口可以实现供应商、电商平台、物流企业和消费者之间的信息无缝对接&#xff0c;各方能够及时获取快递物流信息&#xff0c;从而更好地协调生产、销售和配送等环节&#xff0c;提高整个供应链的效率和效益…