项目实战-MySQL极佳优化方案---前缀索引

一、应用背景

由于公司项目数据量较大,开发小程序和APP过程中,SQL查询超过1.5s以上的等待时间,因此需要对SQL或者数据表结构设计进行优化。就不讲SQL语句优化啦,而是记录一下数据表结构设计优化的前缀索引实现。

二、MySQL索引
作用:
  • 加速查询:索引能够显著减少数据库系统需要扫描的数据量,从而加快查询速度。
  • 支持排序和分组:通过使用索引,数据库可以更快地执行排序和分组操作,因为索引已经对数据进行了排序。
  • 保证数据的唯一性:通过创建唯一索引,可以确保表中每一行数据的某列或多列组合是唯一的。
类型:
  • 主键索引(PRIMARY KEY):数据表只能包含一个主键索引,且不允许有空值(NULL)。在InnoDB存储引擎中,主键索引也被称为聚簇索引,表中的数据行实际上是按照主键索引的顺序存储的。
  • 唯一索引(UNIQUE):与主键索引类似,唯一索引也要求索引列的值是唯一的,但允许有空值(NULL)。
  • 普通索引(INDEX 或 KEY):最基本的索引类型,没有任何限制。
  • 全文索引(FULLTEXT):用于全文搜索,只有MyISAM和InnoDB存储引擎支持全文索引。
  • 空间索引(SPATIAL):用于地理空间数据类型,只有MyISAM存储引擎支持空间索引。
  • 前缀索引:只索引列值的前缀字符。
  • 复合索引:在表的多个列上创建索引。
三、前缀索引
介绍

对文本的前几个字符建立索引,具体是几个字符在建立索引时去指定,比如:以产品名称的前 10 位来建索引,这样建立起来的索引更小,查询效率更快。有点类似于 Oracle 中对字段使用 Left 函数来建立函数索引,只不过 MySQL 的这个前缀索引在查询时是内部自动完成匹配的,并不需要使用 Left 函数。

优点

当某个字段的数据量太大,而且查询又非常的频繁时,使用前缀索引能有效的减小索引文件的大小,让每个索引页可以保存更多的索引值,从而提高索引查询的速度。比如,客户店铺名称,有的名称很长,有的很短,如果完全按照全覆盖来建索引,索引的存储空间可能会非常的大,有的表如果索引创建的很多,甚至会出现索引存储的空间都比数据表的存储空间大很多,因此对于这种文本很长的字段,可以截取前几个字符来建索引,在一定程度上,既能满足数据的查询效率要求,又能节省索引存储空间。

缺点

MySQL 中无法使用前缀索引进行 ORDER BY 和 GROUP BY,也无法用来进行覆盖扫描,当字符串本身可能比较长,而且前几个字符完全相同,这个时候前缀索引的优势就不明显,也就没有创建前缀索引的必要。

应用

当某个字段内容的前几位区分度很高的时候,这个时候采用前缀索引,可以在查询性能和空间存储方面达到一个很高的性价比。

创建

建立前缀索引

ALTER TABLE table_name ADD KEY(column_name(prefix_length));

其中prefix_length这个参数,就是前缀长度的意思,通常通过如下方式进行确认,步骤如下:
第一步,先计算某字段全列的区分度。

SELECT COUNT(DISTINCT column_name) / COUNT(*) FROM table_name;

第二步,然后再计算前缀长度为多少时和全列的区分度最相似

SELECT COUNT(DISTINCT LEFT(column_name, prefix_length)) / COUNT(*) FROM table_name;

之后不断地调整prefix_length的值,直到和全列计算出区分度相近,最相近的那个值,就是prefix_length想要的值。

实践

新建测试表,数据体量在 100 万以上,表结构如下:

CREATE TABLE `tb_test` (`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,`name` varchar(100) DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

在这里插入图片描述
数据内容:
在这里插入图片描述
测试正常的带name条件查询,效率如下:

select * from tb_test where name like '1805.59281427%'

在这里插入图片描述
SQL查询耗时:0.29秒
在这里插入图片描述
接下来,以name字段为例,创建前缀索引,找出最合适的prefix_length值。大致计算一下name字段全列的区分度。

select count(distinct name) / count(*) from tb_test;

在这里插入图片描述
结果为 0.9945,即全局不相同的数据率在99.45%这个比例。

接下来计算在不同的prefix_length值下,对应的数据不重复比例。

  • 当prefix_length为5,区分度为 0.2237
select count(distinct left(name, 5)) / count(*) from tb_test;

在这里插入图片描述

  • 当prefix_length为10,区分度为 0.9944
select count(distinct left(name, 10)) / count(*) from tb_test;

在这里插入图片描述

  • 当prefix_length为11,区分度为 0.9945
select count(distinct left(name, 11)) / count(*) from tb_test;

在这里插入图片描述
通过对比发现当prefix_length为11,最接近全局区分度,因此可以为name创建一个长度为11的前缀索引,创建索引语句如下:

alter table tb_test add key(name(11));

再试试上面那个语句查询, 并查看运行效率:
在这里插入图片描述
很明显,创建前缀索引之后,查询效率倍增,达到0.00032秒。

四、注意事项

不是所有的字段都适合用前缀索引。当某个索引的字符串列很大时,创建的索引也就变得很大,为减小索引体积,提高索引的扫描速度,使用索引的前部分字符串作为索引值,这样索引占用的空间就会大大减少,并且索引的选择性也不会降低很多,这时前缀索引显现的作用就会非常明显,前缀索引本质是索引查询性能和存储空间的一种平衡。
对于 BLOB 和 TEXT 列进行索引,或者非常长的 VARCHAR 列,就必须使用前缀索引,因为 MySQL 不允许索引它们的全部长度。
如果某个字段内容,比如前缀部分相似度很高,此时的前缀索引显现效果就不会很明显,采用覆盖索引效果会更好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/39923.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python学习-基础1

一.简介 Python的特点和优势是什么? Python是一种解释型语言、动态类型语言、面向对象编程语言,具有丰富的库和广泛的应用领域。 python大小写敏感,靠缩进保证代码的执行 二.Python中的数据类型 Python的八种数据类型八种数据类型分别是…

昇思25天学习打卡营第10天|使用静态图加速

昇思25天学习打卡营第10天|使用静态图加速 前言使用静态图加速背景介绍动态图模式静态图模式 静态图模式的使用场景静态图模式开启方式基于装饰器的开启方式基于context的开启方式 静态图的语法约束JitConfig配置选项静态图高级编程技巧 个人任务打卡(读者请忽略&am…

UE4_材质_水体的反射与折射制作_Ben教程

在这个教程中,将制作水的反射和折射,上个教程,我们主要讲了制作水涟漪(水面波纹)和水滴法线混合,水深计算,我们首先要谈的是反射和产生折射的问题。我们将所有从干扰从场景中分离出去&#xff0…

英伟达(NVIDIA)数据中心GPU介绍

英伟达(NVIDIA)数据中心GPU按性能由高到低排行: 1. NVIDIA H100 架构:Hopper 核心数量:18352 CUDA Cores, 1456 Tensor Cores 显存:80 GB HBM3 峰值性能: 单精度(FP32&#xff09…

一个动画形式的分形树

要在Python中使用matplotlib来创建并展示一个动画形式的分形树(例如,基于递归的L系统生成的树),我们需要结合使用matplotlib的动画功能以及递归函数来生成树的形状。下面是一个简单的示例,展示如何使用matplotlib和Fun…

Fish Shell 中创建一个自定义函数来简化命令并复制输出到剪贴板

在 Fish Shell 中创建一个自定义函数来简化命令并复制输出到剪贴板是一个非常实用的技巧。如果你想让这个函数更通用,不仅仅局限于 tree 命令,你可以修改函数定义,使其接受任意命令作为参数。下面是如何创建一个更通用的函数,你可…

Ubuntu + SSH密钥连接服务器

1. 下载VSCode 下载链接 cd到下载文件夹后,使用命令安装,把xxx复制为文件名 sudo dpkg -i xxx.deb2. 为VSCode换皮肤 3. 下载SSH插件 4. 配置SSH 把密钥key文件放在/home/your_user_name/.ssh/里面,然后在/home/your_user_name/.ssh/confi…

【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【18】认证服务02—微博社交登录

持续学习&持续更新中… 守破离 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【18】认证服务02—微博社交登录 微博社交登录图示原理前置准备实现流程完整代码 参考 微博社交登录 OAuth: OAuth(开放授权)是一个开放标准&#xff0…

Flutter详细使用socketIo实现实时通讯

文章目录 1. NodeJS2. SocketIo3. 服务端实现3.1 Express 4 Flutter总结 1. NodeJS 首先使用Node创建一个服务端,让Node来对所有接受到的数据进行一个获取和存储已经转发。通过在Node中编写接口来对数据进行一个具体的操作。不懂接口可以查看这篇文章。[接口](https…

如何正确面对GPT-5技术突破

随着人工智能技术的快速发展,预训练语言模型在自然语言处理领域取得了显著的成果。其中,GPT系列模型作为代表之一,受到了广泛关注。2023年,GPT-5模型的发布引起了业界的热烈讨论。本文将从以下几个方面分析GPT-5的发布及其对人工智…

Spring Boot2.x教程:(四)Spring Boot2.6及之后版本整合Knife4j的问题

Spring Boot2.6及之后版本整合Knife4j的问题 1、概述2、问题出现原因及解决办法3、拓展3.1、为什么发生这种变化 4、总结 大家好,我是欧阳方超,可以扫描下方二维码关注我的公众号“欧阳方超”,后续内容将在公众号首发。 1、概述 今天在2.7…

java-迭代器

## Java中的迭代器 ### 1. 介绍 迭代器(Iterator)是Java集合框架中一个重要的接口,用于遍历集合中的元素。迭代器提供了一种通用的方法来访问集合中的每个元素,而不需要了解集合的底层实现。Java中的迭代器支持集合的顺序遍历&a…

文本生成模型API比拼!KimiGPT 和 GLM-4 哪个更适合你?

在当今信息时代,人工智能(AI)技术的飞速发展正以前所未有的速度和深度改变着我们的生活和工作方式。随着大数据、计算能力和算法的不断提升,各类大模型的涌现使得AI的应用领域日益广泛,从自然语言处理到图像识别&#…

标准卷积的初始化和详细计算步骤,在代码中哪一步开始更新卷积核(权重)

标准卷积的初始化和详细计算步骤,在代码中哪一步开始更新卷积核(权重) flyfish 卷积 - 感受野(Receptive Field) 在卷积神经网络(CNN)中为什么可以使用多个较小的卷积核替代一个较大的卷积核&…

互联网盲盒小程序的市场发展前景如何?

近几年来,盲盒成为了大众热衷的消费市场。盲盒是一个具有随机性和惊喜感,它能够激发消费者的好奇心,在拆盲盒的过程中给消费者带来巨大的愉悦感,在各种的吸引力下,消费者也愿意为各类盲盒买单。如今,随着盲…

VSCode里python代码不扩展/级联了的解决办法

如图 解决办法:重新下载新的扩展工具 步骤如下 1、在左边工具栏打开Extensions 2、搜索框输入python,选择别的扩展工具,点击Install - 3在扩展工具所在的目录下,新建一个文件,就可以用了

iis部署前后端分离项目(React前端,Node.js后端)

iis虽然已经有点过时,但不少用户还在用,故总结一下。 1. 安装iis 如果电脑没有自带iis管理器,打开控制面板->程序->启用或关闭Windows功能,勾选iis安装即可 2. 部署前端项目 打开iis,添加网站,物理…

Docker加速器配置指南:提升镜像下载速度的秘诀 加速安装Mysql Redis ES

在安装 Docker 镜像时,由于官方镜像下载速度较慢,我们可以使用阿里云的镜像加速器来提升下载速度。 使用阿里云镜像加速器 首先,找到并配置阿里云的镜像加速器。安装教程如下: 登录阿里云,进入容器镜像服务。直达链…

05 docker 镜像

目录 1. 镜像 2. 联合文件系统 3. docker镜像加载原理 4. 镜像分层 镜像分层的优势 5. 容器层 1. 镜像 镜像是一种轻量级、可执行的独立软件包,它包含运行某个软件所需的所有内容,我们把应用程序和配置依赖打包好行程一个可交付的运行环境&#xf…

AMEYA360代理:海凌科60G客流量统计雷达模块 4T4R出入口绊数计数

数字化时代,不管是大型商城还是各种连锁店,客流统计分析都可以帮助企业更加精准地了解顾客需求和消费行为。 海凌科推出一款专用于客流量统计的60G雷达模块,4T4R,可以实时进行固定范围内的人体运动轨迹检测,根据人体的…