数据库单表千万行 LIKE 搜索优化手记

我们经常在数据库中使用 LIKE 操作符来完成对数据的模糊搜索，LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。

如果需要查找客户表中所有姓氏是“张”的数据，可以使用下面的 SQL 语句：

SELECT * FROM Customer WHERE Name LIKE '张%'

如果需要查找客户表中所有手机尾号是“1234”的数据，可以使用下面的 SQL 语句：

SELECT * FROM Customer WHERE Phone LIKE '%123456'

如果需要查找客户表中所有名字中包含“秀”的数据，可以使用下面的 SQL 语句：

SELECT * FROM Customer WHERE Name LIKE '%秀%'

以上三种分别对应了：左前缀匹配、右后缀匹配和模糊查询，并且对应了不同的查询优化方式。

数据概览

现在有一张名为 tbl_like 的数据表，表中包含了四大名著中的全部语句，数据条数上千万：

左前缀匹配查询优化

如果要查询所有以“孙悟空”开头的句子，可以使用下面的 SQL 语句：

SELECT * FROM tbl_like WHERE txt LIKE '孙悟空%'

SQL Server 数据库比较强大，耗时八百多毫秒，并不算快：

我们可以在 txt 列上建立索引，用于优化该查询：

CREATE INDEX tbl_like_txt_idx ON [tbl_like] ( [txt] )

应用索引后，查询速度大大加快，仅需 5 毫秒：

由此可知：对于左前缀匹配，我们可以通过增加索引的方式来加快查询速度。

右后缀匹配查询优化

在右后缀匹配查询中，上述索引对右后缀匹配并不生效。使用以下 SQL 语句查询所有以“孙悟空”结尾的数据：

SELECT * FROM tbl_like WHERE txt LIKE '%孙悟空'

效率十分低下，耗时达到了 2.5秒：

我们可以采用“以空间换时间”的方式来解决右后缀匹配查询时效率低下的问题。

简单来说，我们可以将字符串倒过来，让右后缀匹配变成左前缀匹配。以“防着古海回来再抓孙悟空”为例，将其倒置之后的字符串是“空悟孙抓再来回海古着防”。当需要查找结尾为“孙悟空”的数据时，去查找以“空悟孙”开头的数据即可。

具体做法是：在该表中增加“txt_back”列，将“txt”列的值倒置后，填入“txt_back”列中，最后为 “txt_back”列增加索引。

ALTER TABLE tbl_like ADD txt_back nvarchar(1000);-- 增加数据列
UPDATE tbl_like SET txt_back = reverse(txt); -- 填充 txt_back 的值
CREATE INDEX tbl_like_txt_back_idx ON [tbl_like] ( [txt_back] );-- 为 txt_back 列增加索引

数据表调整之后，我们的 SQL 语句也需要调整：

SELECT * FROM tbl_like WHERE txt_back LIKE '空悟孙%'

此番操作下来，执行速度就非常迅速了：

由此可知：对于右后缀匹配，我们可以建立倒序字段将右后缀匹配变成左前缀匹配来加快查询速度。

模糊查询优化

在查询所有包含“悟空”的语句时，我们使用以下的 SQL 语句：

SELECT * FROM tbl_like WHERE txt LIKE '%悟空%'

该语句无法利用到索引，所以查询非常慢，需要 2.7 秒：

遗憾的是，我们并没有一个简单的办法可以优化这个查询。但没有简单的办法，并不代表没有办法。解决办法之一就是：分词+倒排索引。

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂得多、困难得多。

倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。

以上两段让人摸不着头脑的文字来自百度百科，你可以和我一样选择忽略他。

我们不需要特别高超的分词技巧，因为汉语的特性，我们只需“二元”分词即可。

所谓二元分词，即将一段话中的文字每两个字符作为一个词来分词。还是以“防着古海回来再抓孙悟空”这句话为例，进行二元分词之后，得到的结果是：防着、着古、古海，海回，回来，来再，再抓，抓孙，孙悟，悟空。使用 C# 简单实现一下：

public static List<String> Cut(String str){var list = new List<String>();var buffer = new Char[2];for (int i = 0; i < str.Length - 1; i++){buffer[0] = str[i];buffer[1] = str[i + 1];list.Add(new String(buffer));}return list;}

测试一下结果：

我们需要一张数据表，把分词后的词条和原始数据对应起来，为了获得更好的效率，我们还用到了覆盖索引：

CREATE TABLE tbl_like_word ([id] int identity,[rid] int NOT NULL,[word] nchar(2) NOT NULL,PRIMARY KEY CLUSTERED ([id]));
CREATE INDEX tbl_like_word_word_idx ON tbl_like_word(word,rid);-- 覆盖索引（Covering index）

以上 SQL 语句创建了一张名为 ”tbl_like_word“的数据表，并为其 ”word“和“rid”列增加了联合索引。这就是我们的倒排表，接下来就是为其填充数据。

为了便于演示，笔者使用了 LINQPad 来做数据处理，对该工具感兴趣的朋友，可以参看笔者之前的文章：《.NET 程序员的 Playground ：LINQPad》，文章中对 LINQPad 做了一个简要的介绍，链接地址是：https://www.coderbusy.com/archives/432.html 。

我们需要先用 LINQPad 自带的数据库链接功能链接至数据库，之后就可以在 LINQPad 中与数据库交互了。首先按 Id 顺序每 3000 条一批读取 tbl_like 表中的数据，对 txt 字段的值分词后生成 tbl_like_word 所需的数据，之后将数据批量入库。完整的 LINQPad 代码如下：

void Main(){var maxId = 0;const int limit = 3000;var wordList = new List<Tbl_like_word>();while (true){$"开始处理：{maxId} 之后 {limit} 条".Dump("Log");//分批次读取var items = Tbl_likes.Where(i => i.Id > maxId).OrderBy(i => i.Id).Select(i => new { i.Id, i.Txt }).Take(limit).ToList();if (items.Count == 0){break;}//逐条生产foreach (var item in items){maxId = item.Id;//单个字的数据跳过if (item.Txt.Length < 2){continue;}var words = Cut(item.Txt);wordList.AddRange(words.Select(str => new Tbl_like_word {  Rid = item.Id, Word = str }));}}"处理完毕，开始入库。".Dump("Log");this.BulkInsert(wordList);SaveChanges();"入库完成".Dump("Log");
}
// Define other methods, classes and namespaces here
public static List<String> Cut(String str){var list = new List<String>();var buffer = new Char[2];for (int i = 0; i < str.Length - 1; i++){buffer[0] = str[i];buffer[1] = str[i + 1];list.Add(new String(buffer));}return list;
}

以上 LINQPad 脚本使用 Entity Framework Core 连接到了数据库，并引用了 NuGet 包“EFCore.BulkExtensions”来做数据批量插入。

之后，就可以把查询安排上，先查询倒排索引，然后关联到主表：

SELECT TOP 10 * FROM tbl_like WHERE id IN (
SELECT rid FROM tbl_like_word WHERE word IN ('悟空'))

查询速度很快，仅需十几毫秒：

因为我们将所有的语句分成了二字符词组，所以当需要对单个字符模糊查询时，直接使用 LIKE 是一个更加经济的方案。如果需要查询的字符多于两个时，就需要对查询词进行分词。如需查询“东土大唐”一词，构造出的查询语句可能会是这样：

SELECT TOP 10*FROM tbl_like WHERE id IN (
SELECT rid FROM tbl_like_word WHERE word IN ('东土','土大','大唐'))

但是，该查询并不符合我们的预期，因为其将只包含“土大”的语句也筛选了出来：

我们可以采取一些技巧来解决这个问题，比如先 GROUP 一下：

SELECT TOP10 *
FROMtbl_like
WHEREid IN (SELECTridFROMtbl_like_wordWHEREword IN ( '东土', '土大', '大唐' )GROUP BYridHAVINGCOUNT ( DISTINCT ( word ) ) = 3)

在上述 SQL 语句中，我们对 rid 进行了分组，并筛选出了不重复的词组数量是三个（即我们的查询词数量）的。于是，我们可以得到正确的结果：

由此可知：对于模糊查询，我们可以通过分词+倒排索引的方式优化查询速度。

后记

虽然在讲述时使用的是 SQL Server 数据库，但是以上优化经验对大部分关系型数据库来说是通用的，比如 MySQL、Oracle 等。

如果你和笔者一样在实际工作中使用 PostgreSQL 数据库，那么在做倒排索引时可以直接使用数组类型并配置 GiN 索引，以获得更好的开发和使用体验。需要注意的是，虽然 PostgreSQL 支持函数索引，但是如果对函数结果进行 LIKE 筛选时，索引并不会命中。

对于 SQLite 这种小型数据库，模糊搜索并不能使用到索引，所以左前缀搜索和右后缀搜索的优化方式对其不生效。不过，一般我们不会使用 SQLite 去存储大量的数据，尽管分词+倒排索引的优化方式也可以在 SQLite 中实现。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/307995.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Mybatis第一个程序

Mybatis第一个程序

一:整体流程 这个流程可以根据官方文档进行编写 mybatis的官方文档 二:实现 1:创建一个表 CREATE DATABASE mybatis;CREATE TABLE user(id INT NOT NULL PRIMARY KEY,name VARCHAR(30) NOT NULL DEFAULT ,pwd VARCHAR(20) NOT NULL DEFAULT )ENGINE INNODB;INSERT I…
阅读更多...
基于.NetCore3.1系列 —— 日志记录之初识Serilog

基于.NetCore3.1系列 —— 日志记录之初识Serilog

前言对内置日志系统的整体实现进行了介绍之后&#xff0c;可以通过使用内置记录器来实现日志的输出路径。而在实际项目开发中&#xff0c;使用第三方日志框架&#xff08;如&#xff1a;Log4Net、NLog、Loggr、Serilog、Sentry 等&#xff09;来记录也是非常多的。首先一般基础…
阅读更多...
手把手教你剖析vue响应式原理，监听数据不再迷茫

手把手教你剖析vue响应式原理，监听数据不再迷茫

Object.defineProperty实现vue响应式原理一、组件化基础1、“很久以前”的组件化&#xff08;1&#xff09;asp jsp php 时代&#xff08;2&#xff09;nodejs2、数据驱动视图&#xff08;MVVM&#xff0c;setState&#xff09;&#xff08;1&#xff09;数据驱动视图 - Vue MV…
阅读更多...
leetcode:203. 移除链表元素（两种方法）

leetcode:203. 移除链表元素（两种方法）

一:题目 二:上码 1:方法一&#xff1a;(虚拟一个首结点) class Solution { public:ListNode* removeElements(ListNode* head, int val) {//1.虚拟一个头结点 这样就不用单独处理了ListNode * virtuals new ListNode(0);//给其开辟个空间并且赋初值virtuals->next head…
阅读更多...
面试中的网红虚拟DOM，你知多少呢？深入解读diff算法

面试中的网红虚拟DOM，你知多少呢？深入解读diff算法

深入浅出虚拟DOM和diff算法一、虚拟DOM&#xff08;Vitual DOM&#xff09;1、虚拟DOM&#xff08;Vitual DOM&#xff09;和diff的关系2、真实DOM的渲染过程3、虚拟DOM是什么&#xff1f;4、解决方案 - vdom&#xff08;1&#xff09;问题引出&#xff08;2&#xff09;vdom如…
阅读更多...
Blazor带我重玩前端(六)

Blazor带我重玩前端(六)

本文主要讨论Blazor事件内容&#xff0c;由于blazor事件部分很多&#xff0c;所以会分成上下两篇&#xff0c;本文为第二篇。双向绑定概述如图所示当点击单项绑定的时候&#xff0c;MyOnewayComponent里的属性值会发生变化&#xff0c;这种变化是单项的&#xff0c;仅仅只是本地…
阅读更多...
leetcode707:设计链表(增删差)

leetcode707:设计链表(增删差)

一:题目 二:上码 class MyLinkedList { public://定义链表节点结构体struct LinkedNode {int val;LinkedNode* next;LinkedNode(int val):val(val), next(nullptr){}};// 初始化链表MyLinkedList() {node new LinkedNode(0); // 这里定义的头结点 是一个虚拟头结点&#xff0…
阅读更多...
深入探究.Net Core Configuration读取配置的优先级

深入探究.Net Core Configuration读取配置的优先级

前言在之前的文章.Net Core Configuration源码探究一文中我们曾解读过Configuration的工作原理&#xff0c;也.Net Core Configuration Etcd数据源一文中探讨过为Configuration自定义数据源需要哪些操作。由于Configuration配置系统也是.Net Core的核心&#xff0c;其中也包含了…
阅读更多...
TypeScript，从0到入门带你进入类型的世界

TypeScript，从0到入门带你进入类型的世界

从0到入门进入TS的世界一、什么是TypeScript&#xff1f;1、编程语言的类型2、TypeScript究竟是什么&#xff1f;二、为什么要学习TypeScript&#xff1f;1、程序更容易理解2、效率更高3、更少的错误4、非常好的包容性5、一点小缺点三、typescript入门1、如何安装TypeScript2、…
阅读更多...
编写第一个 .NET 微服务

编写第一个 .NET 微服务

介绍本文的目的是&#xff1a;通过创建一个返回列表的简单服务&#xff0c;并在 Docker 容器中运行该服务&#xff0c;让您熟悉使用 .NET 创建微服务的构建过程。安装 .NET SDK要开始构建 .NET 应用程序&#xff0c;首先下载并安装 .NET Core SDK&#xff08;软件开发工具包&am…
阅读更多...
模板编译template的背后，究竟发生了什么事？带你了解template的纸短情长

模板编译template的背后，究竟发生了什么事？带你了解template的纸短情长

解析模板编译template的背后发生了什么一、&#x1f4d1;初识模板编译1、vue组件中使用render代替template2、模板编译总结二、✏️感受模板编译的美1、with语法&#xff08;1&#xff09;例子展示&#x1f330;&#xff08;2&#xff09;知识点归纳三、&#x1f4c8;编译模板1…
阅读更多...
leetcode24. 两两交换链表中的节点(思路+解析)

leetcode24. 两两交换链表中的节点(思路+解析)

一:题目 二:思路 思路: 1.分析题意 这是相邻结点进行交换 如果是4个结点 那么1和2交换 3和4交换 如果是3个结点 那么就1和2进行交换 3不动 2.这里我们定义一个虚拟头节点方便操作&#xff0c;我们只需三步实现结点的交换 <1>:让虚拟结点指向第二个结点(进行交换的结点我…
阅读更多...
把Autofac玩的和java Spring一样6

把Autofac玩的和java Spring一样6

大家好&#xff0c;今天来介绍我开源的一个autofac.Annotation项目 源码&#xff1a;https://github.com/yuzd/Autofac.Annotation本项目是autofa的一个扩展组件&#xff0c;autofac是一个老牌的DI容器框架 &#xff0c;支持netframework和netcoreAnnotdation是注解的意思&…
阅读更多...
『软件测试5』测开岗只要求会黑白盒测试？NO！还要学会性能测试！

『软件测试5』测开岗只要求会黑白盒测试？NO！还要学会性能测试！

浅谈软件测试中的性能测试一、&#x1f92a;性能测试概念1、为什么要有性能测试&#xff1f;2、性能测试是什么&#xff1f;3、性能测试的目的二、&#x1f910;性能测试指标1、响应时间2、吞吐量3、并发用户数4、TPS(Transaction Per Second)5、点击率6、资源利用率三、&#…
阅读更多...
CLR的简单理解

CLR的简单理解

CLR加载程序生成进程&#xff0c;一个进程中可以存在多个线程&#xff0c;当创建一个线程时&#xff0c;会分配1Mb的空间&#xff0c;也就是线程的栈空间&#xff0c;对应jvm的虚拟机堆栈&#xff0c;是线程执行过程中用到的工作内存。这片内存用于方法传递实参&#xff0c;并存…
阅读更多...
『软件测试6』bug一两是小事，但安全漏洞是大事！

『软件测试6』bug一两是小事，但安全漏洞是大事！

详解软件测试中的安全测试一、&#x1f4bf;安全测试概念1、安全测试概述2、安全测试与软件生命周期的关系3、常规测试与安全测试的不同&#xff08;1&#xff09;测试目标不同&#xff08;2&#xff09;假设条件不同&#xff08;3&#xff09;思考域不同&#xff08;4&#xf…
阅读更多...
我们真的需要JWT吗？

我们真的需要JWT吗？

JWT&#xff08;JSON Web Token&#xff09;是目前最流行的认证方案之一。博客园、各种技术公众号隔三差五就会推一篇JWT相关的文章&#xff0c;真的多如牛毛。但我对JWT有点困惑&#xff0c;今天写出来跟大家探讨探讨&#xff0c;不要喷哈。JWT原理本文默认读者已经对JWT有所了…
阅读更多...
leetcode面试题 02.07. 链表相交

leetcode面试题 02.07. 链表相交

一:题目 二:思路 1.这道题我们是需要找到一个结点&#xff0c;并且从这个结点往后的结点都相等 2.我们需要将两个链表 右对齐 3.然后将长链表的指针移动到和短链表头结点相同的位置 4.接下来就是比较指针&#xff0c;当一个指针相同也就意味着往后的结点的数值也相等 三:上码…
阅读更多...
详解队列在前端的应用，深剖JS中的事件循环Eventloop，再了解微任务和宏任务

详解队列在前端的应用，深剖JS中的事件循环Eventloop，再了解微任务和宏任务

队列在前端中的应用一、队列是什么二、应用场景三、前端与队列&#xff1a;事件循环与任务队列1、event loop2、JS如何执行3、event loop过程4、 DOM 事件和 event loop5、event loop 总结四、宏任务和微任务1、引例2、宏任务和微任务&#xff08;1&#xff09;常用的宏任务和微…
阅读更多...
终于弄明白了 Singleton,Transient,Scoped 的作用域是如何实现的

终于弄明白了 Singleton,Transient,Scoped 的作用域是如何实现的

一&#xff1a;背景1. 讲故事前几天有位朋友让我有时间分析一下 aspnetcore 中为什么向 ServiceCollection 中注入的 Class 可以做到 Singleton&#xff0c;Transient&#xff0c;Scoped&#xff0c;挺有意思&#xff0c;这篇就来聊一聊这一话题&#xff0c;自从 core 中有了 S…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023