【迅搜19】扩展(二)TNTSearch和JiebaPHP方案

扩展(二)TNTSearch和JiebaPHP方案

搜索引擎系列的最后一篇了。既然是最后一篇,那么我们也轻松一点,直接来看一套非常有意思的纯 PHP 实现的搜索引擎及分词方案吧。这一套方案由两个组件组成,一个叫 TNTSearch ,另一个则是大名鼎鼎的结巴分词的 PHP 版本。它们都是纯 PHP 实现的,非常轻量级的搜索引擎和分词工具,最主要的是,如果各位大佬有兴趣,可以深入学习它们的源码。之前就一直在强调,所有的原理都是相通的,通过对这两个组件的学习,其实就能清楚 Xapian 和 SCWS 也就是 XS 整个系统是怎么运行的。甚至也可以说,就能了解到 ES 和 IK 是大致是怎么运行的了。

TNTSearch 与 Jieba-php 集成

这两个工具包都是开源的,直接在 GitHub 就可以下载。文档也都在它们的 Readme 文件里。

https://github.com/teamtnt/tntsearch

https://github.com/fukuball/jieba-php

对于我们 PHP 的使用来说,直接 composer 安装就好了,方便得很。

composer require teamtnt/tntsearch
composer require fukuball/jieba-php:dev-master

安装完成之后就开始写代码啦,非常非常简单,保证分分钟之内搭起你的搜索引擎应用。

require_once 'vendor/autoload.php';use TeamTNT\TNTSearch\TNTSearch;
use TeamTNT\TNTSearch\Support\AbstractTokenizer;
use TeamTNT\TNTSearch\Support\TokenizerInterface;// 自定义分词器
class JiebaTokenizer extends AbstractTokenizer implements TokenizerInterface
{public function tokenize($text,$stopwords='') {// 默认的结巴分词使用,之前我们就用过了ini_set("memory_limit", "-1");\Fukuball\Jieba\Jieba::init();\Fukuball\Jieba\Finalseg::init();return \Fukuball\Jieba\Jieba::cut($text);;}
}// 实例化 TNTSearch 对象
$tnt = new TNTSearch;
// tnt 对象加载配置信息
$tnt->loadConfig(['driver'    => 'mysql', // 驱动方式'host'      => 'localhost','database'  => 'zyblog','username'  => 'root','password'  => '123456','storage'   => './',   // 数据存储路径'tokenizer' => JiebaTokenizer::class, // 分词器'stemmer'   => \TeamTNT\TNTSearch\Stemmer\PorterStemmer::class//optional,没查到这玩意是干嘛的,官网例子上带的,先复制过来吧
]);

上面这些就是我们的基础配置代码了,是不是简单到没朋友。不需要配置文件,直接在代码中配置即可。注释也都写清楚了,所以也就不多做解释啦!

索引操作

有了上面的配置之后,我们就可以开始来操作索引了。在这里要先换一个概念,那就是 TNTSearch 是有点类似于 Sphinx 这样的搜索引擎。也就说,它的数据来源是针对数据库的,或者说让数据库来做为数据源是比较方便的。

因此,它建立索引的方式也和 Sphinx 很像,直接连 MySQL 去查表建索引。

$indexer = $tnt->createIndex('zyblog');  // 创建索引
$indexer->query('SELECT * FROM zy_articles_xs_test where status = 1 limit 10;'); // 查询语句
$indexer->run(); // 执行索引操作

这样我们就初始化了一个索引项目,并且使用指定数据库中的数据填充到这个索引项目中了。

> php 19.php 
Total rows 10

执行完成后会返回插入成功的数量信息。这里我们插入了 10 条数据,是因为 TNTSearch 建立索引的速度一般般哦,并不是很快。也有可能是我并没有深入的学习,也不知道有没有别的什么更快的方式。反正如果是全部的我那300多篇文章的话,是要跑半天的。

除了这样全量的操作索引数据外,也可以进行单条或多条数据的增、删、改,这些操作非常简单,而且就和写 SQL 语句一样,非常简单,大家可以自己去 GitHub 上看下文档哈,我就不具体演示了,下面就主要再看看怎么查询数据。

检索数据

在搜索这一块,也非常简单,选择好要操作的索引,然后直接一个 search() 方法就可以了。

$tnt->selectIndex("zyblog");
$res = $tnt->search("链表", 10);
print_r($res);
// Array
// (
//     [ids] => Array
//         (
//             [0] => 4
//             [1] => 5
//             [2] => 2
//             [3] => 6
//             [4] => 7
//             [5] => 1
//             [6] => 8
//         )//     [hits] => 7
//     [docScores] => Array
//         (
//             [4] => 0.70105075187958
//             [5] => 0.69908289011992
//             [2] => 0.68591335372833
//             [6] => 0.57067991030197
//             [7] => 0.47556659191831
//             [1] => 0.35667494393873
//             [8] => 0.35667494393873
//         )//     [execution_time] => 533.8249 ms
// )

search() 方法的第一个参数是查询语句,第二个参数是返回数量,默认这个数量值是 100 。返回这么多数据?你再看看它返回的内容就知道为啥能返回这么多数据了。

TNTSearch 的搜索结果,返回的也是和 Sphinx 非常像的,它们都只是返回索引的 ID 信息。也就说,它们在底层可能连文档信息都不会存,只是存词项与文档 ID 之间的关系以及这些词项与文档的评分情况。

TNTSearch 也是实现的 BM25 评分算法。可以看到返回结果的顺序不是按 ID 排序的,现在 docScores 也有各文档的关键词评分结果。

这种搜索引擎的使用方式,就是通过检索返回的主键 ID ,再去数据库进行主键查询获取完整的数据。因为主键在数据库中有着非常好的查询性能,因此,即使上亿的量,使用主键也是非常快的。

用过 Sphinx 的小伙伴对这种查询方式一定不会陌生,而如果你之前没用过 Sphinx 也没关系,试试 TNTSearch ,如果未来有可能用到 Sphinx 了,也会马上就能上手了。

看看源码

是不是感觉打开了一扇新世界的大门呀。要说 XS ,其实是和 ES 比较像的,它们会直接存储并返回元数据信息,也就是我们具体的文档字段内容。而 TNTSearch 和 Sphinx 这种则是另一种形式的,只返回主键 ID ,而且它们都和关系型数据的关系比较好,一般直接通过非常类似操作 SQL 语句一样的方式来操作索引。

这就是工具多样性的一个体现了。但是基础原理上,它们还是一样的倒排索引引擎。根本上还是一家人。

由于是完全的 PHP 实现,其实 TNTSearch 的源码就很容易让大家看明白了。即使我没有深入的学习,但也大致了解到它是如果实现倒排索引的。TNTSearch 的倒排索引库是使用 SQLite 实现的(对应 XS 中的那些 .glass 文件,就是上节课学的)。

TNTSearch 倒排索引实现

在 TNTSearch 的 loadConfig 中,我们有一个字段是 storage ,设置的是 "./" ,也就是将数据保存在当前相对路径下。因此,你在我们的测试目录下,就会看到运行之后会生成一个叫做 zyblog 的 sqlite 文件。这个文件名也就是我们创建索引时使用 createIndex() 时传递的参数名,它正是我们的索引名。这个 SQLite 库也就是针对这个索引项目的库。直接使用 PHPStorm 就可以查看这个 SQLite 数据库里面的内容。

1472766a0c11817b63c7980e49a2bddb.png

当然,你用命令行也可以看,前提是本地已经安装了 SQLite 工具。

> sqlite3 zyblog
SQLite version 3.37.0 2021-12-09 01:34:53
Enter ".help" for usage hints.
sqlite> select * from wordlist limit 10;
1|PHP|131|19
2|数据结构|89|10
3|与|21|10
4|算法|71|10
5|1|144|10
6|在|171|10
7|学|7|2
8|和|108|10
9|的|1065|10
10|时候|35|8

是不是有点意思啊,从表名我们就能看到,它的表名和之前在 XS 中学习过的那些 .glass 文件名是很像的。wordlist 应该是分词表、doclist 应该是文档表。那么我们就来尝试一下,先在 wordlist 表中找到“链表”这个词。就是我们在上面进行检索查询时测试的那个关键词。

9f3175bc8d9c5ef95b2fdbe7f807c625.png

对应的词项表id是 456 。接下来,到 doclist 文档表中查找词项id(term_id)为 456 的数据。

cfc37dbd02f0dcd204d1ecc01cbda56b.png

看看是不是我们前面检索出来结果那几条。doc_id 对应的就是文档的 id 主键,hit_count 代表的是关键词在文档中出现的次数 TF 。这个字段和 wordlist 表中的其它字段一起做为 BM25 算法的 TF 和 IDF ,进行最终的评分计算。这一块的计算代码也是直接在 PHP 源码中的,大家可以自己找找哦。

好了,对照一下之前我们学习倒排索引原理时的那张图,看看它的实现是不是和我们讲述的概念是一模一样的。现在,你是不是能够彻底地了解到底什么是倒排索引了吧。毕竟真实的例子和源码就摆在你眼前了。

接下来,我们再看一下,它在搜索时通过这两张表的查询,完成了数据的检索。但为什么能非常快呢?这其实还是靠得数据的索引。

bd159e6a000a8f854cda34985db06bed.png

同样还是之前在倒排索引的原理时就讲过,分词之后的词项表,大部分还是通过B+树这样的存储方式来实现快速查找的。这里还需要过多解释吗?在 wordlist 中,对 term 这个字段,也就是分词词项建了个索引。然后在 doclist 中,又对 term_id 建立了索引。因此,在直接的检索过程中,这两块都是走了数据库索引的,速度是完全有保障的。

怎么样,怎么样,之前在理论中讲的东西不是侃大山吧,看到真实的实现了吧,而且是咱们各位 PHPer 们都能看懂的,PHP+SQLite 的实现。最后再归结回去,不管 XS、ES、Sphinx或者其它,只要是搜索引擎应用或中间件,最终的原理都是和这一套是类似的,但具体的实现形式以及功能和语言各有不同。

结巴的词库

说了半天引擎,分词的内容咱们也看一眼。结巴分词在 Python 领域是一哥,同时也是现在非常流行的一套分词组件。它有 PHP 的版本,也是全 PHP 实现的,简单实用。之前我们其实都已经在 XS 中用过了,另外关于分词的概念之前在 SWCS 中也讲过一些了,这里我们就是看下结巴的词库在哪里。一般来说,结巴如果是通过 composer 安装的话,那么它的默认词库是 /vendor/fukuball/jieba-php/src/dict 目录中。

858814bdaaed2302d75d99a5cb0ca32f.png

额,没啥可解释的了吧。dict.xxxx.txt 是系统的默认词库,而且全是 txt 格式的,另外还有 json 格式的,大家可以直接用文本工具打开看看。user_dict.txt 肯定是我们的自定义词库啦,stop_words.txt 是停用词库。和 SCWS 以及 IK 的命名都是非常接近甚至一样的。

另外还要说一点,正是由于结巴使用的是 txt 格式词库,虽说看着大小不大,但在程序加载及运行过程中,结巴对于内存的需求非常大。所以在使用结巴时,我都会给代码前加上一行。

ini_set("memory_limit", "-1");

也就是不限制内存使用,否则可能报出内存溢出的错误。这也是结巴 PHP 版本比较让人诟病的一点。也许也有其它的解决方案或者参数方法可以使用,反正我是没有继续深入研究了,有兴趣的小伙伴可以继续深入学习。

框架集成

在 Laravel 的官方组件中,也有自带的一套全文检索组件,叫做 Laravel Scout 。不知道小伙伴们用过没有,反正我是没用过,为啥呢?它自带的驱动,也就是官方指定的搜索引擎完全就没听过,可能在老外那边比较流行吧。

当然,通过在 packagist 中搜索,也能找到直接集成 TNTSearch 到 Laravel Scout 的组件。而且还有我们国内的大佬,直接把各种中文分词器都集成好了。

40e07fe76089c6e8ec53d2a609698983.png

另外,XS、ES 与 Laravel Scout 集成的也有,只不过 XS 的 Star 就很少了,用得人不多,ES 相对来说还可以。

这个东西,怎么说呢,还是看大家的需求吧。Larvel Scout 和 Laravel 的 ORM 绑定比较深,对于 TNTSearch 和 Sphinx 这类的搜索引擎还是非常好用的,但是相对于 ES 和 XS 这类,其实它们本身就有自己非常完善的 Scheme 机制,能够非常灵活地处理数据格式,用不用框架 Model 形式的,还是大家自己权衡吧。

总结

说是介绍 TNTSearch 和 JiebaPHP ,但结果我们又借着它俩重温了一下搜索引擎和倒排索引的原理。好嘛,这波其实真不亏。关于这两个组件的内容,有兴趣的同学可以再深入源码进行学习。对于日常使用来说,小型项目,像是官网啊、小型文章CMS站啊,使用这一套方案完全没问题,而且非常简单,说实话,我在从来没用过的情况下,按官方文档的例子,总共也没超过 10 分钟就跑起来了上面的例子,真的是太方便了。

好了,整个搜索引擎系列的学习就到此为止了。你有什么收获?有什么感悟?或者有什么想说的?欢迎在任何一篇文章或者视频下面留言。接下来的旅程是什么呢?咱们拭目以待。

测试代码:

https://github.com/zhangyue0503/dev-blog/blob/master/xunsearch/source/19.php

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/635858.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux多线程——互斥锁

本质Gitee仓库:互斥锁、锁封装 文章目录 1. 线程互斥2. 互斥锁2.1 锁的初始化与释放2.2 加锁与解锁 3. 锁的原理4. 锁的封装5. 线程安全与可重入函数 1. 线程互斥 一个共享资源在被多个线程并发访问的时候,可能会出现一个线程正在访问,而另一个线程又来…

「alias」Linux 给命令起别名,自定义bash命令

0. 背景 Arch 系统没有 ll命令,在其他发行版用惯了一时间没有真不习惯,来配置一下吧! 1. 全局配置 我希望 ll 命令可以被所有人使用,所以应该配置在全局的bash配置文件中,一般这个全局bash配置文件在: /etc/bash.bashrc 切好管理员权限后,命令如下 echo “alias ll‘ls -l -…

hyperf安装

下载docker windows下下载 安装Windows docker,会提示安装 安装wsl https://docs.microsoft.com/zh-cn/windows/wsl/install(插件) 安装>wsl --install -d Ubuntu-16.04 用户名:xxx 密码:xxx supervisor安装 …

ACM题解Day1|1.Accurate Movement ,2.Help the Support Lady, 3.Absolute Game

1.Accurate Movement 思路 : 本题为模拟题主要是模拟方块的移动,其中 以两木块的最右端做为记录点. 先挪动a, 每次a块只能挪到和b块相同的位置, b块每次最多挪动(b-a).为什么因为有限制挡板然后俩木块要不能同时移动只能移动一一个 #include<bits/stdc.h> using namespac…

数字IC后端设计实现 | PR工具中到底应该如何控制density和congestion?(ICC2Innovus)

吾爱IC社区星友提问&#xff1a;请教星主和各位大佬&#xff0c;对于一个模块如果不加干预工具会让inst挤成一团&#xff0c;后面eco修时序就没有空间了。如果全都加instPadding会导致面积不够overlap&#xff0c;大家一般怎么处理这种问题&#xff1f; 在数字IC后端设计实现中…

[AI]文心一言出圈的同时,NLP处理下的ChatGPT-4.5最新资讯

前言 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家&#xff1a;https://www.captainbed.cn/z ChatGPT体验地址 文章目录 前言4.5key价格泄漏ChatGPT4.0使用地址ChatGPT正确打开方式最新功能语音助手存档…

L1-064 估值一亿的AI核心代码(Java)

以上图片来自新浪微博。 本题要求你实现一个稍微更值钱一点的 AI 英文问答程序&#xff0c;规则是&#xff1a; 无论用户说什么&#xff0c;首先把对方说的话在一行中原样打印出来&#xff1b;消除原文中多余空格&#xff1a;把相邻单词间的多个空格换成 1 个空格&#xff0c…

php array_diff 比较两个数组bug避坑 深入了解

今天实用array_diff出现的异常问题&#xff0c;预想的结果应该是返回 "integral_initiate">"0"&#xff0c;实际没有 先看测试代码&#xff1a; $a ["user_name">"测","see_num">0,"integral_initiate&quo…

ETL概念

ETL ETLELT 技术原理ETL 模式应用场景常见工具ETL未来发展方向 ETL 在BI项目中ETL会花掉整个项目至少1/3的时间&#xff0c; ETL设计的好坏直接关接到BI项目的成败。ETL(Extract-Transform-Load) : 用来描述将数据从来源端经过抽取&#xff08;extract&#xff09;、转换&…

深入理解Rust引用与借用

文章目录 一、概述二、引用与解引用三、不可变引用四、可变引用4.1、可变引用同时只能存在一个4.2、可变引用与不可变引用不能同时存在4.3、悬垂引用&#xff08;Dangling References&#xff09; 团队博客: 汽车电子社区 一、概述 获取变量的引用&#xff0c;称之为借用(borro…

day3:基于UDP模型的简单文件下载

思维导图 tftp文件下载客户端实现 #include <head.h> #define SER_PORT 69 #define SER_IP "192.168.125.223" int link_file() {int sfdsocket(AF_INET,SOCK_DGRAM,0);if(sfd-1){perror("socket error");return -1;}return sfd; } int filedownloa…

智慧校园大数据应用系统介(3)

智能巡课系统 巡课系统是一种新的课堂观察记录工具,它将学校或区域内全体教师作为一个整体,采用数字化手段描述教师和学生的课堂行为。通过移动端实时记录和通用性的统计分析,使教育者更容易发现教学过程与教学成果之间的联系,有助于改变课堂生态、提高教学有效性、提升教…

【论文阅读 SIGMOD18】Query-based Workload Forecasting for Self-Driving

Query-based Workload Forecasting for Self-Driving Database Management Systems My Summary ABSTRACT Autonomous DBMS的第一步就是能够建模并预测工作负载&#xff0c;以前的预测技术对查询的资源利用率进行建模。然而&#xff0c;当数据库的物理设计和硬件资源发生变化…

Windows如何部署TortoiseSVN客户端

文章目录 前言1. TortoiseSVN 客户端下载安装2. 创建检出文件夹3. 创建与提交文件4. 公网访问测试 前言 TortoiseSVN是一个开源的版本控制系统&#xff0c;它与Apache Subversion&#xff08;SVN&#xff09;集成在一起&#xff0c;提供了一个用户友好的界面&#xff0c;方便用…

Spring第六天(注解开发第三方Bean)

注解开发管理第三方Bean 显然&#xff0c;我们无法在第三方Bean中写入诸如service这样的注解&#xff0c;所以&#xff0c;Spring为我们提供了Bean这一注解来让我们通过注解管理第三方Bean 第二种导入方式由于可读性太低&#xff0c;故只介绍第一种导入方式&#xff0c;这里我…

自动化工具实践操作-注入自定义代码

功能 采集掘金左边每个tab下文章的标题。人为操作就是点击一个tab&#xff0c;复制文字标题&#xff0c;重复以上操作。根据这个&#xff0c;我们可以转换成自己的代码 开始设计 如上文操作基本一致。新建任务、设计点击事件如出一辙。 自定义循环事件 操作循环节点&#…

Mysql:重点且常用的操作和理论知识整理 ^_^

目录 1 基础的命令操作 2 DDL 数据库定义语言 2.1 数据库操作 2.2 数据表操作 2.2.1 创建数据表 2.2.2 修改和删除数据表 2.2.3 添加外键 3 DML 数据库操作语言 3.1 插入语句(INSERT) 3.2 修改语句(UPDATE) 3.3 删除语句 3.3.1 DELETE命令 3.3.2 TRUNCATE命令 4 …

idea中使用git提交代码报 Nothing To commit No changes detected

问题描述 在idea中右键&#xff0c;开始将变更的代码进行提交的时候&#xff0c;【Commit Directory】点击提交的时候 报 Nothing To commit No changes detected解决方案 在这里点击Test 看看是不是能下面显示git版本&#xff0c;不行的话 会显示一个 fix的字样&#xff0c;行…

【日常聊聊】边缘计算的挑战和机遇

&#x1f34e;个人博客&#xff1a;个人主页 &#x1f3c6;个人专栏&#xff1a; 日常聊聊 ⛳️ 功不唐捐&#xff0c;玉汝于成 目录 前言 正文 边缘计算的挑战和机遇 一&#xff1a;数据安全与隐私保护 二&#xff1a;网络稳定性与可靠性 三&#xff1a;实时性与性能优…

C++入门学习(八)sizeof关键字

sizeof 是 C 和 C 中的一个运算符&#xff0c;用于确定特定类型或对象的内存大小&#xff08;以字节为单位&#xff09;。 1、查看数据类型占据内存大小 #include <iostream> using namespace std; int main() {short a 1;int b 1;long c 1;long long d 1;cout<…