万字详解PHP+Sphinx中文亿级数据全文检索实战（实测亿级数据0.1秒搜索耗时）

Sphinx查询性能非常厉害，亿级数据下输入关键字，大部分能在0.01~0.1秒，少部分再5秒之内查出数据。

Sphinx

  • 官方文档：http://sphinxsearch.com/docs/sphinx3.html
  • 极简概括：
    由C++编写的高性能全文搜索引擎的开源组件，C/S架构，跨平台（支持Linux、Windows、MacOS），支持分布式部署，并可直接适配MySQL。
  • 解决问题：
    因为MySQL的 like %keyword% 不走索引，且全文索引不支持中文，所以需要借助其它组件。适用于不经常更新的数据的全文搜索。
  • 同类产品：
    ElasticSearch、Solr、Lucene、Algolia、XunSearch。
  • 使用思路：
    发送给Sphinx关键字，然后Sphinx返回id给PHP，PHP再调用MySQL根据id查询。也就是帮着MySQL找id的，MySQL走主键索引，查询性能很高。
  • API支持：
    Sphinx附带了三种不同的API，SphinxAPI、SphinxSE和SphinxQL。SphinxAPI是一个可用于Java、PHP、Python、Perl、C和其他语言的原生库。SphinxSE是MySQL的一个可插拔存储引擎，支持将大量结果集直接发送到MySQL服务器进行后期处理。SphinxQL允许应用程序使用标准MySQL客户端库和查询语法查询Sphinx。
  • SQL扩展
    Sphinx不仅限于关键字搜索。在全文搜索结果集之上，您可以计算任意算术表达式、添加WHERE条件、排序依据、分组依据、使用最小值/最大值/AVG值/总和、聚合等。本质上，支持成熟的SQL SELECT。

建表

CREATE TABLE `articles` (`id` int unsigned NOT NULL AUTO_INCREMENT,`content` varchar(16000) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=320974 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

亿级大数据源准备

  1. 决策分析：
    亿级的数据量，还都得是中文，如果是52个大小写字母和10个数字可以随机，中文随机效果差，最好是有能阅读通畅的数据源，而不是随机汉字数据源。
  2. 尝试寻找：
    尝试看了txt版的《三国演义》，发现行数太少，所以转变思维，更大的数据量，只能是长篇小说，翻看了最长的小说，也才22万行，1行小说对应1条MySQL数据，数据量还是太少，虽然循环小说内容插入也行，但还是差点意思。
  3. 资源整合：
    程序员天天玩的就是数据，这点小事难不倒我，去网盘找txt小说资源合集https://www.aliyundrive.com/s/LBBg4ZvWip2/folder/63a138e95845afd3baa947db96342937033c254f
    找到了如下35000本txt的小说。
  4. 数据合并：
    下载了几千个txt小说，需要用命令把这些合并成一个文件，使用cat * > all.txt方便PHP程序逐行读取。整合后的单个txt文件9.57个G。
  5. 数据入库：
    大数据文件一次加载会把内存撑爆，所以需要使用yield 生成（迭代）器去逐行读取文件。
    set_time_limit(0);$file = 'C:/Users/Administrator/Desktop/all.txt';/*** @function 逐行读取大文件* @param    $file_name string 文件名* @return   Generator|object*/function readLargeFile($file_name) {$file = fopen($file_name, 'rb');if (! $file) {return false;}while (! feof($file)) {$line = fgets($file);if ($line !== false) {yield $line;}}fclose($file);}// 使用生成器逐行读取大文件$file_resource = readLargeFile($file);if(! $file_resource) {echo '文件读取错误';die;}$db = \Illuminate\Support\Facades\DB::table('articles');$arr = [];foreach ($file_resource as $line) {//获取单行编码$from_charset = mb_detect_encoding($line, 'UTF-8, GBK, GB2312, BIG5, CP936, ASCII');//转码操作，因为有些是ANSI，GBK的编码，最好转换成UTF-8$utf8_str     = @iconv($from_charset, 'UTF-8', $line);//遇见空行，直接过滤if(in_array($utf8_str, ["\n", "\r", "\n\r", "\r\n"])) {continue;}$arr[] = ['content' => $utf8_str];if(count($arr) >= 10000) {$db->insert($arr);$arr = [];}}

  1. 性能调优：
    MyISAM引擎：
    insert 发现1秒才1400行的插入速度，不行得调整。
    改为批量插入，一次性插入10000行数据，并修改/etc/my.cnf 里面的max_allowed_packet，将1M改为512M。
    优化后，每秒2万的插入速度。

    如果是InnoDB引擎
    可以调整redo log 刷盘策略，set global innodb_flush_log_at_trx_commit=0。
    并添加缓冲池innodb_buffer_pool_size大小为系统总内存的70%。
    把max_allowed_packet，将1M改为512M，就行了。

  2. 数量检查：
    两万年后，用SELECT count(*) FROM articles一看，数据量109 450 000，搞定。

  3. 性能测试：
    SELECT count(*) FROM articles where content like ‘%晴空万里%’，找出来了1931个，花了242秒。

编译安装并配置Sphinx Server

虚拟机里的CentOS，记得要足够的空间，用来存储数据
一个亿的数据占了系统很大空间，系统存储空间所剩无几了，/usr/local地方没地方存，所以把Sphinx放到了/home下，因为/dev/mapper/centos-home挂载到了/home下。可以事先安装mmsge
wget https://files.cnblogs.com/files/JesseLucky/coreseek-4.1-beta.tar.gz
tar zxf coreseek-4.1-beta.tar.gz
cd /home/coreseek-4.1-beta/mmseg-3.2.14
./bootstrap
./configure --prefix=/home/mmseg
make && make install然后安装Sphinx
cd /home/coreseek-4.1-beta/csft-4.1
./buildconf.sh发现报错，不着急
automake: warnings are treated as errors
/usr/share/automake-1.13/am/library.am: warning: 'libstemmer.a': linking libraries using a non-POSIX
/usr/share/automake-1.13/am/library.am: archiver requires 'AM_PROG_AR' in 'configure.ac'
libstemmer_c/Makefile.am:2:   while processing library 'libstemmer.a'
/usr/share/automake-1.13/am/library.am: warning: 'libsphinx.a': linking libraries using a non-POSIX
/usr/share/automake-1.13/am/library.am: archiver requires 'AM_PROG_AR' in 'configure.ac'
src/Makefile.am:14:   while processing library 'libsphinx.a'vim ./configure.ac +62
再AC_PROG_RANLIB的下方添加AM_PROG_AR再次执行./buildconf.sh
发现有如下报错：
configure.ac:231: the top level
configure.ac:62: error: required file 'config/ar-lib' not found
configure.ac:62:   'automake --add-missing' can install 'ar-lib'vim buildconf.sh +5
把--foreign改成--add-missing再次执行./buildconf.sh
直到configure文件出现。./configure --prefix=/home/coreseek --with-mysql=/usr/local/mysql --with-mmseg=/home/mmseg --with-mmseg-includes=/home/mmseg/include/mmseg/ --with-mmseg-libs=/home/mmseg/lib/make && make install
若发现报错：有ExprEval字样
vim /home/coreseek-4.1-beta/csft-4.1/src/sphinxexpr.cpp
将所有的
T val = ExprEval ( this->m_pArg, tMatch );
替换为
T val = this->ExprEval ( this->m_pArg, tMatch ); 再次执行make，发现还报错
/home/coreseek-4.1-beta/csft-4.1/src/sphinx.cpp:22292：对‘libiconv_open’未定义的引用
/home/coreseek-4.1-beta/csft-4.1/src/sphinx.cpp:22310：对‘libiconv’未定义的引用
/home/coreseek-4.1-beta/csft-4.1/src/sphinx.cpp:22316：对‘libiconv_close’未定义的引用vim /home/coreseek-4.1-beta/csft-4.1/src/Makefile +249
把
LIBS = -ldl -lm -lz -lexpat  -L/usr/local/lib -lrt  -lpthread
改成  
LIBS = -ldl -lm -lz -lexpat -liconv -L/usr/local/lib -lrt  -lpthreadmake && make install
成功安装

装好之后配置它，汉字是提示，记得运行环境要删掉

cd /home/coreseek/etc
记得这个名字一定得是csft.conf，换成其它的也行，但是到后期增量索引合并时会报错
cp sphinx-min.conf.dist csft.conf
配置内容就是有汉字的地方
vim csft.conf
source articles 起个名，叫articles
{type                    = mysqlsql_host                = 数据库IPsql_user                = 数据库用户名sql_pass                = 数据库密码sql_db                  = 数据库sql_port                = 3306  端口sql_query_pre           = select names utf8mb4 加上这行sql_query               = select id,content from articles Sphinx建索引的数据源sql_attr_uint           = group_id   这行用不上可以去掉sql_attr_timestamp      = date_added 这行用不上可以去掉sql_query_info_pre      = select names utf8mb4 加上这行sql_query_info          = select id,content from articles where id=$id 用Sphinx做什么SQL的查询逻辑#sql_query_post          = update sphinx_index_record set max_id = (select max(id) from articles) where table_name = 'articles'; 这个是增量索引要用的东西，这里暂时用不上，后文会讲。
}index articles 起个名，叫articles
{source                  = articles                         名字与source一致path                    = /home/coreseek/var/data/articles 索引路径docinfo                 = extern                           这行用不上可以去掉charset_dictpath        = /home/mmseg/etc                  新增这行，表示分词读取词典文件的位置charset_type            = zh_cn.utf-8                      设置字符集编码
}保存并退出，注意数据源要与索引是一对一的。然后留意两个文件
/home/coreseek/bin/indexer 是用来创建索引的
/home/coreseek/bin/searchd 是启动服务端进程的。

开启服务

开启服务
/home/coreseek/bin/searchd -c /home/coreseek/etc/csft.conf
> ps aux | grep search
root      83205  0.0  0.0  47732  1048 ?        S    02:01   0:00 /home/coreseek/bin/searchd -c /home/coreseek/etc/csft.conf
root      83206  0.5  0.0 116968  3728 ?        Sl   02:01   0:00 /home/coreseek/bin/searchd -c /home/coreseek/etc/csft.conf9312端口
> netstat -nlp | grep 9312
tcp        0      0 0.0.0.0:9312            0.0.0.0:*               LISTEN      83206/searchd

配置文件参数说明

https://sphinxsearch.com/docs/current.html#conf-mem-limit
indexer段-----------------------------
mem_limit这是创建索引时所需内存，默认32M，可以适当调大，格式如下
mem_limit = 256M
mem_limit = 262144K # same, but in KB
mem_limit = 268435456 # same, but in byteshttps://sphinxsearch.com/docs/current.html#conf-query-log
在searchd段-----------------------------
listen 9312
表示sphinx默认端口
listen=9306
mysql41，表示Sphinx服务器将监听在 9306 端口，并使用 MySQL 4.1 协议与客户端进行通信。可以注释掉以下两行，使其不记录日志
#log                    = /home/coreseek/var/log/searchd.log
#query_log              = /home/coreseek/var/log/query.logread_timeout
网络客户端请求读取超时，以秒为单位。可选，默认为5秒。Searchd将强制关闭未能在此超时时间内发送查询的客户端连接。
max_children
并发搜索数量，设置为0，表示不限制。
max_matches
参数用于设置每次搜索操作返回的最大匹配项数seamless_rotate
在 Sphinx 服务器配置文件中，seamless_rotate 参数用于控制索引旋转操作的行为，确保索引更新过程中的查询不会被中断。“旋转”（rotate）是指在更新索引数据时，将旧的索引文件替换为新生成的索引文件的过程。
当设置为 1 或 true（默认值），seamless_rotate 使得 Sphinx 能够在后台加载新的索引数据，同时继续使用旧的索引数据处理查询请求，直到新的索引完全加载并准备好被使用。这个过程完成后，新的索引将无缝地接管，替换旧的索引，而不会干扰或中断正在进行的搜索操作。
如果将 seamless_rotate 设置为 0 或 false，则在索引旋转时，Sphinx 会暂停处理新的查询请求，直到新的索引文件完全加载并准备就绪。这可能会导致短暂的服务中断，因此，除非有特殊需求，一般建议保持 seamless_rotate 的默认设置（即启用无缝旋转），以确保索引更新过程中搜索服务的连续性和稳定性。preopen_indexes
是否在启动时强制预打开所有索引。可选，默认为1unlink_old
用于控制在索引旋转时是否删除旧的索引文件。当设置为 1 或 true 时（默认值），旧的索引文件将被删除，保持默认值就好。

客户端配置

PHP SphinxClient手册：http://docs.php.net/manual/tw/class.sphinxclient.php

cp /home/coreseek-4.1-beta/testpack/api/*.php /test
vim /test/sphinxapi.php
把sphinxapi里面的SphinxClient()方法改为__construct()，防止稍高版本的PHP，产生类名和方法名一致的通知。可以先测试，只要返回数组，就Server和Client都能正常工作。
vim /test/test_coreseek.php
把里面的网络搜索改成晴空万里，把SPH_MATCH_ANY改成SPH_MATCH_PHRASE。
sphinx文件有个limit选项，这个默认是20，所以最多显示出20个，可以去修改它。
/usr/local/php5.6/bin/php /test/test_coreseek.php

这是二次改过的test_coreseek.php，对于新手有很友好的提示。

require ( "./sphinxapi.php" );
$search = new SphinxClient ();
//连接Sphinx服务器
$search->SetServer ( '127.0.0.1', 9312);
//设置超时秒数
$search->SetConnectTimeout ( 3 );
//查询出来的数据库ID存放位置
$search->SetArrayResult ( true );
//配置搜索模式
$search->SetMatchMode (SPH_MATCH_PHRASE);
//分页，参数1偏移量，从0开始，参数2限制条目
$search->SetLimits(0, 200);
//执行查询，参数1关键字
$res = $search->Query ("黑色衣服", "索引名称");if($res === false) {echo '查询失败';return;
}//获取主键
$primary_keys = [];
if(! empty($res['matches'])) {foreach($res['matches'] as $v) {$primary_keys[] = $v['id'];}
}//获取总数
$all_count = $res['total_found'];//获取耗时
$time = $res['time'];$ids = implode(',', $primary_keys);
echo <<<RESULT
主键id: $ids
查询总数：$all_count
耗时: $time
RESULT;

匹配模式

  • 官方文档：https://sphinxsearch.com/docs/current.html#matching-modes
  • 调用方法：(new SphinxClient())->SetMatchMode (SPH_MATCH_ALL);
  • 分词举例：假设关键字“白色衣服”，词语被分成了“白色”和“衣服”。
匹配模式一句话概括会被匹配不会被匹配
SPH_MATCH_ALL同时包含这些分词时会被匹配白色的绳子晾着他的衣服他的衣服
SPH_MATCH_ANY匹配任意一个分词就行白色的纸白云
SPH_MATCH_PHRASE相当于like ‘%关键词%’白色衣服白色的衣服
SPH_MATCH_EXTENDED支持Sphinx的表达式下方有详解白色的衣服
SPH_MATCH_EXTENDED2SPH_MATCH_EXTENDED的别名下方有详解白色的衣服
SPH_MATCH_BOOLEAN支持布尔方式搜索下方有详解白色的衣服
SPH_MATCH_FULLSCAN强制使用全扫描模式下方有详解白色的衣服

详解：SPH_MATCH_FULLSCAN
SPH_MATCH_FULLSCAN，强制使用全扫描模式。注意，任何查询项都将被忽略，这样过滤器、过滤器范围和分组仍然会被应用，但不会进行文本匹配。
当满足以下条件时，将自动激活SPH_MATCH_FULLSCAN模式来代替指定的匹配模式:
查询字符串为空(即:它的长度是0)。
Docinfo存储设置为extern。
在完全扫描模式下，所有索引的文档都被认为是匹配的。这样的查询仍然会应用过滤器、排序和分组，但不会执行任何全文搜索。这对于统一全文和非全文搜索代码或卸载SQL服务器很有用(在某些情况下，Sphinx扫描比类似的MySQL查询执行得更好)。

详解：SPH_MATCH_BOOLEAN
https://sphinxsearch.com/docs/current.html#boolean-syntax

  • kw1|kw2|kw3：或的关系，满足任意1项即可。
  • kw1 -kw2，或者kw1 !kw2：表示!=kw2

详解：SPH_MATCH_EXTENDED
https://sphinxsearch.com/docs/current.html#extended-syntax

  • kw1|kw2|kw3：或的关系，满足任意1项即可，
  • kw1 -kw2，或者kw1 !kw2：表示!=kw2。
  • @mysql字段名 字段全部内容：匹配某个字段的内容。
  • @* 字段全部内容：匹配所有字段的内容。
  • ^kw：表示以关键字开头。
  • kw$：表示以什么关键字结尾。

实测索引创建性能

  • 创建索引 /home/coreseek/bin/indexer -c /home/coreseek/etc/csft.conf articles，这里的article就是source段的名称。
  • 服务器配置：CentOS7.6 16核4G内存 固态硬盘。
  • Sphinx索引创建速度：36262.76/sec，每条语句大小约10~150个汉字。
  • Sphinx索引文件创建速度：4441931 bytes/sec。
  • 一共耗时：1亿条数据，创建索引花了50.5分钟，索引文件约10个G。
  • 原文如下：
Coreseek Fulltext 4.1 [ Sphinx 2.0.2-dev (r2922)]
Copyright (c) 2007-2011,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)using config file '/home/coreseek/etc/csft.conf'...
indexing index 'articles'...
WARNING: Attribute count is 0: switching to none docinfo
collected 109450000 docs, 13406.8 MB
WARNING: sort_hits: merge_block_size=28 kb too low, increasing mem_limit may improve performance
sorted 3133.8 Mhits, 100.0% done
total 109450000 docs, 13406849231 bytes
total 3018.247 sec, 4441931 bytes/sec, 36262.76 docs/sec
total 322950 reads, 202.304 sec, 27.9 kb/call avg, 0.6 msec/call avg
total 20920 writes, 25.975 sec, 997.1 kb/call avg, 1.2 msec/call avg

实测查询性能

  • 开启searchd服务/home/coreseek/bin/searchd -c /home/coreseek/etc/csft.conf

  • 服务器配置：CentOS7.6 16核4G内存

  • 实测亿级数据下搜索晴空万里只花费0.011秒，上文提到MySQL则需要242秒，性能差了22000倍。或许是受或分词器影响，Sphinx查询出来1898条，MySQL查询数据为1931条

  • 多次测试：在109450000条数据中，从不同角度测试Sphinx SPH_MATCH_PHRASE匹配模式，相当于mysql where field like ‘%关键字%’：

类型搜索关键字Sphinx搜索耗时（秒）MySQL搜索耗时（秒）Sphinx搜索数量MySQL搜索数量
数字1230.005305.14231218143
中文单字虹0.013223.18467802103272
英文单字母A0.031339.5761364281017983
单中文标点。4.471125.1066708801267096182
单英文标点.0251.17106697242
可打印特殊字符☺0355.46900
中文词语（易分词）黑色衣服0.066346.44210391062
中文词语（不易分词）夏威夷0.011127.05436363664
中文词语（热门）你好0.022126.979102826137717
中文词语（冷门）旖旎0.010345.49344524528
英文单词good0.010137.5625531036
中文短语他不禁一脸茫然1.742218.27200
英文短语I am very happy0.015355.23510
长文本陈大人不急着回答，他先从柜台下面又抽出了一份文案，翻了好一阵之后才回答道：“瞧，果然如此，如今广州这边官职该放得都放出去了，只剩下消防营山字营的一个哨官之职。不出所料的话，督抚大人准会委你这个职务。0.131129.20411

实测Sphinx并发性能

压测方式 ：ab -c 1 -n 10~1000 192.168.3.180/test_coreseek.php

中文定值关键字为华盛顿，英文定值关键字为XYZ，30位随机中文或英文字符，由代码生成。

生成任意正整数个中文字符
function generateRandomChinese($length) {$result = '';for ($i = 0; $i < $length; $i++) {$result .= mb_convert_encoding('&#' . mt_rand(0x3e00, 0x9fa5) . ';', 'UTF-8', 'HTML-ENTITIES');}return $result;
}生成任意正整数个英文字符
function generateRandomEnglish($length) {$result = '';for ($i = 0; $i < $length; $i++) {$result .= chr(mt_rand(97, 122)); // 小写字母ASCII码范围: 97~122；大写字母：65~90}return $result;
}
类型请求量 （搜索次数）耗时（秒）
固定中文多次搜索100.256
固定中文多次搜索1001.435
固定中文多次搜索100011.604
随机30位中文字符多次搜索100.517
随机30位中文字符多次搜索1002.305
随机30位中文字符多次搜索100017.197
固定英文多次搜索100.327
固定英文多次搜索1000.747
固定英文多次搜索10008.510
随机30位英文字符多次搜索100.077
随机30位英文字符多次搜索1000.766
随机30位英文字符多次搜索10009.428

创建增量索引前的数据查询问题

对于update很多数据，sphinx不会自动更新索引，所以可以选择在公司业务空闲时间重建索引。
对于insert，可以使用增量索引，创建一个表用于存储已经新增sphinx索引记录的最大值。

CREATE TABLE `sphinx_index_record` (`id` int unsigned NOT NULL AUTO_INCREMENT COMMENT 'Sphinx索引创建进度表id',`table_name` varchar(100) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '表名',`max_id` int unsigned NOT NULL COMMENT '最大id',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;并insert一条数据：
INSERT INTO `test`.`sphinx_index_record` (`id`, `table_name`, `max_id`) VALUES (1, 'articles', 109450000);
  • 对于Sphinx：当需要新增增量索引时，读取这个表中的数据，获取到这个值，使其创建索引的起始点，为max_id字段的值。
  • 对于max_id字段的业务作用：可以封装一个方法，可以让这个值载入Redis，redis有值就读取，无值就查询然后载入Redis。
  • 对于业务代码：例如100万行数据创建了Sphinx索引，然后又新增了1000条，这1000条数据没有sphinx索引，可以在业务代码中使用mysql union或者其它方式，让这1000条数据，做查询。
    伪代码如下：
$max_id = 从缓存中获取获取的索引位置，假设是100万;
$kw = 搜索关键字;$id_s = sphinx($kw);sql1是根据sphinx的
$sql1 = select * from table where id in $id_s;
sql2是对未添加sphinx索引的剩余表数据的操作
$sql2 = select * from table where id > $max_id like "%$kw%";使用PHP的方式，或者mysql union的方式都行，让两个数据集合并，查询出的结果，通过接口返回。
这样兼顾新增的1000条数据也能被查询的到。

创建增量索引

这块需要承接上文。

第一步：自动维护索引最大值，这一步可以在首次创建索引时，就可以完成。
vim /home/coreseek/etc/csft.conf
在source段最后，添加一行代码，这是让sphinx创建增量索引后，自动维护sphinx_index_record表数据。
source articles {
...
...
sql_query_post = update sphinx_index_record set max_id = (select max(id) from articles) where table_name = 'articles';
}第二步：新增增量索引配置
把source段复制出来，然后粘贴到下方，注意括号范围，不要嵌套，例如：
source articles_add
{type                    = mysqlsql_host                = 数据库IPsql_user                = 数据库用户名sql_pass                = 数据库密码sql_db                  = 数据库sql_port                = 3306  端口sql_query_pre           = select names utf8mb4 加上这行-------------------------------修改这里start-------------------------------------------sql_query               = select id,content from articles where id > (select max_id from sphinx_index_record where table_name = 'articles') Sphinx创建增量索引的数据源-------------------------------修改这里end-------------------------------------------sql_attr_uint           = group_id   这行用不上可以去掉sql_attr_timestamp      = date_added 这行用不上可以去掉sql_query_info_pre      = select names utf8mb4 加上这行sql_query_info          = select id,content from articles where id=$id 用Sphinx做什么SQL的查询逻辑
}这里记得index段也新增一个配置。永远记住，source段与index段一对一的。index articles_add 这里需要改
{source                  = articles_add 这里需要改path                    = /home/coreseek/var/data/articles_add 这里需要改#docinfo                = externcharset_dictpath        = /home/mmseg/etccharset_type            = zh_cn.utf-8
}执行创建索引功能。
/home/coreseek/bin/indexer -c /home/coreseek/etc/csft.conf articles_add
合并索引：语法indexer --merge 主索引名 增量索引名
/home/coreseek/bin/indexer --merge articles articles_add
如果不关闭searchd，可以添加 --rotate参数强制合并索引。需要留意一下：如果主索引10个G，增量索引0.1G，则需要20.2G的临时空间去进行和合并。

多配置

这个也好办，直接在csft.conf配置文件内source段和index段复制粘贴，根据上文的两段文章，该创建索引的创建索引，该重启的重启。
不需要引入多个文件，就和MySQL一样，只需要一个/etc/my.cnf就行了，相加配置，接着往下续就行了。

新创建索引后不会生效，需要关闭searchd进程后重新启动。

集成到框架思路

方案1：
使用composer安装新的包，PHP8.0及以上不会报错。
记得要搜索sphinx client或sphinxapi，不要搜素sphinx，这会把SphinxQL的解决方案也给搜出来。
用这个包就行，composer require nilportugues/sphinx-search
用法与自带的完全一致，而且遇到PHP8不报错。

$sphinx = new \NilPortugues\Sphinx\SphinxClient();
$sphinx->setServer('192.168.3.180',9312);
$sphinx->SetConnectTimeout (3);
$sphinx->SetArrayResult (true);
$sphinx->SetMatchMode (SPH_MATCH_PHRASE);
$sphinx->SetLimits(0, 200);
$res = $sphinx->query ("黑色衣服", "articles");
print_r($res);

方案2：
使用原生自带的包，PHP8.0及以上会报错。
sphinxapi.php放置到app/Libs/Others目录下，并添加自己的命名空间App\Libs\Others\SphinxApi。
app/Libs/helper.php存放了自定义封装的方法，并使用composer dump-autoload配置，跟随框架自动加载。

封装成一个方法，方便调用，并放入helper.php下
function sphinx() {$sphinx = new App\Libs\Others\SphinxApi();$sphinx->SetServer (config('services.sphinx.ip'), config('services.sphinx.port'));$sphinx->SetConnectTimeout (config('services.sphinx.timeout');$sphinx->SetArrayResult (true);return $sphinx;
}//控制器随处调用
$sphinx = sphinx();
$sphinx->SetMatchMode (SPH_MATCH_PHRASE);
$sphinx->SetLimits(0, 200);
$res = $sphinx->Query ("黑色衣服", "索引名称");
...

Sphinx的不足之处

  • 查询结果遗漏：受分词器影响，实测查询结果比实际的存储要少一些，这会造成信息的损失。
  • 客户端代码陈旧：自带的的PHP Sphinx Api的代码，使用PHP8.0及以上会报错。
  • 不会自动添加增量索引：MySQL新增的数据，Sphinx并不会自动创建索引。
  • 不会自动改变索引：MySQL update的数据，Sphinx不会自动改变索引。
  • 不支持Canal监听bin log实时同步Sphinx索引。

鸣谢

感谢3位博主在C++编译安装报错时提供的解决方案：
夜里小郎君的博文：https://blog.csdn.net/b876143268/article/details/53771310
mingaixin的博文：https://www.cnblogs.com/mingaixin/p/5013356.html
晚晚的博文：https://www.cnblogs.com/caochengli/articles/3028630.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/780461.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Python-基础部署

Python-基础部署

机器没法直接读懂我们写的代码&#xff0c;需要解释解释器作为中间的翻译&#xff0c;把代码转换成字节码在执行 安装python解释器 Download Python | Python.org 安装代码编辑器 pycharm Thank you for downloading PyCharm! 创建一个项目&#xff0c;每个项目里的文件夹…
阅读更多...
Cisco ISR 1000 Series IOS XE Release IOSXE-17.13.1a ED

Cisco ISR 1000 Series IOS XE Release IOSXE-17.13.1a ED

Cisco ISR 1000 Series IOS XE Release IOSXE-17.13.1a ED 思科 1000 系列集成多业务路由器系统软件 请访问原文链接&#xff1a;https://sysin.org/blog/cisco-isr-1000/&#xff0c;查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xff1a;sysin.org 思科…
阅读更多...
如何解决EventSource 删除单词的前置空格问题

如何解决EventSource 删除单词的前置空格问题

如下代码,EventSource会把单词的前置空格吃掉&#xff0c;比如“ blank” 会变成"blank",这会导致输出的英语单词连在一起 const eventSource new EventSource(api_question); eventSource.onmessage streamEvent > {const data streamEvent.data;handleTest(…
阅读更多...
ubuntu18.04 pycharm

ubuntu18.04 pycharm

一、下载pycharm &#xff08;1&#xff09;进入官网下载Download PyCharm: The Python IDE for data science and web development by JetBrains 选择专业版&#xff08;professional&#xff09;直接点击下载&#xff08;download&#xff09;&#xff0c;我下载的是2023.3…
阅读更多...
数字孪生|初识山海鲸可视化

数字孪生|初识山海鲸可视化

哈喽&#xff0c;你好啊&#xff0c;我是雷工&#xff01; 最近开始学习了解数字孪生的软件&#xff0c;看山海鲸可视化介绍的不错&#xff0c;便准备下载了试一下。 01 、概述 该软件是一套技术自主可控的、国产自研的、零代码数字孪生可视化工具集&#xff0c; 02、产品定…
阅读更多...
从0到1利用express搭建后端服务

从0到1利用express搭建后端服务

目录 1 架构的选择2 环境搭建3 安装express4 创建启动文件5 express的核心功能6 加入日志记录功能7 日志记录的好处本节代码总结 不知不觉学习低代码已经进入第四个年头了&#xff0c;既然低代码很好&#xff0c;为什么突然又自己架构起后端了呢&#xff1f;我有一句话叫低代码…
阅读更多...
EasyRecovery2024中文版数据恢复软件功能全面介绍

EasyRecovery2024中文版数据恢复软件功能全面介绍

EasyRecovery2024是世界著名数据恢复公司 Ontrack 的技术杰作&#xff0c;它是一个威力非常强大的硬盘数据恢复工具。能够帮你恢复丢失的数据以及重建文件系统。 EasyRecovery不会向你的原始驱动器写入任何东东&#xff0c;它主要是在内存中重建文件分区表使数据能够安全地传输…
阅读更多...
C语言如何进⾏函数的⼀般调⽤？

C语言如何进⾏函数的⼀般调⽤？

一、问题 函数调⽤的⼀般样式都是⼀样的&#xff0c;简称为函数的⼀般调⽤&#xff0c;那么函数的⼀般调⽤的形式是什么呢&#xff1f; 二、解答 在C语⾔中&#xff0c;函数调⽤的⼀般形式如下。 函数名(实际参数表) 对⽆参函数调⽤时&#xff0c;则⽆实际参数表。实际参数表…
阅读更多...
nodejs下载安装以及npm、yarn安装及配置教程

nodejs下载安装以及npm、yarn安装及配置教程

1、nodejs下载安装 ​ 1.1、使用nodejs版本管理工具下载安装&#xff0c;可一键安装、切换不同nodejs版本&#xff0c; nvm-setup.zip&#xff1a;安装版&#xff0c;推荐使用 本次演示的是安装版。 1、双击安装文件 nvm-setup.exe 选择nvm安装路径 例如&#xff1a;E:\Soft…
阅读更多...
ssm 科研奖励申报管理系统开发mysql数据库web结构java编程计算机网页源码eclipse项目

ssm 科研奖励申报管理系统开发mysql数据库web结构java编程计算机网页源码eclipse项目

一、源码特点 ssm 科研奖励申报管理系统是一套完善的信息系统&#xff0c;结合springMVC框架完成本系统&#xff0c;对理解JSP java编程开发语言有帮助系统采用SSM框架&#xff08;MVC模式开发&#xff09;&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用…
阅读更多...
[CSS]使用flex实现二联三联布局

[CSS]使用flex实现二联三联布局

1. 使用flex实现二联布局 思路&#xff1a;左侧为固定width&#xff0c;右侧为所有 <style type"text/css">.wrap {display: flex;justify-content: space-between;} ​.left,.right,{height: 100px;} ​.left {width: 200px;background: coral;} ​.right {…
阅读更多...
iOS - Runloop介绍

iOS - Runloop介绍

文章目录 iOS - Runloop介绍1. 简介1.1 顾名思义1.2. 应用范畴1.3. 如果没有runloop1.4. 如果有了runloop 2. Runloop对象3. Runloop与线程4. 获取Runloop对象4.1 Foundation4.2 Core Foundation4.3 示例 5. Runloop相关的类5.1 Core Foundation中关于RunLoop的5个类5.2 CFRunL…
阅读更多...
java复原IP 地址（力扣Leetcode93）

java复原IP 地址（力扣Leetcode93）

复原IP 地址 力扣原题链接 问题描述 有效 IP 地址正好由四个整数&#xff08;每个整数位于 0 到 255 之间组成&#xff0c;且不能含有前导 0&#xff09;&#xff0c;整数之间用 ‘.’ 分隔。 例如&#xff1a;“0.1.2.201” 和 “192.168.1.1” 是有效 IP 地址&#xff0c…
阅读更多...
【CASS精品教程】CASS11台阶画法大全

【CASS精品教程】CASS11台阶画法大全

文章目录 一、无边台阶二、有边台阶三、圆弧无边台阶四、U型台阶五、曲线U型台阶六、L型台阶一、无边台阶 点击【居民地】→【房屋附属】→【台阶】： 选择【两点边】即可。 两点边的绘制方法是，依次点击四个点，或者点击三个点后空格，注意台阶缺口（有白色线条）为下。 四…
阅读更多...
vue3 中 ref和reactive、shallowRef和shallowReactive，toRaw 和 markRaw的区别

vue3 中 ref和reactive、shallowRef和shallowReactive，toRaw 和 markRaw的区别

在 Vue 3 中，ref、reactive、shallowRef、shallowReactive 是用于创建响应式数据的方法，而 toRaw 和 markRaw 则是用于处理响应式数据的辅助函数。让我分别解释它们的区别： ref vs reactive: ref：用于创建一个包装了基本数据类型（如数字、字符串等）的响应式引用。它返回一…
阅读更多...
Linux/Ubuntu/Debian 终端命令:设置文件/目录权限和组

Linux/Ubuntu/Debian 终端命令:设置文件/目录权限和组

更改文件权限&#xff1a; chmod filename&#xff1a;根据指定的权限更改文件的权限。 例如&#xff1a; chmod ux filename # 为文件所有者添加执行权限 递归更改目录权限&#xff1a; chmod -R <说明> 目录名称&#xff1a;递归更改目录及其内容的权限。 例如&#xf…
阅读更多...
开发DDD伪创新工具-UMLChina建模知识竞赛第5赛季第7轮（无人答对，再换题重发）

开发DDD伪创新工具-UMLChina建模知识竞赛第5赛季第7轮（无人答对，再换题重发）

DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 参考潘加宇在《软件方法》和UMLChina公众号文章中发表的内容作答。在本文下留言回答。 只要最先答对前3题&#xff0c;即可获得本轮优胜。 如果有第4题&#xff0c;第4题为附加题&am…
阅读更多...
大数据-hive，初步了解

大数据-hive，初步了解

1. Hive是什么 Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性&#xff0c;因此使用Hive构建的数据仓库也秉承了这些特性。 简单来说&#xff0c;Hive就是在Hadoop上架了一层SQL接口&#xff0c;可以将SQL翻译成MapRedu…
阅读更多...
hcia datacom课程学习（5）：MAC地址与arp协议

hcia datacom课程学习（5）：MAC地址与arp协议

1.MAC地址 1.1 含义与作用 &#xff08;1&#xff09;含义&#xff1a; mac地址也称物理地址&#xff0c;是网卡设备在数据链路层的地址&#xff0c;全世界每一块网卡的mac地址都是唯一的&#xff0c;出厂时烧录在网卡上不可更改 &#xff08;2&#xff09;作用&#xff1a…
阅读更多...
PyTorch中的flatten+transpose函数说明

PyTorch中的flatten+transpose函数说明

flatten函数就是对tensor类型进行扁平化处理&#xff0c;就是在不同维度上进行堆叠操作 a.flatten(m)&#xff0c;这个意思是将a这个tensor&#xff0c;从第m(m取值从0开始)维度开始堆叠&#xff0c;一直堆叠到最后一个维度 import torchatorch.rand(2,3,2,3)print(a)x a.fl…
阅读更多...
最新文章

Copyright @ 2022~2023