Elasticsearch分词及其自定义

文章目录

  • 分词发生的阶段
    • 写入数据阶段
    • 执行检索阶段
  • 分词器的组成
      • 字符过滤
      • 文本切分为分词
      • 分词后再过滤
  • 分词器的分类
    • 默认分词器
    • 其他典型分词器
  • 特定业务场景的自定义分词案例
    • 实战问题拆解
    • 实现方案

分词发生的阶段

写入数据阶段

分词发生在数据写入阶段，也就是数据索引化阶段。举例如下。该例中使用的中文分词器ik自带词典，词典系2012年前后的词典。

在这里插入图片描述

执行检索阶段

当使用ik_smart分词器对“昨天，小明和他的朋友们去了市中心的图书馆”进行分词后，会将这句话分成不同的词汇或词组。

在执行“图书馆”检索时，Elasticsearch会根据倒排索引查找所有包含“图书馆”的文档。

分词器的组成

文档被写入并转换为倒排索引之前，Elasticsearch对文档的操作称为分析。而分析是基于Elasticsearch内置分词器(analyzer)或者自定义分词器实现的。

在这里插入图片描述

字符过滤

字符过滤器(character filter)将原始文本作为字符流接收，并通过添加、删除或更改字符来转换字符流。字符过滤器分类如下

字符过滤器(character filter)将原始文本作为字符流接收，并通过添加、删除或更改字符来转换字符流。

1)HTML Strip Character Filter：用于删除HTML元素，如删除＜b＞标签；解码HTML实体，如将&amp转义为&。

2)Mapping Character Filter：用于替换指定的字符。

3)Pattern Replace Character Filter：可以基于正则表达式替换指定的字符。

文本切分为分词

若进行了字符过滤，则系统将接收过滤后的字符流；若未进行过滤，则系统接收原始字符流。在接收字符流后，系统将对其进行分词，并记录分词后的顺序或位置(position)、起始值(start_offset)以及偏移量(end_offset-start_offset)。而tokenizer负责初步进行文本分词。

tokenizer分类如下，详细使用方法需参考官方文档。

❑Standard Tokenizer（标准分词器）

❑Letter Tokenizer（字母分词器）

❑Lowercase Tokenizer（小写转化分词器）

分词后再过滤

在对tokenizer处理后的字符流进行进一步处理时，例如进行转换为小写、删除（去除停用词）和新增（添加同义词）等操作，可能会感到有些复杂。不用担心，只需将它们的执行顺序牢记在心，结合实战案例的详细解析来进行理解，便能逐渐明白其中的奥妙。

分词器的分类

默认分词器

Elasticsearch默认使用standard分词器。也就是说，针对text类型，如果不明确指定分词器，则默认为standard分词器。standard分词器会将词汇单元转换成小写，并去除停用词和标点符号。它基于Unicode文本分割算法进行工作，适用于大多数语言。standard分词器针对英文的分词效果如下。

1)对于英文，以“A man can be destroyed，but not defeated.”为例，分词效果如下。

在这里插入图片描述
2)对于中文，以“昨天，小明和他的朋友们去了市中心的图书馆。”为例，分词效果如下。

在这里插入图片描述

其他典型分词器

在这里插入图片描述
使用IK分词器有以下注意事项。

1)IK自带词典并不完备，建议自己结合业务添加所属业务的词典。

2)IK采用动态添加词典的方式，建议修改IK分词插件源码，与MySQL数据库结合，以灵活支持动态词典的更新。

特定业务场景的自定义分词案例

业务需求是这样的：有一个作者字段，比如Li，LeiLei；Han，MeiMei以及LeiLei Li……现在要对其进行精确匹配。对此，你有什么想法？

你可能会考虑用自定义分词的方式，通过分号分词。但是这样的话，如果检索Li，LeiLei，那么LeiLei Li就不能被搜索到，而我们希望LeiLei Li也被搜索到。并且对于这种分词，Li，LeiLei中间不加逗号也不能匹配到。但是为什么在映射里面添加停用词也是无效的呢？

实战问题拆解

首先来看自定义分词器在映射的Settings部分中的设置。

### 创建索引
PUT my_index_0601
{"settings": {"analysis": {"char_filter": {},"tokenizer": {},"filter": {},"analyzer": {}}}
}

分词器由如下几部分组成。

❑"char_filter":{}，——对应字符过滤部分。

❑"tokenizer":{}，——对应文本切分为分词部分。

❑"filter":{}，——对应分词后再过滤部分。

❑"analyzer":{}——对应分词器，包含上述三者。

然后来拆解问题，如下所示。
❑核心问题1：实际检索中，名字不带“，”，即逗号需要通过字符过滤掉。

方案：在char_filter阶段实现过滤。

❑核心问题2：基于什么进行分词？

方案：在Li，LeiLei；Han，MeiMei；的构成中，只能采用基于“；”的分词方式。

❑核心问题3：支持姓名颠倒后的查询，即LeileiLi也能被检索到。

方案：需要结合同义词实现。在分词后的过滤阶段，将LiLeiLei和LeiLeiLi设定为同义词。

实现方案

在这里插入图片描述

PUT my_index_0601
{"settings": {"analysis": {"char_filter": {"my_char_filter": {"type": "mapping","mappings": [", => "]}},"tokenizer": {"my_tokenizer": {"type": "pattern","pattern": """\;"""}},"filter": {"my_synonym_filter": {"type": "synonym","expand": true,"synonyms": ["leileili  => lileilei","meimeihan => hanmeimei"]}},"analyzer": {"my_analyzer": {"tokenizer": "my_tokenizer","char_filter": ["my_char_filter"],"filter": ["lowercase","my_synonym_filter"]}}}},"mappings": {"properties": {"name": {"type": "text","analyzer": "my_analyzer"}}}
}POST my_index_0601/_analyze
{"analyzer": "my_analyzer","text": "Li,LeiLei;Han,MeiMei"
}POST my_index_0601/_analyze
{"analyzer": "my_analyzer","text": "LeiLei,Li;MeiMei,Han"
}####批量写入数据
POST my_index_0601/_bulk
{"index":{"_id":1}}
{"name":"Li,LeiLei;Han,MeiMei"}
{"index":{"_id":2}}
{"name": "LeiLei,Li;MeiMei,Han"}POST my_index_0601/_search
{"query": {"match_phrase": {"name": "lileilei"}}
}

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/837880.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AVL树、红黑树

AVL树、红黑树

数据结构、算法总述：数据结构/算法 C/C-CSDN博客 AVL树 定义 空二叉树是一个 AVL 树如果 T 是一棵 AVL 树，那么其左右子树也是 AVL 树，并且 ，h 是其左右子树的高度树高为 平衡因子：右子树高度 - 左子树高度 创建节点…
阅读更多...
HBase无法给用户赋权的解决方案

HBase无法给用户赋权的解决方案

建表之后，在赋权的时候，发现有错误 2.以开始以为语法有错误，不会啊，很简单的语法。经过测试几个命令发现，但凡和权限相关的命令，都失败了 百度到一些建议，需要检查参数，在确认下面…
阅读更多...
用vue实现json模版编辑器

用vue实现json模版编辑器

用vue实现json模版编辑器 控件区表单区配置项区 （还没写）业务逻辑 设想业务逻辑是拖拽控件生成表单 动手做了一个简单的demo 业务的原型图设想如下所示 其中使用的技术主要是vuedragger 控件区 做控件区的时候首先我们要有确定的配置项 其实也很简单 …
阅读更多...
Github20K星开源团队协作工具：Zulip

Github20K星开源团队协作工具：Zulip

Zulip：让团队协作的每一次交流，都精准高效。- 精选真开源，释放新价值。 概览 随着远程工作的兴起和团队协作的需求不断增加，群组聊天软件成为了日常工作中不可或缺的一部分。Zulip 是github上一个开源的团队协作工具，…
阅读更多...
SpringBoot：缓存

SpringBoot：缓存

点击查看SpringBoot缓存demo：LearnSpringBoot09Cache-Redis 技术摘要 注解版的 mybatisCacheConfigCacheableCachePut：既调用方法，又更新缓存数据；同步更新缓存CacheEvict：缓存清除Caching：定义复杂的缓存…
阅读更多...
【运维自动化-配置平台】如何自动应用主机属性

【运维自动化-配置平台】如何自动应用主机属性

主要用于配置主机属性的自动应用。当主机发生模块转移或模块新加入主机时，会根据目标模块配置的策略自动触发修改主机属性，比如主机负责人、主机状态。主机属性自动应用顾名思义是应用到主机上，而主机是必须在模块下的，所以有两种…
阅读更多...
net 7部署到Linux并开启https

net 7部署到Linux并开启https

1.修改代码设置后台服务运行 安装nuget包 Install-Package Microsoft.Extensions.Hosting.WindowsServices Install-Package Microsoft.Extensions.Hosting.Systemd在Program代码中设置服务后台运行 var builder WebApplication.CreateBuilder(args);if (System.OperatingS…
阅读更多...
【QuikGraph】C#调用第三方库计算有向图、无向图的连通分量

【QuikGraph】C#调用第三方库计算有向图、无向图的连通分量

QuikGraph库 项目地址：https://github.com/KeRNeLith/QuikGraph 相关概念 图论、连通分量、强连通分量相关概念，可以从其他博客中复习： https://blog.csdn.net/weixin_50564032/article/details/123289611 https://zhuanlan.zhihu.com/p/3…
阅读更多...
【LeetCode刷题】136.只出现一次的数字（Ⅰ）

【LeetCode刷题】136.只出现一次的数字（Ⅰ）

【LeetCode刷题】136.只出现一次的数字（Ⅰ） 1. 题目：2.思路分析：思路1：一眼异或！ 1. 题目： 2.思路分析： 思路1：一眼异或！ 看到题目，如果有一定基…
阅读更多...
Kafka学习-Java使用Kafka

Kafka学习-Java使用Kafka

文章目录 前言一、Kafka1、什么是消息队列offset 2、高性能topicpartition 3、高扩展broker 4、高可用replicas、leader、follower 5、持久化和过期策略6、消费者组7、Zookeeper8、架构图 二、安装Zookeeper三、安装Kafka四、Java中使用Kafka1、引入依赖2、生产者3、消费者4、运…
阅读更多...
JavaScript异步编程——09-Promise类的方法【万字长文，感谢支持】

JavaScript异步编程——09-Promise类的方法【万字长文，感谢支持】

Promise 类的方法简介 Promise 的 API 分为两种： Promise 实例的方法（也称为：Promis的实例方法） Promise 类的方法（也称为：Promise的静态方法） 前面几篇文章，讲的都是 Promise 实…
阅读更多...
USB3.0接口——（3）协议层（包格式）

USB3.0接口——（3）协议层（包格式）

1.协议层 1.1.超高速传输事务 超高速事务（SuperSpeed transactions）由主机对设备端点请求或发送数据开始，并在端点发送数据或确认收到数据时完成。 超高速总线上的数据传输（transfer）是主机请求设备应用程序生成的数…
阅读更多...
【LAMMPS学习】九、LAMMPS脚本 示例

【LAMMPS学习】九、LAMMPS脚本 示例

9. 示例脚本 LAMMPS 发行版包含一个包含许多示例问题的示例子目录。许多是二维模型，运行速度快且易于可视化，在台式机上运行最多需要几分钟。每个问题都有一个输入脚本 (in.*)，并在运行时生成一个日志文件 (log.*)。有些使用初始坐标的数据文…
阅读更多...
Linux-基础IO

Linux-基础IO

🌎Linux基础IO 文章目录： Linux基础IO C语言中IO交互       常用C接口         fopen         fputs         fwrite         fgets 当前路径       三个文件流 系统文件IO       open函数     …
阅读更多...
特征模态分解(FMD)：一种小众而又新颖的分解方法

特征模态分解(FMD)：一种小众而又新颖的分解方法

​ 声明：文章是从本人公众号中复制而来，因此，想最新最快了解各类智能优化算法及其改进的朋友，可关注我的公众号：强盛机器学习，不定期会有很多免费代码分享~ 今天为大家介绍一个小众而又新颖的信号分…
阅读更多...
tensorflow实现二分类

tensorflow实现二分类

# 导入所需库和模块 from tensorflow.keras.layers import Dense, Input, Activation # 导入神经网络层和激活函数模块 from tensorflow.keras.models import Sequential # 导入Keras的Sequential模型 import pandas as pd # 导入Pandas库用于数据处理 import numpy as np …
阅读更多...
接口文档不显示新写的接口

接口文档不显示新写的接口

新写的接口，但是不显示： 仔细对比源码才发现没有写tag： 然后就有了：
阅读更多...
ES6之正则扩展

ES6之正则扩展

正则表达式扩展 u修饰符（Unicode模式）y修饰符（Sticky或粘连模式）s修饰符（dotAll模式）Unicode属性转义正则实例的flags属性字符串方法与正则表达式的整合 javascript的常用的正则表达式 验证数字邮箱验证手机…
阅读更多...
C语言中的循环队列与栈、队列之间的转换实现

C语言中的循环队列与栈、队列之间的转换实现

引言 在数据结构的学习中，栈（Stack）和队列（Queue）是两个非常重要的概念。它们分别遵循着后进先出（LIFO）和先进先出（FIFO）的原则。在某些情况下，我们可能需要…
阅读更多...
C++——超简单登录项目

C++——超简单登录项目

程序入口文件 #include <QtWidgets/QApplication> // 包含登录页面头文件 #include "DlgLogin.h"int main(int argc, char *argv[]) {QApplication a(argc, argv);// 程序入口// 调页面起来//DlgMain w;//w.show();// 换成登录页面DlgLogin w;w.show();return…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023