ES入门十四：分词器

我们存储到ES中数据大致分为以下两种：

  1. 全文本，例如文章内容、通知内容
  2. 精确值，如实体Id

在对这两类值进行查询的时候，精确值类型会比较它们的二进制，其结果只有相等或者不想等。而对全文本类型进行等值比较是不太实现的，一般我们只会比较两个文本是否相似。根据上一讲的内容我们知道，要比较两个文本类型是否相似，使用相关性评分来评估的。而要得到相关性评分，我们就需要对全文本进行分词处理，然后得到统计数据才能进行评估

在es中，负责处理文本分词的是分词器，本文我们就来学习ES中分词器的组成和部分分词器的特性。

分词（Analysis）与分词器

分词是将全文本转换为一系列单词的过程，这些单词称为term或者token，而这个过程称为分词。
分词是通过**分词器（Analyzer）来实现的，**比如用于中文分词的IK分词器等。当然你也可以实现自己的分词器，例如可以简单将全文本以空格来实现分词。ES内置来一些常用的分词器，如果不能满足你的需求，你可以安装第三方的分词器或者定制化你自己的分词器。

**除了在写入的时候对数据进行分词，在对全文本进行查询的时候也需要使用相同的分词器对检索内存进行分析。例如，**查询Java Book的时候会分为java 和book两个单词，如下如所示：
image.png

分词器的组成

分词器主要由 3 部分组成。

  • Character Filter：注意对原文本进行格式处理，比如去除html标签
  • Tokenizer：按照指定规则对文本进行切分，比如按空格来切分单词，同时页负责标记出每个单词的顺序、位置以及单词在原文本中开始和结束的偏移量
  • Token Filter：对切分后的单词进行处理，如转换为小写、删除停顿词、增加同义词、词干化等

如下图就是分词器工作的流程，需要进行分词的文本依次通过Character Filter、Tokenizer、Token Filter，最后得出切分后的词项：
image.png

ES内置的分词器

为了方便用户使用，Es为用户提供了多个内置的分词器，常见的有以下8种。

  • Standard Analyzer：这个是默认的分词器，使用Unicode文本分割算法，将文本按单词切分并且转换为小写
  • Simple Analyzer：按照非字母切分并且进行小写处理
  • Stop Analyzer：与 Simple Analyzer 类似，但增加了停用词过滤（如 a、an、and、are、as、at、be、but 等）。
  • Whitespace Analyzer：使用空格对文本进行切分，并不进行小写转换
  • Pattern n Analyzer；使用正则表达式切分，默认使用 \W+ (非字符分隔)。支持小写转换和停用词删除。
  • Keyword Analyzer：不进行分词
  • Language Analyzer：提供了多种常见语言的分词器。如 Irish、Italian、Latvian 等。
  • Customer Analyzer：自定义分词器

下面我们通过讲解Standard Analyzer来进一步熟悉分词器的工作流程，但在这之前我要先介绍一个Es提供的API：_analyze。
_analyze Api是一个非常有用的工具，它可以帮助我们查看分词器是如何工作的。_analyze API 提供了 3 种方式来查看分词器是如何工作的。

  1. 使用 _analyze API 时可以直接指定 Analyzer 来进行测试，示例如下：
GET _analyze
{"analyzer": "standard","text": "Your cluster could be accessible to anyone."
}# 结果
{"tokens": [{"token": "your","start_offset": 0,"end_offset": 4,"type": "<ALPHANUM>","position": 0},{"token": "cluster","start_offset": 5,"end_offset": 12,"type": "<ALPHANUM>","position": 1}......]
}

如上示例，在这段代码中我们可以看到它将text的内容用standard分词器进行分词，text的内容按单词进行了切分并且your转为了小写。

  1. 对指定的索引进行测试，示例如下：
# 创建和设置索引
PUT my-index
{"mappings": {"properties": {"my_text": {"type": "text","analyzer": "standard"  # my_text字段使用了standard分词器}}}
}GET my-index/_analyze 
{"field": "my_text", # 直接使用my_text字段已经设置的分词器"text":  "Is this déjà vu?"
}# 结果：
{"tokens": [{"token": "is","start_offset": 0,"end_offset": 2,"type": "<ALPHANUM>","position": 0},......]
}
  1. 组合 tokenizer、filters、character filters 进行测试，示例如下：
GET _analyze 
{"tokenizer": "standard", # 指定一个tokenizer"filter":  [ "lowercase", "asciifolding" ], # 可以组合多个token filter# "char_filter":"html_strip", 可以指定零个Character Filter"text": "java app"
}

从上面的示例可以看到，tokenizer使用了standard而token filter使用了lowercase和ascillfolding来对text的内容进行切分。用户可以组合一个tokenizer、零个或者多个token filter、零个或者多个character filter。

Standard Analyzer

Standard Analyzer 是 ES 默认的分词器，它会将输入的内容按词切分，并且将切分后的词进行小写转换，默认情况下停用词（Stop Word）过滤功能是关闭的。
image.png
可以试一下下面这个例子：

GET _analyze
{"analyzer": "standard", # 设定分词器为 standard"text": "Your cluster could be accessible to anyone."
}# 结果
{"tokens": [{"token": "your","start_offset": 0,"end_offset": 4,"type": "<ALPHANUM>","position": 0},{"token": "cluster","start_offset": 5,"end_offset": 12,"type": "<ALPHANUM>","position": 1} ......]
}

如上示例，从其结果中可以看出，单词You做了小写转换，停用词be没有被去掉，并且返回结果里记录了这个单词在原文本中的开始偏移量、结束偏移以及这个词出现的位置

自定义分词器

除了使用内置的分词器外，我们还可以通过组合 Tokenizer、Filters、Character Filters 来自定义分词器。其用例如下：

PUT my-index-001
{"settings": {"analysis": {"char_filter": { # 自定义char_filter"and_char_filter": {"type": "mapping","mappings": ["& => and"] # 将 '&' 转换为 'and'}},"filter": { # 自定义 filter"an_stop_filter": {"type": "stop","stopwords": ["an"] # 设置 "an" 为停用词}},"analyzer": { # 自定义分词器为 custom_analyzer"custom_analyzer": {"type": "custom",# 使用内置的html标签过滤和自定义的my_char_filter"char_filter": ["html_strip", "and_char_filter"],"tokenizer": "standard",# 使用内置的lowercase filter和自定义的my_filter"filter": ["lowercase", "an_stop_filter"]}}}}
}GET my-index-001/_analyze
{"analyzer": "custom_analyzer","text": "Tom & Gogo bought an orange <span> at an orange shop"
}

你可以在 Kibana 中运行上述的语句并且查看结果是否符合预期，Tom 和 Gogo 将会变成小写，而 & 会转为 and，an 这个停用词和这个 html 标签将会被处理掉，但 at 不会。
ES 的内置分词器可以很方便地处理英文字符，但对于中文却并不那么好使，一般我们需要依赖第三方的分词器插件才能满足日常需求。

中文分词器

中文分词不像英文分词那样可以简单地以空格来分隔，而是要分成有含义的词汇，但相同的词汇在不同的语境下有不同的含义。社区中有很多优秀的分词器，这里列出几个日常用得比较多的。

  • analysis-icu是官方的插件，其将Lucene ICU module融入到es中。使用ICU函数库来处理提供处理Unicode的工具
  • IK：支持自定义词典和词典热更新
  • THULAC：其安装和使用官方文档中有详细的说明，本文就不再赘述了

analysis-icu分词器

analysis-icu 是官方的插件，项目在这里。ICU 的安装如下：

# 进入脚本目录，参见ES 简介和安装一节我们把es安装在ES/es_node1# 有3个节点的需要分别进入3个节点目录进行安装 ！！！！！cd ES/es_node1bin/elasticsearch-plugin install https://artifacts.elastic.co/downloads/elasticsearch-plugins/analysis-icu/analysis-icu-7.13.0.zip# 如果安装出错，并且提示你没有权限，请加上sudo：sudo bin/elasticsearch-plugin install https://artifacts.elastic.co/downloads/elasticsearch-plugins/analysis-icu/analysis-icu-7.13.0.zip

ICU 的用例如下：

POST _analyze
{  "analyzer": "icu_analyzer","text": "Linus 在90年代开发出了linux操作系统"  
}# 结果
{"tokens" : [......{"token" : "开发","start_offset" : 11,"end_offset" : 13,"type" : "<IDEOGRAPHIC>","position" : 4},{"token" : "出了","start_offset" : 13,"end_offset" : 15,"type" : "<IDEOGRAPHIC>","position" : 5},{"token" : "linux","start_offset" : 15,"end_offset" : 20,"type" : "<ALPHANUM>","position" : 6}......]
}

通过在 Kibana 上运行上述查询语句，可以看到结果与 Standard Analyzer 是不一样的，同样你可以将得出的结果和下面的 IK 分词器做一下对比，看看哪款分词器更适合你的业务。更详细的 ICU 使用文档可以查看：ICU 文档

IK分词器

IK 的算法是基于词典的，其支持自定义词典和词典热更新。下面来安装 IK 分词器插件：

# 有3个节点的需要分别进入3个节点目录进行安装 ！！！！！cd ES/es_node1# 如果因为没有权限而安装失败的话，使用sudo ./bin/elasticsearch-plugin install url 来安装./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.13.0/elasticsearch-analysis-ik-7.13.0.zip

在每个节点执行完上述指令后，需要重启服务才能使插件生效。重启后，可以在 Kibana 中测试一下 IK 中文分词器的效果了。

POST _analyze
{  "analyzer": "ik_max_word","text": "Linus 在90年代开发出了linux操作系统"  
}POST _analyze
{  "analyzer": "ik_smart","text": "Linus 在90年代开发出了linux操作系统"  
}

如上示例可以看到，IK 有两种模式：ik_max_word 和 ik_smart，它们的区别可总结为如下（以下是 IK 项目的原文）。

  • ik_max_word： 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、人、民、共和国、共和、和、国国、国歌”，会穷尽各种可能的组合，适合 Term Query。
  • ik_smart： 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国、国歌”，适合 Phrase 查询。

关于 IK 分词器插件更详细的使用信息，你可以参考 IK 项目的文档。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/799060.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【深度学习】StableDiffusion的组件解析，运行一些基础组件效果

【深度学习】StableDiffusion的组件解析，运行一些基础组件效果

文章目录 前言vaeclipUNetunet训练帮助、问询 前言 看了篇文&#xff1a; https://zhuanlan.zhihu.com/p/617134893 运行一些组件试试效果。 vae 代码&#xff1a; import torch from diffusers import AutoencoderKL import numpy as np from PIL import Image# 加载模型…
阅读更多...
Redis分布式锁误删情况说明

Redis分布式锁误删情况说明

4.4 Redis分布式锁误删情况说明 逻辑说明&#xff1a; 持有锁的线程在锁的内部出现了阻塞&#xff0c;导致他的锁自动释放&#xff0c;这时其他线程&#xff0c;线程2来尝试获得锁&#xff0c;就拿到了这把锁&#xff0c;然后线程2在持有锁执行过程中&#xff0c;线程1反应过…
阅读更多...
Linux 命令完全手册(1)，受益匪浅

Linux 命令完全手册(1)，受益匪浅

第一列返回的是行数&#xff0c;第二列是字数&#xff0c;第三列则是比特数。 我们可以让它只计算行数&#xff1a; wc -l test.txt 或者只计算字数&#xff1a; wc -w test.txt 或者只计算比特数&#xff1a; wc -c test.txt 在 ASCII 字符集中&#xff0c;比特数等于字…
阅读更多...
python爬虫学习第十六天--------URLError和HTTPError、cookie登录、Handler处理器

python爬虫学习第十六天--------URLError和HTTPError、cookie登录、Handler处理器

&#x1f388;&#x1f388;作者主页&#xff1a; 喔的嘛呀&#x1f388;&#x1f388; &#x1f388;&#x1f388;所属专栏&#xff1a;python爬虫学习&#x1f388;&#x1f388; ✨✨谢谢大家捧场&#xff0c;祝屏幕前的小伙伴们每天都有好运相伴左右&#xff0c;一定要天天…
阅读更多...
多轴机械臂/正逆解/轨迹规划/机器人运动学/Matlab/DH法 学习记录01——数学基础

多轴机械臂/正逆解/轨迹规划/机器人运动学/Matlab/DH法 学习记录01——数学基础

系列文章目录 本科毕设正在做多轴机械臂相关的内容&#xff0c;这里是一个学习机械臂运动学课程的相关记录。 如有任何问题&#xff0c;可发邮件至layraliufoxmail.com问询。 1. 数学基础 文章目录 系列文章目录一、空间位置、姿态描述二、旋转矩阵&#xff08;Rotation matri…
阅读更多...
线程池的方式爬虫

线程池的方式爬虫

<!--爬虫仅支持1.8版本的jdk--> <!-- 爬虫需要的依赖--> <dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.2</version> </dependency><!-- 爬虫需…
阅读更多...
mysql修改密码提示： Your password does not satisfy the current policy requirements

mysql修改密码提示： Your password does not satisfy the current policy requirements

1、问题概述&#xff1f; 环境说明&#xff1a; Red Hat Enterprise Linux7mysql5.7.10 执行如下语句报错&#xff1a; set password for rootlocalhost password(123456); ERROR 1819 (HY000): Your password does not satisfy the current policy requirements意思就是&a…
阅读更多...
摄影杂记二

摄影杂记二

一、相机操作指南 ⑴按键说明&#xff1a; 除了常规的几个模式&#xff0c;里面就特殊场景可以看一下&#xff0c;有全景&#xff0c;支持摇摄。 lock&#xff1a;多功能锁。可以锁定控制按钮和控制环。在设置中找到多功能锁&#xff0c;可以设置锁定什么。 m-fn&#xff1a;多…
阅读更多...
Go数据结构的底层原理（图文详解）

Go数据结构的底层原理（图文详解）

空结构体的底层原理 基本类型的字节数 fmt.Println(unsafe.Sizeof(0)) // 8 fmt.Println(unsafe.Sizeof(uint(0))) // 8 a : 0 b : &a fmt.Println(unsafe.Sizeof(b)) // 8int大小跟随系统字长指针的大小也是系统字长 空结构体 a : struct { }{} b : struct {…
阅读更多...
国内ChatGPT大数据模型

国内ChatGPT大数据模型

在中国&#xff0c;随着人工智能技术的迅猛发展&#xff0c;多个科技公司和研究机构已经开发出了与OpenAI的ChatGPT类似的大型语言模型。这些模型通常基于深度学习技术&#xff0c;尤其是Transformer架构&#xff0c;它们在大量的文本数据上进行训练&#xff0c;以理解和生成自…
阅读更多...
每天五分钟掌握深度学习框架pytorch:本专栏说明

每天五分钟掌握深度学习框架pytorch:本专栏说明

专栏大纲 专栏计划更新章节在100章左右&#xff0c;之后还会不断更新&#xff0c;都会配备代码实现。以下是专栏大纲 部分代码实现 代码获取 为了方便用户浏览代码&#xff0c;本专栏将代码同步更新到github中&#xff0c;所有用户可以读完专栏内容和代码解析之后&#xff0c…
阅读更多...
Struts2：Action类的写法，推荐使用继承ActionSupport类的方法

Struts2：Action类的写法，推荐使用继承ActionSupport类的方法

文章目录 方法一&#xff1a;Action类是一个POJO类&#xff08;简单的Java类&#xff09;ActionDemo2.javastruts_demo2.xmlstruts.xml运行结果其他strutsz_demo1.xml 方法二&#xff1a;实现一个Action的接口ActionDemo2_2.javastruts_demo2.xml运行结果 推荐&#xff01;&…
阅读更多...
SiteSpace 使用方法笔记

SiteSpace 使用方法笔记

目录 介绍下载及安装准备工作知网 CNKI 文献分析数据准备数据转换新建项目图形处理 介绍 CiteSpace 是一个用于可视化和分析科学文献的工具。它可以从科学文献库中提取关键词、作者、机构和引用关系等信息&#xff0c;并将其可视化为图形网络。 一些使用案例 下载及安装 下载…
阅读更多...
Redis从入门到精通(九)Redis实战(六)基于Redis队列实现异步秒杀下单

Redis从入门到精通(九)Redis实战(六)基于Redis队列实现异步秒杀下单

文章目录 前言4.5 分布式锁-Redisson4.5.4 Redission锁重试4.5.5 WatchDog机制4.5.5 MutiLock原理 4.6 秒杀优化4.6.1 优化方案4.6.2 完成秒杀优化 4.7 Redis消息队列4.7.1 基于List实现消息队列4.7.2 基于PubSub的消息队列4.7.3 基于Stream的消息队列4.7.4 基于Stream的消息队…
阅读更多...
Golang单元测试和压力测试

Golang单元测试和压力测试

一.单元测试 1.1 go test工具 go语言中的测试依赖go test命令。编写测试代码和编写普通的Go代码过程类似&#xff0c;并不需要学习新的语法&#xff0c;规则和工具。 go test命令是一个按照一定约定和组织的测试代码的驱动程序。在包目录内&#xff0c;所有以_test.go为后缀名的…
阅读更多...
零代码编程：用kimichat打造一个最简单的window程序

零代码编程：用kimichat打造一个最简单的window程序

用kimichat可以非常方便的自动生成程序代码&#xff0c;有些小程序可能会频繁使用&#xff0c;如果每次都在vscode中执行就会很麻烦。常用的Python代码&#xff0c;可以直接做成一个window程序&#xff0c;点击就可以打开使用&#xff0c;方便很多。 首先&#xff0c;把kimich…
阅读更多...
Tokenize Anything via Prompting

Tokenize Anything via Prompting

SAM的延续&#xff0c;把SAM输出的token序列用来进行分类&#xff0c;分割和一个自然语言的decoder处理&#xff0c;但其实现在多模态的图像的tokenizer也几乎都是用VIT来实现的。一开始认为这篇文章可能是关于tokenize的&#xff0c;tokenize还是很重要的&#xff0c;后来看完…
阅读更多...
JVM虚拟机（一）介绍、JVM组成、堆、栈、方法区/元空间、直接内存

JVM虚拟机（一）介绍、JVM组成、堆、栈、方法区/元空间、直接内存

目录 一、JVM 介绍1.1 为什么要学 JVM&#xff1f;1.2 JVM 是什么&#xff1f; 二、JVM 组成2.1 程序计数器2.2 Java堆1&#xff09;JVM 内存结构2&#xff09;Java 1.7 和 1.8 中堆的区别 2.3 Java虚拟机栈1&#xff09;虚拟机栈 和 栈帧2&#xff09;常见面试题 2.4 方法区/元…
阅读更多...
搜索二维矩阵2 合并两个有序链表

搜索二维矩阵2 合并两个有序链表

240. 搜索二维矩阵 II - 力扣&#xff08;LeetCode&#xff09; class Solution { public:bool searchMatrix(vector<vector<int>>& matrix, int target) {int i matrix.size() - 1, j 0;while(i > 0 && j < matrix[0].size()){if(matrix[i][j…
阅读更多...
基于wsl的Ubuntu20.04上安装桌面环境

基于wsl的Ubuntu20.04上安装桌面环境

在子系统Ubuntu20.04上安装桌面环境 1. 更换软件源 由于Ubuntu默认的软件源在国外&#xff0c;有时候后可能会造成下载软件卡顿&#xff0c;这里我们更换为国内的阿里云源&#xff0c;其他国内源亦可。 双击打开Ubuntu20.04 LTS图标&#xff0c;在命令行中输入 # 备份原来的软…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023