ElasticSearch 学习笔记

基本概念

术语

  1. 文档（document）：每条记录就是一个文档，会以 JSON 格式进行存储
    JSON 存储
  2. 映射（mapping）：索引中文档字段的约束信息，类似 RDBMS 中的表结构约束（schema）
  3. 词条（term）：对文档内容分词得到的词语，是索引里面最小的存储和查询单元
  4. 词典（term dictionary）：由文本集合中出现过的所有词条所组成的集合
  5. 词条索引（term Index）：为了在词典中快速找到某个词条，需要为词条建立索引。通过压缩算法，词条索引的大小只有所有词条的几十分之一，因此词条索引可以存储在内存中，从而提供更快的查找速度
  6. 倒排表（posting list）：记录词条出现在哪些文档里，以及出现的位置和频率等信息。倒排表中的每条记录称为一个倒排项（posting）
  7. 索引（index）：相同类型（文档结构）的文档集合

索引前的文档集合：
索引前的文档集合
索引后的文档集合：
索引后的文档集合
8.

比较

  1. RDBMS vs ES
    RDBMS vs ES
  2. 使用场景：MySQL 擅长于事务类型操作，可以确保数据的安全性和一致性；ES 则擅长于海量数据的检索、分析与计算。

MySQL + ES 组合使用架构：
MySQL + ES 组合使用架构

语法

DDL
类型

字段类型
注意：index 默认为 true，即 ES 会默认给设置的字段设置倒排索引，如无需设置倒排索引需要手动设置为 false

语法示例
PUT /索引库名称
{"mappings": { // 定义 schema"properties": { // schema 的具体字段极其类型说明"字段1": {"type": "text""analyzer": "ik_smart"},"字段2": {"type": "keyword","index": false},"字段3": {"type": "object","properties": { // 嵌套字段"子字段1": {"type": integer"index": false}}}}}
}GET /索引库名DELETE /索引库名// ES 禁止修改索引库已有字段，只允许新增字段
PUT /索引库名/_mapping
{"properties": {"新字段名": {"type": "long""index": false}}
}
DML
新增文档
POST /索引库名/_doc/文档id
{"字段1": "值1","字段2": {"子字段1" : "子值1"}
}
查询/删除文档
GET /索引库名/_doc/文档idDELETE /索引库名/_doc/文档id
修改文档
  1. 全量修改
PUT /索引库名/_doc/文档id
{"字段1": "值1","字段2": {"子字段1" : "子值1"}
}

注意：当 文档id 指定的文档不存在时，就是新增文档

  1. 局部修改
POST /索引库名/_update/文档id
{"doc": {"字段2": {"子字段1" : "子值1"}}
}
DSL 查询

常见 DSL 查询

语法
全文检索

会先对用户输入的类型进行「分词」，然后去倒排索引库去检索

// 全部查询
GET /索引库名/_search
{"query": {"match_all": {}}
}// match 查询
GET /索引库名/_search
{"query": {"match": {"字段名": "字段值"}}
}// multi_match 查询，注意参与查询字段越多，查询性能越差
GET /索引库名/_search
{"query": {"multi_match": {"query": "字段值""fields": ["字段名1", "字段名2"]}}
}
精确查询

直接使用提供的值进行匹配查询，而不会先进行分词操作

// term 查询
GET /索引库名/_search
{"query": {"term": {"字段名": {"value": "字段值"}}}
}// range 查询
GET /索引库名/_search
{"query": {"range": {"字段名": {"gte": "字段值1", // >="lte": "字段值2", // <=}}}
}
地理查询
复合查询

function score 函数
打分算法原理

TF刻画了词语w对某篇文档的重要性，IDF刻画了w对整个文档集的重要性。TF与IDF没有必然联系，TF低并不一定伴随着IDF高。实际上我们可以看出来，IDF其实是给TF加了一个权重。

打分算法原理
新版 ES 都默认使用 BM25 作为打分算法。

BM25 考虑到了文档长度对于 TF 的影响。在 TF-IDF 中，长文档可能会因为包含更多的词而得到较高的 TF 值。为了消除这种影响，BM25 引入了文档长度归一化，使得长文档和短文档在计算 TF 时能够处于同一水平。BM25 相对 TF-IDF 有哪些优势？

TF-IDF 存在的问题

  1. 在一个相当长的文档中，像 the 和 and 这样词出现的数量会高得离谱，以致它们的权重被人为放大。

IDF vs BM25

  • Bool 查询
    bool 查询
搜索结果处理
排序

排序语法

分页

分页语法及其实现原理
深分页问题
深分页问题
深分页解决方案：
深分页解决方案
ES 深分页问题解决方案

search_after 是 ES 5 新引入的一种分页查询机制，其实 原理几乎就是和 scroll 一样，简单总结如下：

  1. 必须先要 指定排序；
  2. 必须 从第一页开始；
  3. 从第一页开始，以后每次都带上 search_after=lastEmittedDocFieldValue 从而为无状态实现一个状态，其实就是把每次固定的 from + size 偏移变成一个确定值 lastEmittedDocFieldValue，而查询则从这个偏移量开始获取 size 个 _doc（每个 shard 获取 size 个，coordinate node 最后汇总 shards * size 个）。

也就是说，无论去到多少页，coordinate node 向其它 node 发送的请求始终就是请求 size 个 docs，是个常量，而不再是 from + size 那样，越往后你要请求的 docs 就越多，而要丢弃的垃圾结果也就越多。也就是说，如果要做非常多页的查询时，最起码 search_after 是一个常量查询延迟和开销。

高亮

高亮语法及其原理
注意：ES 默认要求搜索字段与高亮字段一致才会高亮显示。设置 “require_field_match”: false 则可以忽视该规定

倒排索引原理

倒排索引建立的是分词（Term）和文档（Document）集合之间的映射关系，在倒排索引中，数据是面向词（Term）而不是面向文档的。

在数据生成的时候，比如插入一份文档，内容是“小米手机与华为手机”，这个时候通过使用分词器，会将它分解为“小米”、“手机”、“与”、“华为”四个词语，然后可能还会把“与”这个无具体意义的关联词语干掉，最后生成一张倒排表。
倒排索引
每搜索一个单词，就对倒排表进行全局遍历，效率特别低，所以需要对倒排表进行排序，以便采用二分查找等方式提高遍历效率。另一方面，光使用排序还会因磁盘 IO 导致查询速度过慢，若将数据放全部入内存，又会导致内存爆满。所以，在倒排表的基础上，又通过 FST （trie、FSA、FST（转））的形式引入了 term index，它不存储所有的单词，只存储单词前缀，并将其完全放入到内存中，通过字典树找到单词所在的块（单词的大概位置），再在块里进行二分查找，找到对应的单词，再找到单词对应的文档列表。
在这里插入图片描述

FST

Lucene的FST（Finite-State Transducers）是一种高效的数据结构（变种的trie树，trie树只共享了前缀，而 FST 既共享前缀也共享后缀。），是Lucene用来构建和管理自动机的一部分，它具有高度的压缩性和空间效率，能够帮助Lucene提高搜索和排序的效率。在FST中，任何字符串都可以看作一个有限状态机，每个状态代表着字符串的某个前缀。FST基于原理：序列化哈希值，通过将无序键序列化到字节数组中，强制所有的比较和排序在序列化字节上进行。

聚合

聚合

自动补全

type: “completion”

数据同步

场景

  1. ElasticSearch 结合工具 LogStash、 Kibana （ELK）进行日志分析、实时监控。

问题

慢查

  1. 使用 search 查询时，指定的查询条件不够精准，导致查询范围过大
  • 返回的 id 过多，在协调节点做排序截断时，会产生比较大的 CPU 压力
  • 返回的 id 过多，会导致第二步通过 id 请求数据 node 获取文档详细时，使得数据节点以及协调节点产生大量的 IO 操作，以及 CPU 消耗

seaerch 查询

GET /my-index/_search

ES 查询原理图-search查询

  1. Client 将请求发送到任意节点 node，该 node 节点成为协调节点（coordinating node）
  2. 协调节点进行分词等操作后，去查询所有的数据节点 shard （primary shard 和 replica shard 选择一个）
  3. 所有数据节点 shard 将满足条件的数据 id、排序字段等信息返回给协调节点
  4. 协调节点重新进行排序，再通过截取数据后获取到真正需要返回的数据 id
  5. 协调节点再次请求对应的数据节点 shard （此时有 id 了，可以直接定位到对应 shard），获取数据文档
  6. 协调节点从数据节点获取到全量数据文档后将其返回给 Client

ID 查询

GET my-index/_doc/0

ES 查询原理图-id查询

  1. Client 将请求发送到任意节点 node，该 node 节点就是协调节点（coordinating node）。
  2. 协调节点对 id 进行路由，从而判断该数据在哪个 shard。
  3. 从 primary shard 和 replica shard 随机选择一个，请求获取 doc。
  4. 接收请求的节点会将数据返回给协调节点，协调节点会将数据返回给 Client

其它

  1. ElasticSearch 高手之路：ES 查询语法文档
  2. Elasticsearch 倒排索引原理
  3. 为什么 ElasticSearch 比 MySQL 更适合复杂条件搜索

思考

ElaticSearch 为什么快

在这里插入图片描述

ES vs MySQL

Elasticsearch 比 MySQL 快的原因

  1. 基于分词后的全文检索：例如 select * from test where name like ‘%张三%’，对于 mysql来说，因为索引失效，会进行全表检索；对 ES 而言，分词后每个字都可以利用 FST 高速找到倒排索引的位置，并迅速获取文档 id 列表，大大的提升了性能，减少了磁盘IO。
  2. 精确检索：有时 MySQL 可能更快一些，比如当 MySQL 通过索引覆盖，无需回表查询时；ES 始终会通过 FST 找到倒排索引的位置获取文档 id 列表，再根据文档id获取文档并根据相关度进行排序。另外 ES 还有个优势，分布式架构使其在进行大量数据搜索时，可以通过分片降低检索规模，并且通过并行检索提升效率，使用 filter 操作时，更是可以直接跳过检索直接走缓存。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/654573.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

在linux上进行编译调试

在linux上进行编译调试

1.相关疑问 1. 为什么在代码里使用了一个未定义过的函数&#xff08;如add()&#xff09;&#xff0c;在编译阶段不会报错&#xff0c;在链接阶段会报错呢&#xff1f; 答&#xff1a;先说几个代码编译的结论&#xff1a; 单个\.c源文件文件被编译成机器码文件时&#xff0c…
阅读更多...
LVS 工作模式

LVS 工作模式

1、LVS DR模式 DR 模式是通过改写请求报文的目标 MAC 地址&#xff0c;将请求发给真实服务器的&#xff0c;而真实服务器响应后的处理结果直接返回给客户端用户。DR 模式可以极大的提高集群系统的伸缩性。但是要求调度器 LB 与真实服务器 RS 都有一块网卡连接到同一物理网段上…
阅读更多...
Codeforces Round 785 C. Palindrome Basis

Codeforces Round 785 C. Palindrome Basis

C. Palindrome Basis 题意 定义一个正整数 a a a 是回文的&#xff08;没有前导 0 0 0&#xff09;当且仅当&#xff1a; a a a 的十进制表示形式回文 给定一个正整数 n n n &#xff0c;求出将 n n n 拆分成若干个回文数之和的方案数 思路 这是一个经典模型&#xff0…
阅读更多...
媒体邀约：怎么吸引总体目标受众？

媒体邀约：怎么吸引总体目标受众？

新闻媒体影响力日益扩大。不论是公司、机构还是其他&#xff0c;都希望能够通过新闻媒体的曝光来吸引更多总体目标受众。要想真正吸引住总体目标受众并非易事&#xff0c;需要一定的方案和方法。下面我们就深入探究媒体邀约推广的真相&#xff0c;共享怎么吸引总体目标受众的方…
阅读更多...
秋招面试—计算机网络安全

秋招面试—计算机网络安全

2021 计算机网络安全 1.Get 和 Post 的区别 get 用于获取数据&#xff0c;post用于提交数据&#xff1b; get 的缓存保存在浏览器和web服务器日志中&#xff1b; get 使用明文传输&#xff0c;post请求保存在请求体中&#xff1b; get 长度限制在2048以内 2.常见的HTTP请…
阅读更多...
Android P 屏保和休眠相关知识

Android P 屏保和休眠相关知识

Android P添加屏保功能&#xff0c;如果休眠时间设定大于屏保时间&#xff0c;则先进入屏保&#xff0c;达到休眠时间后再进入休眠 需求&#xff1a; 添加屏幕互保开关&#xff0c;默认关闭。只保留时钟&#xff0c;可设定指针和数字、夜间模式。启用时间改多长时间无操作进入…
阅读更多...
###C语言程序设计-----C语言学习（6）#

###C语言程序设计-----C语言学习（6）#

前言&#xff1a;感谢老铁的浏览&#xff0c;希望老铁可以一键三连加个关注&#xff0c;您的支持和鼓励是我前进的动力&#xff0c;后续会分享更多学习编程的内容。 一. 主干知识的学习 1. while语句 除了for语句以外&#xff0c;while语句也用于实现循环&#xff0c;而且它…
阅读更多...
初识elasticsearch

初识elasticsearch

一、了解ES 1.1.elasticsearch的作用 elasticsearch是一款非常强大的开源搜索引擎&#xff0c;具备非常多强大功能&#xff0c;可以帮助我们从海量数据中快速找到需要的内容 例如&#xff1a; 在GitHub搜索代码 在电商网站搜索商品 在百度搜索答案 在打车软件搜索附近的车 …
阅读更多...
（七）for循环控制

（七）for循环控制

文章目录 用法while的用法for的用法两者之间的联系可以相互等价用for改写while示例for和while的死循环怎么写for循环见怪不怪表达式1省略第一.三个表达式省略&#xff08;for 改 while&#xff09;全省略即死循环&#xff08;上面已介绍&#xff09; 用法 类比学习while语句 …
阅读更多...
MySQL原理（一）架构组成（1）物理文件组成

MySQL原理（一）架构组成（1）物理文件组成

目录 一、日志文件 1、错误日志 Error Log 1.1、作用&#xff1a; 1.2、开启关闭&#xff1a; 1.3、使用 2、二进制日志 Binary Log & Binary Log Index 2.1、作用&#xff1a; 2.2、开启关闭&#xff1a; 2.3、Binlog还有一些附加选项参数 &#xff08;1&#x…
阅读更多...
江科大stm32学习笔记6——GPIO输入准备

江科大stm32学习笔记6——GPIO输入准备

一、按键消抖 由于按键内部使用的是机械式弹簧片&#xff0c;所以在按下和松开时会产生5~10ms的抖动&#xff0c;需要通过代码来进行消抖。 二、滤波电容 在电路中&#xff0c;如果见到一端接在电路中&#xff0c;一端接地的电容&#xff0c;则可以考虑它的作用为滤波电容&am…
阅读更多...
linux -- 内存管理 -- 页面分配器

linux -- 内存管理 -- 页面分配器

linux内存管理 为什么要了解linux内存管理 分配并使用内存&#xff0c;是内核程序与驱动程序中非常重要的一环。内存分配函数都依赖于内核中一个非常复杂而重要的组件 - 内存管理。 linux驱动程序不可避免要与内核中的内存管理模块打交道。 linux内存管理可以总体上分为两大…
阅读更多...
MYSQL基本查询（CURD：创建、读取、更新、删除）

MYSQL基本查询（CURD：创建、读取、更新、删除）

文章目录 前言一、Create1.全列插入2.指定列插入3.插入否则更新4.替换 二、Retrieve1.SELECT列2.WHERE条件3.结果排序4.筛选分页结果 三、Update四、Delete1.删除数据2.截断表 五、插入查询结果六、聚合函数 前言 操作关系型数据库的编程语言&#xff0c;定义了一套操作关系型…
阅读更多...
Unity中URP下额外灯角度衰减

Unity中URP下额外灯角度衰减

文章目录 前言一、额外灯中聚光灯的角度衰减二、AngleAttenuation函数的传入参数1、参数&#xff1a;spotDirection.xyz2、_AdditionalLightsSpotDir3、参数&#xff1a;lightDirection4、参数&#xff1a;distanceAndSpotAttenuation.zw5、_AdditionalLightsAttenuation 三、A…
阅读更多...
Spring Security关键之5张数据表与7张表 ！！！

Spring Security关键之5张数据表与7张表 ！！！

一、什么是认证和授权&#xff1a; 认证&#xff1a;系统提供的用于识别用户身份的功能&#xff0c;通常提供用户名和密码进行登录其实就是在进行认证&#xff0c;认证的目的是让系统知道你是谁。授权&#xff1a;用户认证成功后&#xff0c;需要为用户授权&#xff0c;其实就…
阅读更多...
全连MGRE(OSPF)综合实验

全连MGRE(OSPF)综合实验

一.要求 二.底层--所有节点拥有合法ip地址 r1: r2&#xff08;isp&#xff09;: r3: r4: r5: r6: 三.全网可达 r1: r3&#xff1a; r4: r5: r6: 四.构建全连的MGRE环境 R1-R3-R4 R1&#xff1a; r3: r4: R1-R5-R6 r1: r5: r6: 五.ospf配置 R1&#xff1a; r3: r4: r5: r6:…
阅读更多...
Qt应用软件【串口篇】串口通信

Qt应用软件【串口篇】串口通信

文章目录 1.串口概述2.串口传输数据的基本原理电信号的传输过程 3.串口的几个概念数据位&#xff08;Data Bits&#xff09;奇偶校验位&#xff08;Parity Bit&#xff09;停止位&#xff08;Stop Bits&#xff09;流控制&#xff08;Flow Control&#xff09;波特率&#xff0…
阅读更多...
142. 环形链表 II（力扣LeetCode）

142. 环形链表 II（力扣LeetCode）

文章目录 142. 环形链表 II题目描述解题思路判断链表是否有环如果有环&#xff0c;如何找到这个环的入口 c代码 142. 环形链表 II 题目描述 给定一个链表的头节点 head &#xff0c;返回链表开始入环的第一个节点。 如果链表无环&#xff0c;则返回 null。 如果链表中有某个…
阅读更多...
7.【SpringBoot3】项目部署、属性配置、多环境开发

7.【SpringBoot3】项目部署、属性配置、多环境开发

文章目录 1. SpringBoot 项目部署2. 属性配置方式2.1 通过 cmd 命令行配置2.2 通过环境变量配置2.3 通过外部配置文件来配置 3. 多环境开发 Profiles3.1 多环境开发的单文件配置3.2 多环境开发的多文件配置3.3 多环境开发-分组 1. SpringBoot 项目部署 项目完成后&#xff0c;…
阅读更多...
LLM大模型x知识图谱2024最新SOTA方案【附开源代码】

LLM大模型x知识图谱2024最新SOTA方案【附开源代码】

大模型LLM与知识图谱KG的结合可以充分发挥两者的优势&#xff0c;例如LLMs的通用知识和语言处理能力&#xff0c;以及KGs的结构化和准确性。这种结合不仅能够提升模型的知识处理能力&#xff0c;还能够在多个层面上优化模型的性能&#xff0c;更好地解决各种现实世界的问题&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023