Elasticsearch(ES)概述

文章目录

  • 一.什么是Elasticsearch?
    • 1.正向索引和倒排索引
    • 2.Mysql和ES的概念对比
    • 3.安装elasticsearch、kibana
  • 二.IK分词器
  • 三.索引库操作
  • 四.文档操作
  • 五.RestClient操作索引库
    • 1.初始化RestClient
    • 2.创建索引库
    • 3.删除索引库
    • 4.判断索引库是否存在
  • 六.RestClient操作文档
    • 1.新增文档
    • 2.查询数据
    • 3.修改数据
    • 4.删除数据
    • 5.批量插入数据

一.什么是Elasticsearch?

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。

Elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。

Elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。

Elasticsearch是elastic stack的核心(不可替换)，负责存储、搜索、分析数据。

在这里插入图片描述

1.正向索引和倒排索引

文档（document）：每条数据就是一个文档

词条（term）：文档按照语义分成的词语

正向索引（Forward Index）：
定义： 正向索引是根据文档-词项对的方式建立的索引。每个文档都有一个记录，其中包含了文档中的所有词项及其位置信息。

例如Mysql就是使用的正向索引,根据id检索一个文档非常快,但是根据文档中某个字段检索文档只能逐条检索

倒排索引（Inverted Index）：
定义： 倒排索引是根据词项-文档对的方式建立的索引。每个词项都有一个记录，其中包含了包含该词项的所有文档及其位置信息。即对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

Elasticsearch就使用了倒排索引,将文档按照语义分成词条,根据词条建立词条表,这样就形成了词条-文档的结构,导致检索字段时非常快

倒排索引中包含两部分内容：

  • 词条词典（Term Dictionary）：记录所有词条，以及词条与倒排列表（Posting List）之间的关系，会给词条创建索引，提高查询和插入效率

  • 倒排列表（Posting List）：记录词条所在的文档id、词条出现频率 、词条在文档中的位置等信息

    • 文档id：用于快速获取文档

    • 词条频率（TF）：文档在词条出现的次数，用于评分

在这里插入图片描述

文档:

elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。
文档数据会被序列化为json格式后存储在elasticsearch中。

索引:

相同类型的文档的集合

映射：

索引中文档的字段约束信息，类似表的结构约束

在这里插入图片描述

2.Mysql和ES的概念对比

在这里插入图片描述

Mysql：擅长事务类型(ACID特性)操作，可以确保数据的安全和一致性

Elasticsearch：擅长海量数据的搜索、分析、计算

总而言之:

  • 正向索引适合于文档级别的查询，因为它直接提供了文档中的词项信息。

  • 倒排索引适合于词项级别的查询，因为它直接提供了包含某个词项的文档信息。

3.安装elasticsearch、kibana

通过Dokcer拉取镜像安装即可

二.IK分词器

ES在创建倒排索引时需要对文档分词；在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。故需要更好的分词策略:IK分词器

安装(安装到es-plugins/_data即可):IK分词器官方地址,重启es后IK分词器生效

ik分词器包含两种模式：

  • ik_smart：最少切分，粗粒度
  • ik_max_word：最细切分，细粒度

IK分词器-拓展词库

IK分词器虽然说按照字典查找词语进行组合,但是随着网络文化发展和新词的逐渐产生,IK分词器不可能马上更新这些词汇,这时候就需要进行拓展词汇库和增加禁用词汇

要拓展ik分词器的词库，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件：
在这里插入图片描述

在ext.dic文件中添加拓展词汇

在这里插入图片描述

在stopword.dic文件下添加禁用词汇

在这里插入图片描述

三.索引库操作

mapping属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

  • type：字段数据类型，常见的简单类型有：

    • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）

    • 数值：long、integer、short、byte、double、float

    • 布尔：boolean

    • 日期：date

    • 对象：object

  • index：是否创建索引，默认为true

  • analyzer：使用哪种分词器

  • properties：该字段的子字段

创建索引库

PUT /索引库名称
{"mappings": {"properties": {"字段名":{"type": "text","analyzer": "ik_smart"},"字段名2":{"type": "keyword","index": "false"},"字段名3":{"properties": {"子字段": {"type": "keyword"}}},// ...略}}
}

查看索引库语法：

GET /索引库名

删除索引库的语法：

DELETE /索引库名

修改索引库

索引库和mapping一旦创建无法修改，但是可以添加新的字段，语法如下：

PUT /索引库名/_mapping
{"properties": {"新字段名":{"type": "integer"}}
}

四.文档操作

添加文档

POST /索引库名/_doc/文档id
{"字段1": "值1","字段2": "值2","字段3": {"子属性1": "值3","子属性2": "值4"},// ...
}

查看文档语法：

GET /索引库名/_doc/文档id

删除索引库的语法：

DELETE /索引库名/_doc/文档id

修改文档

方式一：全量修改，会删除旧文档，添加新文档

PUT /索引库名/_doc/文档id
{"字段1": "值1","字段2": "值2",// ... 略
}

方式二：增量修改，修改指定字段值

POST /索引库名/_update/文档id
{"doc": {"字段名": "新的值",}
}

文档操作-动态映射

当我们向ES中插入文档时，如果文档中字段没有对应的mapping，ES会帮助我们字段设置mapping，规则如下：

在这里插入图片描述

五.RestClient操作索引库

什么是RestClient
ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。

使用:

1.初始化RestClient

1.引入es的RestHighLevelClient依赖：

		<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId></dependency>

2.可以发现客户端的版本号,引入的依赖版本必须和客户端一致(不一致则需修改)

在这里插入图片描述

修改版本号

	<properties><java.version>1.8</java.version><elasticsearch.version>客户端版本号</elasticsearch.version></properties>

3.初始化RestHighLevelClient：

	private RestHighLevelClient client;//测试类中使用@BeforeEach注解来标记一个方法，该方法将在每个测试方法执行之前执行(@AfterEach同理)@BeforeEachvoid setUp(){this.client=new RestHighLevelClient(RestClient.builder(HttpHost.create("自己的Linux局域网ip地址:9200")));}@AfterEachvoid tearDown() throws IOException {this.client.close();}

2.创建索引库

	@Testvoid testCreateHotelIndex() throws IOException {CreateIndexRequest request = new CreateIndexRequest("索引库名");request.source("DSL语句", XContentType.JSON);client.indices().create(request, RequestOptions.DEFAULT);}

其中:indices()包含了所有操作索引库的API

3.删除索引库

	@Testvoid testDeleteHotelIndex() throws IOException {   // 1.创建Request对象DeleteIndexRequest request = new DeleteIndexRequest("索引库名");// 2.发起请求client.indices().delete(request, RequestOptions.DEFAULT);
}

4.判断索引库是否存在

	@Testvoid testExistsHotelIndex() throws IOException {    // 1.创建Request对象    GetIndexRequest request = new GetIndexRequest("索引库名");    // 2.发起请求     boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);    // 3.输出    System.out.println(exists);
}

六.RestClient操作文档

1.新增文档

IndexRequest request = new IndexRequest("索引库名").id(设置id);request.source(JSON文档, XContentType.JSON);client.index(request, RequestOptions.DEFAULT);

2.查询数据

GetRequest request = new GetRequest(索引库名, id);    GetResponse response = client.get(request, RequestOptions.DEFAULT);   String json = response.getSourceAsString();

3.修改数据

UpdateRequest request = new UpdateRequest(索引库名,id);request.doc("键1","值1","键2","值2"...);client.update(request, RequestOptions.DEFAULT);

4.删除数据

DeleteRequest request = new DeleteRequest(索引库名,id);client.delete(request, RequestOptions.DEFAULT);

5.批量插入数据

request.add(new IndexRequest(索引库名).id(id1).source(JSON文档1, XContentType.JSON));
request.add(new IndexRequest(索引库名).id(id2).source(JSON文档2, XContentType.JSON));
request.add(new IndexRequest(索引库名).id(id3).source(JSON文档3, XContentType.JSON));
//request可以添加多个IndexRequest
client.bulk(request, RequestOptions.DEFAULT);

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/175410.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Python 新版来袭！3.12.0 安装教程！！

Python 新版来袭！3.12.0 安装教程！！

Python是一门面向对象的计算机程序设计语言&#xff0c;以简洁和优雅著称&#xff0c;可以用于网络爬虫、web开发、人工智能、机器学习、数据挖掘及分析等工作&#xff0c;是目前最受欢迎的编程语言之一。 目前常见的Python版本有Python2和Python3&#xff0c;Python3不向下&a…
阅读更多...
测试用例设计方法-场景法详解

测试用例设计方法-场景法详解

01 定义 场景法是通过运用场景来对系统的功能点或业务流程的描述&#xff0c;从而提高测试效果的一种方法。 场景法一般包含基本流和备用流&#xff0c;从一个流程开始&#xff0c;通过描述经过的路径来确定的过程&#xff0c;经过遍历所有的基本流和备用流来完成整个场景。 …
阅读更多...
北美区域性确定性预测系统平均温度数据

北美区域性确定性预测系统平均温度数据

区域确定性预测系统&#xff08;RDPS&#xff09; 区域确定性预测系统 (RDPS) 进行物理计算&#xff0c;以 10.0 公里网格&#xff08;1/11 度&#xff09;空间分辨率对当天到未来 48 小时内的大气元素进行确定性预测。平均温度数据覆盖北美&#xff0c;由加拿大气象局 (MSC) …
阅读更多...
【STM32】GPIO输入

【STM32】GPIO输入

1 GPIO输出 1.1 按键简介 按键&#xff1a;常见的输入设备&#xff0c;按下导通&#xff0c;松手断开 按键抖动&#xff1a;由于按键内部使用的是机械式弹簧片来进行通断的&#xff0c;所以在按下和松手的瞬间会伴随有一连串的抖动 1.2 传感器模块简介 传感器模块&#xff…
阅读更多...
LearnTheArchitecture-MemoryManagement

LearnTheArchitecture-MemoryManagement

快速链接: . 👉👉👉 个人博客笔记导读目录(全部) 👈👈👈 付费专栏-付费课程 【购买须知】:【精选】ARMv8/ARMv9架构入门到精通-[目录] 👈👈👈 — 适合小白入门【目录】ARMv8/ARMv9架构高级进阶-[目录]👈👈👈 — 高级进阶、小白勿买【加群】ARM/TEE…
阅读更多...
day02 hive 实操练习

day02 hive 实操练习

一、某高校图书管理系统中有如下三个数据模型&#xff1a; create table book( book_id string, sort string, book_name string, writer string, output string, price decimal(10,2));INSERT INTO TABLE book VALUES (001,TP391,information_processing,author1,machinery_i…
阅读更多...
redis优化秒杀和消息队列

redis优化秒杀和消息队列

redis优化秒杀 1. 异步秒杀思路1.1 在redis存入库存和订单信息1.2 具体流程图 2. 实现2.1 总结 3. Redis的消息队列3.1 基于list实现消息队列3.2 基于PubSub实现消息队列3.3 基于stream实现消息队列3.3.1 stream的单消费模式3.3.2 stream的消费者组模式 3.4 基于stream消息队列…
阅读更多...
XmlElement注解用在Java的列表属性上产生的效果

XmlElement注解用在Java的列表属性上产生的效果

例如&#xff0c;下面的代码&#xff0c;XmlElement注解用在了Conditions类的conditionList属性的getter方法上&#xff0c;其中conditionList是一个列表类型&#xff1a; package com.thb;import java.util.List;import jakarta.xml.bind.annotation.XmlAttribute; import ja…
阅读更多...
Python面经【4】

Python面经【4】

Python面经【4】 一、什么是闭包二、[列表]和(元组)的区别三、__Init__和__new__的区别四、Python里match与search的区别五、创建百万级实例如何节省内存六、18. 4G内存如何读取一个5G的数据 一、什么是闭包 闭包指的是在函数内部定义了另一个函数&#xff0c;并返回了这个作为…
阅读更多...
香港服务器显示美国 IP 地址是怎么回事

香港服务器显示美国 IP 地址是怎么回事

香港服务器显示美国 IP&#xff0c;在我们选择免备案服务器时会考虑很多影响因素&#xff0c;其中香港服务器有着省时省力&#xff0c;方便速度快等优 势受到大多用户喜爱&#xff0c;可有的时候在选择香港服务器时发现&#xff0c;有的香港服务器在 IP 地址一栏会显示其它国家…
阅读更多...
leetcode每日一题34

leetcode每日一题34

89.格雷编码 观察一下n不同时的格雷编码有什么特点 n1 [0,1] n2 [0,1,3,2] n3 [0,1,3,2,6,7,5,4] …… 可以看到nk时&#xff0c;编码数量是nk-1的数量的一倍 同时nk编码的前半部分和nk-1一模一样 nk编码的最后一位是2k-1 后半部分的编码是其对应的前半部分的对称的位置的数字…
阅读更多...
如何使用OpenCV转换图像并创建视频，实现Ken Burns特效

如何使用OpenCV转换图像并创建视频，实现Ken Burns特效

一、Ken Burns特效 当使用OpenCV时，最常使用的是图像，但是我们也可以多个图像创建动画，通过引入时间轴更容易可视化。 Ken Burns特效这是一种以电影制片人肯伯恩斯 (Ken Burns) 命名的平移和缩放技术，Ken Burns 效果不是在屏幕上显示大型静态照片，而是裁剪细节，然后平移图…
阅读更多...
vue3(四)-基础入门之 fetch 与 axios

vue3(四)-基础入门之 fetch 与 axios

一、fetch 1、axios和fetch的区别 Axios 和 Fetch 都是 JavaScript 中用于发送 HTTP 请求的 API&#xff0c;它们的主要区别在以下方面&#xff1a; 1.Axios 支持更广泛的浏览器和 Node.js 版本&#xff0c;而 Fetch 只能在较新的浏览器中使用&#xff0c;或需要使用 polyfi…
阅读更多...
[动态规划] 回文子串

[动态规划] 回文子串

回文子串 题目描述 给定一个字符串&#xff0c;输出所有回文子串。 回文子串即从左往右输出和从右往左输出结果是一样的字符串 比如&#xff1a; abba cccdeedccc都是回文字符串 我们要查找的子串长度应该大于等于2 关于输入 输入是一行&#xff0c;即可一个字符串。长度…
阅读更多...
vr红色教育虚拟展馆全景制作提升单位品牌形象

vr红色教育虚拟展馆全景制作提升单位品牌形象

720全景展馆编辑平台以其独特的优势&#xff0c;为展览行业带来了革命性的变革。这种创新的技术应用为参展商提供了更高效、更便捷、更全面的展示解决方案&#xff0c;进一步提升了展览行业的水平和影响力。 一、提升展示效果&#xff0c;增强品牌形象 720全景展馆编辑平台通过…
阅读更多...
使用conan包 - 工作流程

使用conan包 - 工作流程

使用conan包 - 工作流程 主目录 conan Using packages1 Single configuration2 Multi configuration 本文是基于对conan官方文档Workflows的翻译而来&#xff0c; 更详细的信息可以去查阅conan官方文档。 This section shows how to setup your project and manage dependenci…
阅读更多...
32 - MySQL调优之事务：高并发场景下的数据库事务调优

32 - MySQL调优之事务：高并发场景下的数据库事务调优

数据库事务是数据库系统执行过程中的一个逻辑处理单元&#xff0c;保证一个数据库操作要么成功&#xff0c;要么失败。谈到他&#xff0c;就不得不提 ACID 属性了。数据库事务具有以下四个基本属性&#xff1a;原子性&#xff08;Atomicity&#xff09;、一致性&#xff08;Con…
阅读更多...
Windows全系列 本地密码暴力破解

Windows全系列 本地密码暴力破解

首先 咱们要准备两个工具&#xff1a; 第一个是 pwdump-master 第二个是 saminside_softradar-com.exe这两个工具 我会一并上传 需要的同学 可以自取本文章操作思路是&#xff1a; 第一步 首先把我刚刚提到的两个软件 以某种手段放置于机器中 如果是真实机 就用U盘 拷贝到真实机…
阅读更多...
基于Java SSM框架+Vue实现药品保健品购物网站项目【项目源码+论文说明】计算机毕业设计

基于Java SSM框架+Vue实现药品保健品购物网站项目【项目源码+论文说明】计算机毕业设计

基于java的SSM框架Vue实现药品保健品购物网站演示 摘要 随着社会的发展&#xff0c;社会的各行各业都在利用信息化时代的优势。计算机的优势和普及使得各种信息系统的开发成为必需。 ssm药源购物网站&#xff0c;主要的模块包括两个用户&#xff0c;管理员权限&#xff1a;用…
阅读更多...
OJ练习第186题——统计子串中的唯一字符

OJ练习第186题——统计子串中的唯一字符

统计子串中的唯一字符 力扣链接&#xff1a;828. 统计子串中的唯一字符 题目描述 我们定义了一个函数 countUniqueChars(s) 来统计字符串 s 中的唯一字符&#xff0c;并返回唯一字符的个数。 例如&#xff1a;s “LEETCODE” &#xff0c;则其中 “L”, “T”,“C”,“O”…
阅读更多...
最新文章

Copyright @ 2022~2023