SpringCloud-深度理解ElasticSearch

一、Elasticsearch概述

1、Elasticsearch介绍

Elasticsearch（简称ES）是一个开源的分布式搜索和分析引擎，构建在Apache Lucene基础上。它提供了一个强大而灵活的工具，用于全文搜索、结构化搜索、分析以及数据可视化。ES最初设计用于处理大规模的日志数据，但其功能已经扩展到各种用例，包括应用程序搜索、业务分析等。简单来说，ElasticSearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。

ElasticSearch结合kibana、Logstash、Beats, 也就是 Elastic stack (ELK)。被广泛应用在日志数据分析、实时监控等领域。其中，ElasticSearch是elastic stack的核心,负责存储、搜索、分析数据。
在这里插入图片描述

2、ElasticSearch的底层技术

ElasticSearch的底层技术是Lucene。Lucene 是一个由 Apache 公司开发的搜索引擎类库，采用 Java 语言编写，是 Apache 公司的顶级项目。Doug Cutting 于 1999 年首次推出。Lucene 通过倒排索引实现了强大的全文搜索功能。

优势

易扩展： Lucene 提供了灵活的架构，容易进行定制和扩展，以适应各种搜索需求。
高性能： 基于倒排索引的搜索机制使得 Lucene 在搜索效率上表现出色，适用于大规模数据的搜索操作。

缺点

Java 语言限制： Lucene 主要采用 Java 编写，因此在非 Java 语言的项目中可能不太方便使用。
学习曲线陡峭： 对于初学者而言，Lucene 的学习曲线较陡峭，需要一定的时间来熟悉其 API 和使用方式。
不支持水平扩展： Lucene 在水平扩展方面相对有限，这可能对需要处理大量数据的应用造成一些挑战。

Lucene 作为搜索引擎类库的先驱，为开发者提供了强大的搜索和索引功能。虽然它具有一些限制，但在正确使用和理解的情况下，Lucene 仍然是许多项目中首选的搜索引擎工具之一。

3、ElasticSearch排名

ElasticSearch在搜搜引擎中的排名一直是遥遥领先。
最新搜索引擎排名如下：

Elasticsearch：开源的分布式搜索引擎
Splunk：商业项目
Solr：Apache的开源搜索引擎

二、倒排索引的概念

在理解倒排索引之前，需要了解文档和词条的概念。每一条数据就是一个文档，对文档中的内容分词，得到的词语就是词条。
倒排索引是一种用于快速查找文档的数据结构，与传统的正向索引方式相反。它将每个文档中的单词映射到文档的位置，以便更快速地进行搜索。

1、传统索引（正向索引）

正向索引是按照数据表的记录顺序建立的索引，将文档的每个字段都进行索引，方便按照记录的顺序快速访问。正向索引适用于需要按照记录顺序进行检索的场景。

在这里插入图片描述

2、倒排索引

倒排索引则是按照字段值建立索引，以便于快速查找包含特定字段值的记录。倒排索引适用于需要根据字段值进行检索的场景

在这里插入图片描述

3、正向索引 vs. 倒排索引

在这里插入图片描述

在查询流程中，用户查询的关键词直接匹配倒排索引，从而快速定位包含该关键词的记录。这样的查询流程相比于正向索引，减少了对整个数据表的遍历，提高了查询效率。

倒排索引在处理大量文本数据、搜索引擎等场景中具有显著的优越性，能够提供更快速的检索速度。

三、ElasticSearch相关概念理解

1、ElasticSearch概念

① 节点（Node）

Elasticsearch集群由一个或多个节点组成，每个节点是集群中的一个服务器，负责存储数据并参与集群的索引和搜索功能。

② 索引（Index）

索引是相同类型的文档的集合，它们属于逻辑分组。每个文档都有一个唯一的ID，而索引则为这些文档提供了命名空间。

③ 类型（Type）

在较新的 Elasticsearch 版本中，类型已经逐渐被弃用。在较新的数据模型中，索引通常只包含一个类型。

④ 分片和副本（Shards and Replicas）

为了支持水平扩展和提高冗余性，ES将索引分为多个分片，每个分片是一个独立的索引。此外，每个分片都可以有零个或多个副本，用于提高数据的可用性和容错性。

⑤ 映射（Mapping）

映射是索引中文档的字段约束信息，类似表的结构约束。
映射定义了索引中的数据结构，包括字段的类型、分析器和其他属性。
映射有助于确定如何索引和查询文档中的数据。

2、ES和MySQL的概念对比

从上面的ES的特性里，我们可以看到，ES和MySQL有很多相似的地方，下面是两者相似特性的对比：

MySQL	Elasticsearch	说明
Table	Index	索引(index)是文档的集合，类似数据库的表(table)
Row	Document	文档(Document)是一条条的数据，类似数据库中的行(Row)，文档都是JSON格式
Column	Field	字段(Field)是JSON文档中的字段，类似数据库中的列(Column)
Schema	Mapping	Mapping(映射)是索引中文档的约束，例如字段类型约束，类似数据库的表结构(Schema)
SQL	DSL	DSL是Elasticsearch提供的JSON风格的请求语句，用来操作Elasticsearch，实现CRUD

四、ElasticSearch应用场景

1、ES参与的项目架构

在实际项目中，Elasticsearch（ES）常常与MySQL联用，形成了一种典型的项目架构。MySQL擅长处理事务类型的操作，能够确保数据的安全和一致性。因此，在项目中对于数据的增删改（事务类操作）仍然使用MySQL完成。而Elasticsearch则专注于海量数据的搜索、分析和计算，为项目提供高效的搜索功能。

示例架构如下：
在这里插入图片描述