ElasticSearch 的核心功能

要深入理解 ElasticSearch 的核心功能，需要全面掌握其 全文搜索、分析、聚合和 索引生命周期管理（ILM） 的设计原理和实际应用。

1. 全文搜索

ElasticSearch 的全文搜索是其核心功能之一，依赖于倒排索引和强大的分词、相关性评分机制。

(1) 倒排索引

倒排索引是 ElasticSearch 的底层数据结构，记录每个词条（term）在哪些文档中出现。
优化了基于关键词的搜索性能。

(2) 分词（Analysis）

ElasticSearch 提供灵活的分词机制，将文档字段分解为独立的词条。

分词器（Analyzer）：
- 包括字符过滤器、分词器、和词条过滤器。
- 示例：Text: "The quick brown fox"
  - 字符过滤器：去除 HTML 标签等。
  - 分词器：["The", "quick", "brown", "fox"]
  - 词条过滤器：去除停用词，如 ["quick", "brown", "fox"]
常用分词器：standard、simple、whitespace、ngram。

(3) 查询 DSL

ElasticSearch 提供强大的查询语言：

match 查询： 适用于全文检索，分词后匹配。
```
{"query": {"match": {"content": "quick fox"}}
}
```
term 查询： 精确匹配，不分词。
布尔查询： 将多个子查询组合，使用 must、should、filter 等。

(4) 相关性评分

ElasticSearch 使用 BM25 算法计算文档与查询的相关性，基于以下因素：

词频（TF）： 词在文档中出现的次数。
逆文档频率（IDF）： 词的稀有程度。
字段长度： 长字段对匹配的影响更小。

2. 分析（Analysis）

ElasticSearch 不仅支持全文搜索，还提供强大的数据分析功能，帮助用户从大规模数据中提取有价值的洞见。

(1) 聚合框架

聚合（Aggregation）是一种用于分组、计算和统计数据的机制。

分类：
- 桶（Bucket）： 按条件对文档分组，如按日期、地理位置。
- 度量（Metric）： 统计数据的数值特征，如最大值、最小值、平均值。
- 管道（Pipeline）： 对其他聚合的结果进行二次处理。

示例：计算每月销售额

{"aggs": {"monthly_sales": {"date_histogram": {"field": "sale_date","calendar_interval": "month"},"aggs": {"total_sales": {"sum": {"field": "amount"}}}}}
}

(2) 实时和分布式处理

ElasticSearch 的分布式架构允许在多节点上并行执行聚合，显著提高性能。

(3) 向量搜索（Vector Search）

支持基于嵌入向量的相似性搜索，特别适用于推荐系统和自然语言处理（NLP）任务。

3. 聚合（Aggregation）

(1) 常见聚合类型

计数（Count）：
- 统计文档数量。
求和（Sum）：
- 计算字段值的总和。
平均值（Avg）：
- 计算字段值的平均值。
分布分析：
- 按字段值分组，计算分布情况。

(2) 使用场景

数据报表： 如按地域分布的用户量。
性能监控： 按时间段计算指标变化。
日志分析： 计算错误日志出现的频率。

4. 索引生命周期管理（ILM）

(1) 什么是 ILM？

索引生命周期管理（Index Lifecycle Management，ILM）用于自动管理索引的生命周期，降低存储和性能成本。
索引的生命周期通常分为以下阶段：

热（Hot）： 索引写入和搜索频繁。
温（Warm）： 索引只读，搜索频率降低。
冷（Cold）： 索引使用频率非常低。
删除（Delete）： 索引到达保留期限后被删除。

(2) ILM 策略

定义一个 ILM 策略包含以下部分：

触发条件： 如索引大小、时间。
动作（Action）： 例如关闭索引、迁移分片、删除索引。

示例策略：

{"policy": {"phases": {"hot": {"actions": {"rollover": {"max_size": "50gb","max_age": "30d"}}},"warm": {"actions": {"shrink": {"number_of_shards": 1}}},"cold": {"actions": {"allocate": {"include": {"data": "cold"}}}},"delete": {"actions": {"delete": {}}}}}
}