如何高效管理和监控 Elasticsearch 别名及索引？

0、引言

在 Elasticsearch 项目中，管理和监控索引是开发者的一项重要任务。

48bcd85c3d3f14e8f3ddbff442a922c3.png

尤其是当我们需要在项目的管理部分展示索引和别名的统计信息时，了解如何有效地列出这些别名和索引显得尤为重要。

本篇博客将介绍几种在 Elasticsearch 中列出别名和索引的方法，并展示如何将这些信息集成到应用程序中，实现自动化监控。

1、为什么需要列出别名和索引？

在实际项目中，例如一个社交网络应用，我们可能会使用 Elasticsearch 进行全文搜索，并为不同的数据设置别名。

通过别名，我们可以方便地管理版本和数据流。

别名具体应用场景概括如下表所示：

应用场景描述
索引生命周期管理- 滚动更新：在更新索引时，创建新索引，将数据写入新索引，完成后将别名切换到新索引。
- 版本控制：为每个索引版本设置别名，使用别名指向当前版本。
- 数据归档：使用别名管理归档索引，方便查询历史数据。
数据分区- 时间分区：按时间创建索引，使用别名如 logs。
- 地理分区：按地理位置分区，使用别名如 data。
数据隔离- 多租户：为每个租户创建单独的索引，使用别名进行数据隔离和查询。
零停机部署- 零停机时间部署：在新版本准备就绪后，将别名从旧索引切换到新索引，实现无缝切换。
实时索引与批量索引- 实时数据索引：为实时数据创建索引，使用别名进行查询。
- 批量数据索引：为批量数据创建索引，使用别名进行查询。
动态索引切换- 热数据与冷数据：将热数据和冷数据分别存储在不同索引中，并使用别名动态切换。
数据合并- 数据迁移：将多个小索引合并为一个大索引，使用别名进行平滑过渡。
索引监控和告警- 监控别名与索引数量：定期列出以 listing* 开头的别名和索引，监控业务逻辑。
- 告警通知：根据索引和别名数量，向企业微信、钉钉、邮件等发送消息进行提醒。
安全控制- 访问控制：为不同用户或角色创建别名，限制访问权限。
数据同步与备份- 跨集群复制：使用别名管理跨集群复制的源索引和目标索引。
- 数据备份：为备份数据创建索引和别名。
查询优化- 查询分流：将不同类型的查询分流到不同的索引，使用别名进行统一查询。
多语言支持- 多语言索引：为不同语言创建单独索引，使用别名进行多语言数据管理。

写入索引同时指定别名如下图所示。

6bedda817e9e2ad6642a68bd13ddca67.png

在 Elasticsearch-head 插件中的别名显示如下图所示。cf00bea14cba6eefb6ebcac46d9fd7f5.png

ElasticVue插件中别名显示如下图所示。

65e4b6af2855970ecf031eca30af53bc.png

2、列出别名和索引的方法

2.1 方法一：使用 _cat/aliases 接口

这是最常用的方法。

通过 _cat/aliases 接口，我们可以列出所有别名及其对应的索引。

示例请求：

GET _cat/aliases/listing*?v=true&h=alias,index&s=alias:desc

此请求会返回以下结果：

alias           index
listings        listings-v1.0.3
listings        listings-v1.0.0
listings        listings-v1.0.4
listings        listings-v1.0.2
listings        listings-v1.0.1
listing-changes listing-changes-2024-05
listing-changes listing-changes-2024-04
74d958648e465c02722a613d10122266.png

关键参数解释：

  • ?v=true：开启详细模式，显示响应的头部信息。

  • ?s=alias:desc：按照 alias 字段降序排列。

  • ?h=alias,index：过滤显示的列，只显示 alias 和 index 列。

获取 JSON 格式的结果：

为了方便解析，我们可以将结果格式化为 JSON：

GET _cat/aliases?v=true&s=alias:desc&h=alias,index&format=json

返回示例：

[{"alias": "listings","index": "listings-v1.0.2"},{"alias": "listings","index": "listings-v1.0.1"},{"alias": "listings","index": "listings-v1.0.0"},{"alias": "listings","index": "listings-v1.0.4"},{"alias": "listings","index": "listings-v1.0.3"},{"alias": "listing-changes","index": "listing-changes-2024-05"},{"alias": "listing-changes","index": "listing-changes-2024-04"},{"alias": "fscrawler","index": "test_docs"},{"alias": "fscrawler","index": "fs_job_2024"}
]
16e0f0cc05ff988a629c5adfb23d4eed.png

2.2 方法二：使用 _aliases 接口

该接口返回的结果更加详细，包含所有索引及其别名信息。适合在应用中使用。

示例请求：

GET _aliases

返回示例：

{"listings-v1.0.4": {"aliases": {"listings": {}}},"listing-changes-2024-05": {"aliases": {"listing-changes": {}}},...
}
ef823e8a292c9fe9808bbdfce28d179c.png

相关过滤参考实现：

2.2.1 过滤特定别名的索引

使用特定别名过滤：

GET /_alias/listings

这将返回所有与别名 listings 相关联的索引。

052989344c65b0fbafca4f91a88d60e9.png
2.2.2 过滤符合特定模式的索引

使用通配符过滤：

GET /_alias/listing*

这将返回所有别名以 listing 开头的索引。

a2ed75fdb7650df9b5a83fe3cf56c3ba.png
2.2.3 过滤包含特定别名的索引

使用 filter_path 参数过滤只显示特定别名的索引：

GET /_aliases?filter_path=**.listings

这将返回只包含 listings 别名的索引。

06f1843e57ae1a7e472c1b34f4601f89.png

GET /_aliases?filter_path=**.listings 是一个用于过滤 Elasticsearch 响应的查询语句。

具体含义如下：

  • GET /_aliases: 这个端点用于获取集群中所有索引的别名信息。

  • filter_path 参数: 这个参数用于过滤 Elasticsearch 响应的数据路径，只返回匹配指定路径的数据。它允许我们精确控制返回的 JSON 结构，减少不必要的数据传输和解析。

  • **.listings 的含义是：

  • **: 双星号（**）表示递归地匹配所有层级的路径。它可以匹配零个或多个层级的路径。

  • .listings: 表示包含 listings 关键字的路径。

结合在一起，filter_path=**.listings 的含义是：

过滤响应，只返回包含 listings 别名的索引信息。由于 ** 可以匹配所有层级，所以会在返回的 JSON 结构中递归地查找并返回所有路径中包含 listings 的部分。

如果我们要获取别名为：listing-changes 的索引-别名列表信息。

命令行为：

GET /_aliases?filter_path=**.listing-changes

2.3 方法三：使用 _cluster/state 接口

该方法可以获取集群状态的内部表示，适用于调试或诊断。

示例请求：

GET _cluster/state?filter_path=metadata.indices.*.aliases

返回示例：

{"metadata": {"indices": {"listings-v1.0.4": {"aliases": {"listings": {}}},...}}
}
6c64f3345b1cde3a0ad422f1ddc9af60.png

3、别名定时邮件发送获取

在管理页面展示索引和别名：通过上述接口获取数据，在管理页面上展示当前的索引和别名情况，方便开发者进行监控和管理。

自动化消息通知：定期检查别名和索引的数量，根据情况发送消息到企业微信、钉钉、邮件等通知平台，及时提醒相关人员进行处理。

示例：通过定时任务发送邮件

以下是一个简单的 Python 脚本示例，展示如何通过定时任务定期向指定邮箱发送 Elasticsearch 别名信息。

3.1 安装依赖

首先，安装所需的 Python 库：

pip install requests schedule smtplib

3.2 Python 脚本实现

import requests
import json
import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
import schedule
import time# Elasticsearch 配置
ES_HOST = 'https://172.21.0.14:9200'
ALIAS_ENDPOINT = '/_cat/aliases?v=true&h=alias,index&format=json'
ES_USERNAME = 'elastic'
ES_PASSWORD = 'changeme'# 163 邮箱配置
SMTP_SERVER = 'smtp.163.com'
SMTP_PORT = 465
EMAIL_USERNAME = 'changeme@163.com'
EMAIL_PASSWORD = 'changeme'
EMAIL_TO = 'changeme@163.com'def get_aliases():url = f"{ES_HOST}{ALIAS_ENDPOINT}"response = requests.get(url, auth=(ES_USERNAME, ES_PASSWORD), verify=False)if response.status_code == 200:return response.json()else:print(f"Failed to fetch aliases: {response.status_code}, {response.text}")return []def send_email(subject, body):msg = MIMEMultipart()msg['From'] = EMAIL_USERNAMEmsg['To'] = EMAIL_TOmsg['Subject'] = subjectmsg.attach(MIMEText(body, 'plain'))text = msg.as_string()try:with smtplib.SMTP_SSL(SMTP_SERVER, SMTP_PORT) as server:server.login(EMAIL_USERNAME, EMAIL_PASSWORD)server.sendmail(EMAIL_USERNAME, EMAIL_TO, text)print("Email sent successfully")except Exception as e:print(f"Failed to send email: {e}")def main():aliases = get_aliases()if aliases:subject = "Elasticsearch 别名和索引统计信息"body = json.dumps(aliases, indent=4, ensure_ascii=False)send_email(subject, body)if __name__ == "__main__":main()# def job():
#     aliases = get_aliases()
#     if aliases:
#         subject = "Elasticsearch 别名和索引统计信息"
#         body = json.dumps(aliases, indent=4, ensure_ascii=False)
#         send_email(subject, body)# # 定时任务
# schedule.every().day.at("08:00").do(job)
#
# while True:
#     schedule.run_pending()
#     time.sleep(1)

3.3 结果展示

7a10cfb031e688ac118f635b66bcd457.png f6da5bf3e0f9cecc6aa277b4cef55f09.png

4、结论

通过本文，我们了解了如何使用不同的方法在 Elasticsearch 中列出别名和索引。

无论是用于日常管理还是自动化监控，这些方法都能帮助我们更好地掌控 Elasticsearch 集群的状态。

参考：https://medium.com/devopsturkiye/elasticsearch-list-aliases-f8d8abcd3e0

新时代写作与互动：《一本书讲透 Elasticsearch》读者群的创新之路

97c9ceec059cef2f96620e2b0001e2f4.png

更短时间更快习得更多干货！

和全球超2000+ Elastic 爱好者一起精进！

elastic6.cn——ElasticStack进阶助手

049a81713b86ff7778e29e12c626c5f4.gif

比同事抢先一步学习进阶干货！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/26635.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Hudi】核心概念-基本概念

【Hudi】核心概念-基本概念

目录 基本概念时间轴(TimeLine)Instant action:在表上执行的操作类型Instant timeState两个时间概念 文件布局(File Layout)索引(Index)原理索引选项全局索引与非全局索引索引的选择策略 表类型(Table Types)查询类型Snapshot QueriesIncremental QueriesRead Optimized Querie…
阅读更多...
集合并集交集差集【工具类】

集合并集交集差集【工具类】

一、使用Stream流进行处理 在Java开发中，对于集合的操作是非常常见的，特别是交集、并集和差集这样的操作。这些操作可以通过Java 8中的Stream API来实现。 •交集：取两个集合中相同的部分。例如，如果我们有两个List集合&#xff…
阅读更多...
【2024最新精简版】Redis面试篇

【2024最新精简版】Redis面试篇

文章目录 什么是红锁Redis有哪些框架？你们项目中哪里用到了Redis ?Redis的常用数据类型有哪些 ?Redis的数据持久化策略有哪些 ?Redis的数据过期策略有哪些 ?Redis的数据淘汰策略有哪些 ?你们使用Redis是单点还是集群 ? 哪种集群 ?Redis集群有哪些方案, 知道嘛…
阅读更多...
iOS--oc对象，类，和元类本质

iOS--oc对象，类，和元类本质

iOS--oc对象，类，和元类本质 前言实例对象的具体结构自定义类对象的结构继承关系 类信息的存放对isa、superclass总结 前言 最近在学习runtime的过程中，发现其中消息发送-动态方法解析-消息转发中涉及到了大量的类与对象的底层知识&#xff0…
阅读更多...
在linux系统上挂载新硬盘

在linux系统上挂载新硬盘

服务器的硬盘空间不够了，自己重新安装了一个硬盘，需要挂载，因为只是用来存放数据，所以不需要分区，直接挂载就可以 #查看当前所有硬盘 sudo fdisk -l #用于显示文件系统的磁盘空间使用情况 df -h发现一个/dev/nvme0n1 …
阅读更多...
mysql索引失效的几种情况

mysql索引失效的几种情况

1、对列进行计算或者是使用函数，则该列的索引会失效 如：substring(字段名,1,2)‘xxx’； 如：select * from test where id-19;//错误的写法； select * from test where id10; //正确的写法 ； 2、某些情况下…
阅读更多...
java.nio.charset.UnmappableCharacterException

java.nio.charset.UnmappableCharacterException

问题 java.lang.IllegalArgumentException: java.nio.charset.UnmappableCharacterException: Input length 1 解释为编码转换有问题 问题错在位置 非汉字存在 打包的时候就会报异常
阅读更多...
TikTok限流封号要如何处理

TikTok限流封号要如何处理

随着TikTok在全球范围内的运营和管理越来越规范，对于违规行为的处罚也日趋严格。其中，限流和封号是两种常见的处罚措施。那么，当TikTok账号遭遇限流或封号时，我们应该如何处理呢？ 一、了解限流和封号的原因 在处理Ti…
阅读更多...
Zoom会议网络连接不稳定怎么办？

Zoom会议网络连接不稳定怎么办？

随着远程办公和在线会议的普及，Zoom已成为许多企业的重要办公工具。然而，国内企业在使用Zoom进行线上会议时，常常面临网络不稳定和中断的问题，这不仅影响会议效率，还可能给企业带来损失。那么，Zoom会议网络…
阅读更多...
meilisearch的分页

meilisearch的分页

Elasticsearch 做为老牌搜索引擎，功能基本满足，但复杂，重量级，适合大数据量。 MeiliSearch 设计目标针对数据在 500GB 左右的搜索需求，极快，单文件，超轻量。 所以，对于中小型项目来说…
阅读更多...
APP分发平台在推广过程起到什么作用？

APP分发平台在推广过程起到什么作用？

APP分发平台在推广过程中起到了至关重要的作用，这些作用主要体现在以下几个方面： 扩大应用覆盖面和市场份额：APP分发平台作为连接开发者和用户的桥梁，通过不同的分发渠道（如应用商店、第三方分发平台等）&a…
阅读更多...
人生感悟 | 我们为什么贫穷？

人生感悟 | 我们为什么贫穷？

哈喽，你好啊，我是雷工！ 我们为什么贫穷？ 因为我们都在局中并坦然的按着规则制定者循规蹈矩的生活。 01 负债导致贫穷 最近同事买房，总价一百多万，月供四千多，讲话：已入坑&#xff0…
阅读更多...
python如何终止程序运行

python如何终止程序运行

方法1：采用sys.exit(0)，正常终止程序，从图中可以看到，程序终止后shell运行不受影响。 方法2：采用os._exit(0)关闭整个shell，从图中看到，调用sys._exit(0)后整个shell都重启了（RESTAR…
阅读更多...
SSC30KD SigmaStar 摄像头主控芯片

SSC30KD SigmaStar 摄像头主控芯片

SSC30KD SigmaStar 摄像头主控芯片
阅读更多...
opencv_特征检测和描述

opencv_特征检测和描述

理解特征 寻找独特的特定模式或特定特征，可以轻松跟踪和比较。 拼图：在图像中搜索这些特征，找到它们，在其他图像中查找相同的特征并对齐它们。而已。 基本上，角被认为是图像中的好特征。 在本单元中，我…
阅读更多...
【python】如何import 另一个路径下的py文件内容

【python】如何import 另一个路径下的py文件内容

目录结构： ├─common │ └─config.py └─own_module │ └─run.py问题描述： 如何在run.py 中调用 config.py 中的函数或类？ 解决办法： import os import sys # 为了引用自定义模块，可临时将module的绝对路径…
阅读更多...
Interview preparation--案例加密后数据的模糊查询

Interview preparation--案例加密后数据的模糊查询

加密数据的模糊查询实现方案 我们知道加密后的数据对模糊查询不是很友好，本篇就针对加密数据模糊查询这个问题来展开讲一讲实现的思路，希望对大家有所启发。为了数据安全我们在开发过程中经常会对重要的数据进行加密存储，常见的有&#xff1…
阅读更多...
Python学习从0开始——Kaggle计算机视觉001

Python学习从0开始——Kaggle计算机视觉001

Python学习从0开始——Kaggle计算机视觉001 一、卷积分类器1.分类器2.训练分类器3.使用 二、卷积和RELU1.特征提取2.带卷积的过滤器定义3.激活：4.用ReLU检测5.使用 三、最大池化1.最大池压缩2.使用3.平移不变性 四、滑动窗口1.介绍2.步长3.边界4.使用 五、自定义Con…
阅读更多...
Vue 简单自定义标签

Vue 简单自定义标签

Vue 简单自定义标签 思路&#xff1a; 1、计算每个项离父级左侧宽 left 2、计算当前滑块的宽&#xff0c;绝对定位 3、下一个项的宽/2-滑块的宽/2下一项离父级左侧的宽 left 4、使用定位left&#xff08;性能较差一点&#xff09; 或 translate 移动距离 <template><…
阅读更多...
(几何:六边形面积)编写程序，提示用户输入六边形的边长，然后显示它的面积。

(几何:六边形面积)编写程序，提示用户输入六边形的边长，然后显示它的面积。

(几何:六边形面积)编写程序&#xff0c;提示用户输入六边形的边长&#xff0c;然后显示它的面积。计 算六边形面积的公式是: 这里的s就是边长。下面是一个运行示例 package myjava; import java.math.*; import java.util.Scanner; public class cy {public static void main(S…
阅读更多...
最新文章

Copyright @ 2022~2023