ElasticSearch索引别名的应用

个人博客:无奈何杨(wnhyang)

个人语雀:wnhyang

共享语雀:在线知识共享

Github:wnhyang - Overview


Elasticsearch 索引别名是一种极为灵活且强大的功能,它允许用户为一个或多个索引创建逻辑上的别名。这些别名用途广泛,涵盖查询、索引操作以及索引管理等多个方面。以下为一些常见的索引别名应用场景:

简化查询

通过创建别名,用户能够以更简洁的名称访问一个或多个索引。例如,若你有一个索引名为products_2024,可创建别名current_products以简化查询流程:

POST /_aliases
{"actions": [{ "add": { "index": "products_2024", "alias": "current_products" } }]
}

在执行查询时,只需使用别名:

GET /current_products/_search
{"query": {"match": { "category": "electronics" }}
}

如此一来,不仅使查询语句更为简洁,也降低了因索引名称变更而需大规模修改查询代码的风险,提高了代码的可维护性。

索引版本管理

当需要滚动更新索引(如按月或按年创建新索引)时,别名可用于指向当前活跃的索引。这种方式下,用户仅需更新别名,而无需对查询代码进行修改。

  1. 创建索引和别名
PUT /products_2024
{"aliases": {"current_products": {}}
}
  1. 创建新索引并切换别名
PUT /products_2025
{"aliases": {"current_products": {}}
}
POST /_aliases
{"actions": [{ "remove": { "index": "products_2024", "alias": "current_products" } },{ "add": { "index": "products_2025", "alias": "current_products" } }]
}

通过这种方式,实现了索引版本的平滑过渡,保证了业务查询的连续性,极大地减少了因索引更新带来的系统影响。

处理索引重建和升级

在对现有索引进行重建或升级(如更改映射或设置)时,可先创建新索引,再通过别名切换至新索引,从而确保服务不中断。

  1. 创建新索引
PUT /products_v2
{"mappings": {"properties": {"new_field": { "type": "text" }}}
}
  1. 切换别名
POST /_aliases
{"actions": [{ "remove": { "index": "products_v1", "alias": "products" } },{ "add": { "index": "products_v2", "alias": "products" } }]
}

这种操作方式使得索引重建和升级过程对业务的影响降至最低,保证了系统的稳定性和可用性。

执行多索引查询

用户可为多个索引创建一个别名,借此通过该别名对多个索引执行查询操作。例如,假设有多个分区索引,如logs_2023_01、logs_2023_02,可创建别名logs_2023以查询这些索引:

POST /_aliases
{"actions": [{ "add": { "index": "logs_2023_01", "alias": "logs_2023" } },{ "add": { "index": "logs_2023_02", "alias": "logs_2023" } }]
}

查询时,只需使用logs_2023作为索引名称:

GET /logs_2023/_search
{"query": {"match": { "status": "error" }}
}

这一功能在处理大规模数据查询时,能够显著提高查询效率,减少重复查询操作。

隔离读写操作

通过为写入操作和读取操作分别设置不同别名,可有效隔离读写操作。例如,设置别名write_index用于索引新数据,设置别名read_index用于搜索查询:

POST /_aliases
{"actions": [{ "add": { "index": "logs_2024", "alias": "write_index" } },{ "add": { "index": "logs_2023", "alias": "read_index" } }]
}

在更新时切换写入别名:

POST /_aliases
{"actions": [{ "remove": { "index": "logs_2023", "alias": "write_index" } },{ "add": { "index": "logs_2024", "alias": "write_index" } }]
}

这种隔离机制有助于提高系统性能,防止写操作对读操作产生性能干扰。

数据迁移

在将正常运行集群中的索引迁移到另外一个索引时,使用索引别名可以做到无须停机操作。例如,假设要将old_index迁移至new_index ,可以先为new_index添加与old_index相同的别名,应用程序在迁移过程中依然通过该别名进行访问,待数据迁移完成,删除old_index以及其相关别名,不会影响业务的正常运行。具体操作如下:

  1. 为新索引添加别名
POST /_aliases
{"actions": [{ "add": { "index": "new_index", "alias": "old_index" } }]
}
  1. 数据迁移完成后,删除旧索引别名
POST /_aliases
{"actions": [{ "remove": { "index": "old_index", "alias": "old_index" } }]
}
  1. 删除旧索引
DELETE /old_index

索引分组管理

可以将多个索引进行分组,以便于更好的管理。例如,假设有一系列与销售数据相关的索引,sales_2023_q1、sales_2023_q2、sales_2023_q3、sales_2023_q4 ,可以为它们添加一个统一的别名sales_2023,对这一年度的销售数据索引进行统一管理。操作如下:

POST /_aliases
{"actions": [{ "add": { "index": "sales_2023_q1", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q2", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q3", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q4", "alias": "sales_2023" } }]
}

之后在进行涉及全年销售数据的查询、统计等操作时,直接使用sales_2023别名即可,方便快捷。

索引子集创建

给索引创建类似于视图的子集。例如,在一个包含大量用户信息的索引users中,若只想对特定年龄段(如 18 - 30 岁)的用户数据进行操作,可以创建一个过滤器别名。假设索引中有age字段,操作如下:

  1. 创建过滤器别名
POST /_aliases
{"actions": [{"add": {"index": "users","alias": "young_users","filter": {"range": {"age": {"gte": 18,"lte": 30}}}}}]
}
  1. 使用过滤器别名查询
GET /young_users/_search
{"query": {"match_all": {}}
}

此时通过young_users别名查询,返回的结果就只会是符合年龄范围的用户数据。

Elasticsearch 索引别名实现读写分离

Elasticsearch 的索引别名功能可用于实现读写分离,这是一种常见的架构模式,有助于提升系统的可伸缩性和性能。在实际应用中,读写分离可确保写操作不会影响读操作的性能,同时可利用多索引分散读取负载。

实现读写分离的基本思路
  1. 写入索引

    • 新的写入操作被路由至一个单一的写入索引。
    • 该索引通常为最新的索引,专门用于接收新的数据写入。
  2. 读取索引

    • 读取操作被路由至一个或多个读取索引。
    • 读取索引可包括最新的写入索引以及其他已关闭写入操作的旧索引。
  3. 使用别名

通过使用别名,可将写入操作路由至写入索引,同时将读取操作路由至读取索引组。

实际应用案例

假设拥有一个日志聚合系统,每天创建一个新索引以存储当天的日志数据。需确保写入操作仅发生在最新的索引上,而读取操作可分布到多个索引上。

  1. 步骤 1:创建索引和别名

    • 创建写入索引

      • 创建名为logs_2024-08-01的索引。
      • 创建别名write_index,使其指向logs_2024-08-01。
    • 创建读取索引组

      • 创建别名read_index_group,最初指向logs_2024-08-01。
  2. 步骤 2:写入数据

所有的写入操作都通过write_index别名进行,这些操作会被路由到logs_2024-08-01。

  1. 步骤 3:读取数据

读取操作通过read_index_group别名进行,最初同样指向logs_2024-08-01。

  1. 步骤 4:滚动索引

    • 创建新的写入索引

      • 创建新索引logs_2024-08-02。
      • 更新write_index别名,使其指向logs_2024-08-02。
    • 更新读取索引组

      • 将logs_2024-08-02添加到read_index_group别名中。
      • 若有需要,可将旧索引logs_2024-08-01从read_index_group别名中移除。
示例命令

假设已创建logs_2024-08-01和logs_2024-08-02索引,且希望更新别名以实现读写分离:

  1. 创建写入索引别名
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "add": { "index": "logs_2024-08-01", "alias": "write_index" } }]
}
'
  1. 创建读取索引组别名
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "add": { "index": "logs_2024-08-01", "alias": "read_index_group" } }]
}
'
  1. 滚动索引
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "remove": { "index": "logs_2024-08-01", "alias": "write_index" } },{ "add": { "index": "logs_2024-08-02", "alias": "write_index" } },{ "add": { "index": "logs_2024-08-02", "alias": "read_index_group" } }]
}
'

总结

  1. 写入索引 ( write_index ) :用于接收新的写入操作。
  2. 读取索引组 ( read_index_group ) :用于分散读取操作的负载。
  3. 滚动索引:定期更新别名,确保新的写入操作被路由到最新的索引,同时保持读取操作分布在多个索引上。

这种方式在高并发和大数据量的场景下,能够有效提升系统的性能和可伸缩性。

写在最后

拙作艰辛,字句心血,望诸君垂青,多予支持,不胜感激。


个人博客:无奈何杨(wnhyang)

个人语雀:wnhyang

共享语雀:在线知识共享

Github:wnhyang - Overview

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/893242.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java高频面试之SE-15

hello啊,各位观众姥爷们!!!本牛马baby今天又来了!哈哈哈哈哈嗝🐶 String 怎么转成 Integer 的?它的原理是? 在 Java 中,要将 String 转换为 Integer 类型,可…

2024又是一年的CSDN之旅-总结过去展望未来

一、前言 一年就这样在忙忙碌碌的工作和生活中一晃而过,总结今年在CSDN上发表的博客,也有上百篇之多,首先感谢CSDN这个平台,能让我有一个地方记录工作中的点点滴滴,也在上面学到了不少知识,解决了工作中遇到…

c86机器安装nvaid显卡驱动报错:ERROR:Unable to load the kernel module ‘nvidia.ko‘.

背景: 最近小伙伴要去北京甲方现场搭建我们的AI编码服务,需要使用GPU机器跑大模型,根据现场提供的信息是2台C86的机器,显卡够够的,但是现场是内网环境,因此,需要先准备好需要的安装包&#xff…

LeetCode 热题 100_实现 Trie (前缀树)(54_208_中等_C++)(图;前缀树;字典树)

[TOC](LeetCode 热题 100_实现 Trie (前缀树)(54_208)) 题目描述: Trie(发音类似 “try”)或者说 前缀树 是一种树形数据结构,用于高效地存储和检索字符串数据集中的键。这一数据结构有相当多的应用情景&…

【Maui】视图界面与数据模型绑定

文章目录 前言一、问题描述二、解决方案三、软件开发(源码)3.1 创建模型3.2 视图界面3.3 控制器逻辑层 四、项目展示 前言 .NET 多平台应用 UI (.NET MAUI) 是一个跨平台框架,用于使用 C# 和 XAML 创建本机移动和桌面应用。 使用 .NET MAUI&…

从 Spark 到 StarRocks:实现58同城湖仓一体架构的高效转型

作者:王世发,吴艳兴等,58同城数据架构部 导读: 本文介绍了58同城在其数据探查平台中引入StarRocks的实践,旨在提升实时查询性能。在面对传统Spark和Hive架构的性能瓶颈时,58同城选择StarRocks作为加速引擎&…

探秘 Linux 进程状态:解锁系统运行的密码

🌟 快来参与讨论💬,点赞👍、收藏⭐、分享📤,共创活力社区。🌟 🚩用通俗易懂且不失专业性的文字,讲解计算机领域那些看似枯燥的知识点🚩 在 Linux 系统…

深度学习-89-大语言模型LLM之AI应用开发的基本概念

文章目录 1 什么是智能体(Agent)2 什么是大语言模型(LLM)2.1 LLM的训练及使用2.2 Transformer架构2.3 基于LLM的Agent框架3 什么是检索增强生成(RAG)3.1 RAG是什么3.2 生成式AI应用开发3.3 RAG的整体流程3.4 RAG技术3.4.1 简单RAG(Simple RAG)3.4.2 校正RAG(Corrective RAG)3.4…

鸿蒙产业学院正式揭牌!软通动力与深信息签署校企合作框架协议

12月27日,深圳信息职业技术学院(简称“深信息”)与软通动力信息技术(集团)股份有限公司(简称“软通动力”)正式签署校企合作框架协议,并共同揭牌成立鸿蒙产业学院。深信息校长王晖&a…

python轻量级框架-flask

简述 Flask 是 Python 生态圈中一个基于 Python 的Web 框架。其轻量、模块化和易于扩展的特点导致其被广泛使用,适合快速开发 Web 应用以及构建小型到中型项目。它提供了开发 Web 应用最基础的工具和组件。之所以称为微框架,是因为它与一些大型 Web 框架…

2024年河北省职业院校技能大赛 “信息技术应用创新赛项”(高职组)样题解法

​有问题请留言或主页私信咨询 2024年河北省职业院校技能大赛 “信息技术应用创新赛项”(高职组)样题 一、初始化环境 1.账号及默认密码如表1所示。 表1 账号及密码规划表 账 号密 码root(服务端)kylin2024!desk&#xff08…

gozero获取数据库内容报错解决方案与实践

这个错误通常出现在 Go 语言的数据库查询中,表示你尝试将一个不支持的数据类型([]uint8,即字节切片)存储到一个 Go 类型(*time.Time)中。具体来说,create_time 列的类型可能是 DATETIME 或 TIME…

【学习笔记15】如何在非root服务器中,安装属于自己的redis

一、下载安装包 官网下载黑马程序员给的安装包(redis-6.2.6) 二、将安装包上传至服务器 我将安装包上传在我的文件夹/home/XXX,指定路径中/src/local/redis/,绝对路径为/home/XXX/src/local/redis/解压安装包 XXXomega:~$ cd …

PotPlayer 配置安装

文章目录 一、下载1、官网链接2、微软商店 Microsoft Store 二、安装1、双击安装包2、选择字体3、安装向导下一步4、接收许可协议5、选择组件及关联6、选择安装位置7、硬解选项 三、设置1、关闭自动更新2、左键单双击设置3、视频下自动隐藏3.1、效果对比 4、播放信息显示设置4.…

【PCIe 总线及设备入门学习专栏 2 -- PCIe 的 LTSSM 和 Enumeration】

文章目录 OverviewLTSSM StatesDetect StatesDETECT_QUIETDETECT_ACTDETECT_WAITPolling StatesPOLL_ACTIVEPOLL_CONFIGPOLL_COMPLIANCEConfiguration StatesCONFIG_LINKWD_STARTCONFIG_LINKWD_ACCEPTCONFIG_LANENUM_WAITCONFIG_LANENUM_ACCEPTCONFIG_COMPLETECONFIG_IDLERecov…

STM32 FreeROTS Tickless低功耗模式

低功耗模式简介 FreeRTOS 的 Tickless 模式是一种特殊的运行模式,用于最小化系统的时钟中断频率,以降低功耗。在 Tickless 模式下,系统只在有需要时才会启动时钟中断,而在无任务要运行时则完全进入休眠状态,从而降低功…

【机器学习实战中阶】书籍推荐系统

图书推荐系统机器学习项目 通过这个机器学习项目,我们将构建一个图书推荐系统。对于这个项目,我们将使用 K 最近邻(K-Nearest Neighbor, KNN)算法。 让我们开始构建这个系统。 数据集说明 关于数据集 背景 在过去的几十年中…

嵌入式知识点总结 ARM体系与架构 专题提升(一)-硬件基础

嵌入式知识点总结 ARM体系与架构 专题提升(一)-硬件基础 目录 1.NAND FLASH 和NOR FLASH异同 ? 2.CPU,MPU,MCU,SOC,SOPC联系与差别? 3.什么是交叉编译? 4.为什么要交叉编译? 5.描述一下嵌入式基于ROM的运行方式和基于RAM的运行方式有什么区别? 1…

【数据分享】1929-2024年全球站点的逐月平均气温数据(Shp\Excel\免费获取)

气象数据是在各项研究中都经常使用的数据,气象指标包括气温、风速、降水、湿度等指标,其中又以气温指标最为常用!说到气温数据,最详细的气温数据是具体到气象监测站点的气温数据!本次我们为大家带来的就是具体到气象监…

Kotlin Bytedeco OpenCV 图像图像54 透视变换 图像矫正

Kotlin Bytedeco OpenCV 图像图像54 透视变换 图像矫正 1 添加依赖2 测试代码3 测试结果 在OpenCV中,仿射变换(Affine Transformation)和透视变换(Perspective Transformation)是两种常用的图像几何变换方法。 变换方…