Elasticsearch 索引生命周期和翻滚 (rollover) 策略

Elasticsearch 是搜索引擎中的摇滚明星,它的蓬勃发展在于使你的数据井井有条且速度快如闪电。 但当你的数据成为一场摇滚音乐会时,管理其生命周期就变得至关重要。 正确使用索引生命周期管理 (ILM) 和 rollover 策略,你的后台工作人员可确保顺利执行。

第一阶段:索引的诞生

将你的数据视为大量旋转的文档。 为了组织它们,你需要创建一个 “索引 (index)”,一个特殊的容器,就像乐队的音乐会舞台一样。 这是热 (hot) 阶段,你的索引会收到最新更新并在搜索聚光灯下闪闪发光。

第二阶段:成长与改变

随着音乐的响起和数据的流动,你的索引会增加。 它的大小会增加,搜索性能可能会下降,并且管理会变得混乱。 这就是 rollover 策略发挥作用的地方,就像巡演搭建新舞台一样。

Rollover 来救援!

将 rollover 视为当旧舞台变得拥挤时将乐队的表演复制到新舞台。 rollover 策略定义了触发创建新索引的条件,从而无缝地从旧索引传输文档。 这使你的搜索保持活跃并且数据易于管理。

翻转触发器:size 很重要(甚至更重要!)

展期政策可能由多种因素触发,但影响最大的是:

  1. 最大索引大小:当你的索引达到预定义大小(例如 50GB)时,就该进入新阶段了。 这可以防止性能问题并使数据保持井井有条。
  2. 最大索引年龄:即使你的索引不大,一段时间后它也可能会积灰。 设置最长期限(例如 30 天)可确保旧数据被存档或删除,就像存储旧的设置列表一样。
  3. 文档数量:如果你的索引达到一定数量的文档,则需要重新开始,例如新的歌曲列表。
  4. 索引运行状况:如果索引的运行状况指标(例如分片分配)表明存在问题,则翻转可以成为一种诊断工具,例如检查扬声器系统。
  5. 自定义条件:你可以根据特定的数据模式或事件编写自己的条件,例如根据数据中的关键字触发新阶段。

第三阶段:新一代崛起

一旦触发,滚动操作就会开始。将创建一个新索引,并根据你的策略规则进行命名(例如,使用时间戳或序列号),就像为新阶段指定一个唯一的名称一样。 新文档开始无缝转移到新文档,确保连续性并防止数据丢失,例如歌曲之间的完美转换。

第四阶段:管理世代

现在有了多个索引,ILM 可以帮助管理它们的生命周期。 你可以定义不同阶段的操作:

ILM 定义了五个索引生命周期阶段:

  • Hot:索引正在积极更新和查询。
  • Warm:索引不再更新,但仍在查询。 此阶段仍然针对搜索而不是存储进行优化。
  • Cold:索引不再更新,查询也很少。 信息仍然需要可搜索,但如果这些查询速度较慢也没关系。 此阶段针对存储而不是搜索进行了优化。
  • Frozen:索引不再更新,也很少查询。 信息仍然需要可搜索,但如果这些查询非常慢也没关系。 此阶段针对长期存储进行了优化。
  • Delete:索引不再需要,可以安全地删除。

健康翻滚的好处:

  • 改进的搜索性能:较小、较新的索引搜索速度更快,就像组织良好的集合列表一样。
  • 减少集群负载:跨多个索引分布数据可以减轻集群的压力,就像有多个阶段来共享人群一样。
  • 高效的存储管理:归档或删除旧数据可以释放宝贵的磁盘空间,例如整理设备存储。
  • 更轻松的数据管理:有组织的索引使你可以更轻松地查找、分析和管理数据,就像为你的仪器添加标签库存一样。

专家提示:

  • 从简单的策略开始,然后根据需要逐渐增加复杂性。
  • 在将策略部署到生产环境之前,先在开发环境中测试你的策略。 :D :D

结论:

通过实施轮转策略和 ILM,你可以确保你的 Elasticsearch 集群在不断增长的数据负载下蓬勃发展。 请记住,健康的索引生命周期就像一场管理良好的音乐会 —— 组织有序、高效,并且随时准备好迎接旅程中的下一首歌曲(或数据更新)。

更多关于生命周期管理的文章,请详细阅读文章 “Elastic:开发者上手指南” 中的 “生命周期管理(ILM)” 章节。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/232439.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

万户OA text2Html接口存在任意文件读取漏洞

文章目录 产品简介漏洞概述指纹识别漏洞利用修复建议 产品简介 ezoffice是万户网络协同办公产品多年来一直将主要精力致力于中高端市场的一款OA协同办公软件产品,统一的基础管理平台,实现用户数据统一管理、权限统一分配、身份统一认证。统一规划门户网…

ABAP与HANA集成 2:ABAP调用HANA存储过程或SQL语句

作者 idan lian 如需转载备注出处 需求 虽然是做BW模块,但是最近项目上种种,都需要给ABAP人员或者前台用户提供能供他们使用的表,就稍微研究了下ABAP和HANA的集成问题,因为我们BW更擅长的还是HANA,而且HANA的运行效…

基于CNN+数据增强+残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)+数据集+模型(二)

系列文章目录 基于CNN数据增强残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)数据集模型(一) 基于CNN数据增强残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)数据集模型&#xf…

NVMe前世今生

NVMe前世今生 1 NVMe的由来2 NVMe工作原理3 NVMe优点4 NVMe适用场景 本文属于《 NVMe协议基础系列教程》之一,欢迎查看其它文章。 1 NVMe的由来 目前机械硬盘大多数使用 SATA (Serial ATA Advanced Host Controller Interface) 接口,接口协议为 AHCI&a…

vue + element 项目表格多选根据状态来禁用

首先如图效果 对elementUI中table表格的多选框进行 可勾选 和 不可勾选 的处理 给 type 属性为 selection 的加一个事件:selectableselected’ <el-table-column type"selection" width"55" :selectable"selected"> </el-table-colum…

运维知识点-Kubernetes_K8s

Kubernetes RBAC配置不当攻击场景攻击过程 RBAC配置不当 Service Account本质是服务账号&#xff0c;是Pod连接K8s集群的凭证。 在默认情况下&#xff0c;系统会为创建的Pod提供一个默认的Service Account&#xff0c; 用户也可以自定义Service Account&#xff0c;与Service…

目标检测——YOLO算法解读(通俗易懂版)

论文&#xff1a;You Only Look Once: Unified, Real-Time Object Detection 作者&#xff1a;Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi 链接&#xff1a;https://arxiv.org/abs/1506.02640 代码&#xff1a;http://pjreddie.com/yolo/ yolo系列检测算法开…

Excel小技能:excel如何将数字20231211转化成指定日期格式2023/12/11

给了一串数字20231211&#xff0c;想要转成指定格式的日期格式&#xff0c;发现设置单元格格式为指定日期格式不生效&#xff0c;反而变成很长很长的一串#这个&#xff0c;如图所示&#xff1a; 其实&#xff0c;正确的做法如下&#xff1a; 1&#xff09;打开数据功能界面&am…

谷达冠楠科技:抖音店铺被退店是什么意思

随着互联网的普及和发展&#xff0c;电商平台已经成为了人们购物的主要渠道之一。在众多的电商平台中&#xff0c;抖音作为短视频领域的佼佼者&#xff0c;也吸引了大量的商家入驻。然而&#xff0c;有些商家可能会遇到抖音店铺被退店的情况&#xff0c;那么这究竟是什么意思呢…

病案管理的定义、流程及应用分析

病案管理是指针对病人的基本信息&#xff0c;病历&#xff0c;就诊记录等进行收集、整理、存储、分析和应用的一项管理工作。它在医院、医疗机构和医疗行业中具有重要的作用&#xff0c;能够提高医疗服务的质量、效率和安全性。本文将就病案管理的定义、流程以及其在医疗健康领…

React实现全局Loading

css #__loading {position:fixed;top: 0;left: 0;z-index: 99999;display: flex;align-items: center;justify-content: center;width: 100%;height: 100%;background: rgba(0, 0, 0, 0); } 页面代码 使用了antd的Spin组件 import React from react import ReactDOM from re…

编程序中的魔法语句|循环-使用频率高的优雅代码

一. print和import的更多信息 1.1 使用逗号输出 A.打印多个表达式,用逗号隔开,会在每个参数之间插入一个空格符: 复制代码代码如下: >>> print age:,42 age: 42 B.同时输出文本和变量值,却又不希望使用字符串格式化: 复制代码代码如下: >>> name = Pe…

emmc存储大小解决方案

当发现emmc space 0.2G或者为0 的时候说名emmc有问题了&#xff0c;正常情况下是3.98G。 所以需要做如下处理&#xff1a; 输入&#xff1a;第一步&#xff1a;mkfs.ext4 /dev/mmcblk0p1 &#xff08;格式&#xff1a;mkfs.ext4 参数 设备名 原文链接&#xff1a;mkfs.ext4 命…

(c语言)字符逆序——非递归

#include<stdio.h> #include<string.h> int main(int argc, char* argv[]) {char a[10000];char b[10000];gets(a);int i, c;c (int)strlen(a);for (i 0; i < c; i){b[i] a[c-i-1]; //将\0之前的元素赋值给b[]}b[c] \0; //之后在所有元素后加上\0,将…

优思学院|调优操作(EVOP)是什么?

EVOP是Evolutionary Operation的缩写&#xff0c;中文多译作&#xff0c;调优操作&#xff0c;意思是进化地操作&#xff0c;也是实验设计方法中的其中一种&#xff0c;可以应用于六西格玛流程DMAIC里的改进阶段。 调优操作&#xff08;EVOP&#xff09;是一种用于改善过程或产…

Mac安装Nginx

一起学习 1、确认你的电脑是否安装homebrew&#xff0c;打开电脑终端 输入&#xff1a; /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"2、确认homebrew是否安装成功&#xff0c;在终端输入&#xff1a; br…

怎么远程控制电脑?两种方法轻松实现!

不知道电脑远程控制怎么弄&#xff1f;本文将分享两种简单又实用的远程控制方法&#xff0c;能够让你轻松的远程控制电脑。远程控制一直是一个备受关注的话题&#xff0c;无论在何种场合都能发挥作用。掌握了远程控制的方法&#xff0c;不仅能够快速解决紧急问题&#xff0c;还…

【老牌期刊】IF:6+,2天预审,3-5个月录用!

期刊简介 1区计算机智能类SCI 【期刊概况】IF&#xff1a;6.0-7.0&#xff0c;JCR1区&#xff0c;中科院2区&#xff1b; 【终审周期】走期刊部系统&#xff0c;3个月左右录用&#xff1b; 【检索情况】SCI检索&#xff1b; 【WOS收录年份】2018年&#xff1b; 【自引率】…

用友 CRM help2.php存在任意文件读取漏洞

文章目录 产品简介漏洞概述指纹识别漏洞利用修复建议 产品简介 用友CRM&#xff08;Customer Relationship Management&#xff0c;客户关系管理&#xff09;是由用友公司开发的一款软件&#xff0c;专门设计用于帮助企业管理与客户相关的业务活动。这款软件通常包括客户信息管…

windows 安装jenkins

下载jenkins 官方下载地址&#xff1a;Jenkins 的安装和设置 清华源下载地址&#xff1a;https://mirrors.tuna.tsinghua.edu.cn/jenkins/windows-stable/ 最新支持java8的版本时2.346.1版本&#xff0c;在清华源中找不到&#xff0c;在官网中没找到windows的下载历史&#xff…