Elasticsearch：将 ILM 管理的数据流迁移到数据流生命周期

警告：此功能处于技术预览阶段，可能会在未来版本中更改或删除。 Elastic 将努力解决任何问题，但技术预览版中的功能不受官方 GA 功能的支持 SLA 的约束。目前的最新版本为 8.12。

在本教程中，我们将了解如何将现有数据流（data stream）从索引生命周期管理 (ILM) 迁移到数据流生命周期。 现有的 ILM 管理的支持指数将继续由 ILM 管理，直到它们过期并被 ILM 删除； 但是，新的支持索引将由数据流生命周期管理。 这样，数据流逐渐从由 ILM 管理迁移到由数据流生命周期管理。 正如我们将看到的，ILM 和数据流生命周期可以共同管理数据流； 但是，一个索引一次只能由一个系统管理。

如果你对 ILM 还不是很清楚的话，请详细阅读文章 “Elasticsearch：Index 生命周期管理入门”。针对数据流生命周期，请详细阅读文章 "Data streams（一）（二）（三）"

长话短说

要将数据流从 ILM 迁移到数据流生命周期，我们必须执行两个步骤：

  • 更新支持数据流的索引模板，将 prefer_ilm 设置为 false，并配置数据流生命周期。
  • 使用生命周期 API 为现有数据流配置数据流生命周期。

设置 ILM 管理的数据流

首先，我们创建一个具有两个由 ILM 管理的支持索引的数据流。 我们首先创建 ILM 策略：

PUT _ilm/policy/pre-dsl-ilm-policy
{"policy": {"phases": {"hot": {"actions": {"rollover": {"max_primary_shard_size": "50gb"}}},"delete": {"min_age": "7d","actions": {"delete": {}}}}}
}

让我们创建一个索引模板来支持数据流并配置 ILM：

PUT _index_template/dsl-data-stream-template
{"index_patterns": ["dsl-data-stream*"],"data_stream": { },"priority": 500,"template": {"settings": {"index.lifecycle.name": "pre-dsl-ilm-policy"}}
}

现在，我们将索引一个以 dsl-data-stream 为目标的文档来创建数据流，并且我们还将手动翻转 (rollover) 数据流以创建另一代索引：

POST dsl-data-stream/_doc?
{"@timestamp": "2023-10-18T16:21:15.000Z","message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
}
POST dsl-data-stream/_rollover
{"acknowledged": true,"shards_acknowledged": true,"old_index": ".ds-dsl-data-stream-2024.03.21-000001","new_index": ".ds-dsl-data-stream-2024.03.21-000002","rolled_over": true,"dry_run": false,"conditions": {}
}

我们将使用 GET _data_stream API 来检查数据流的状态：

GET _data_stream/dsl-data-stream

检查响应，我们将看到两个后备索引（backing indices）均由 ILM 管理，并且下一个索引也将由 ILM 管理：

{"data_streams": [{"name": "dsl-data-stream","timestamp_field": {"name": "@timestamp"},"indices": [{"index_name": ".ds-dsl-data-stream-2023.10.19-000001", (1)   "index_uuid": "xCEhwsp8Tey0-FLNFYVwSg","prefer_ilm": true,                                    (2)   "ilm_policy": "pre-dsl-ilm-policy",                    (3)   "managed_by": "Index Lifecycle Management"             (4)   },{"index_name": ".ds-dsl-data-stream-2023.10.19-000002","index_uuid": "PA_JquKGSiKcAKBA8DJ5gw","prefer_ilm": true,"ilm_policy": "pre-dsl-ilm-policy","managed_by": "Index Lifecycle Management"}],"generation": 2,"status": "GREEN","template": "dsl-data-stream-template","next_generation_managed_by": "Index Lifecycle Management", (5)  "prefer_ilm": true,                                         (6)  "ilm_policy": "pre-dsl-ilm-policy",                         (7)  "hidden": false,"system": false,"allow_custom_routing": false,"replicated": false}]
}
  1. 后备索引的名称。
  2. 对于每个后备索引，我们会显示 prefer_ilm 配置的值，该值将指示在两个系统都配置了索引的情况下，ILM 是否优先于数据流生命周期。
  3. 为此索引配置的 ILM 策略。
  4. 管理该索引的系统（可能的值为 “Index Lifecycle Management”、“Data stream lifecycle” 或 “Unmanaged”）
  5. 将管理下一个索引的系统（一旦数据流滚动，该数据流的新写入索引）。 可能的值为 “Index Lifecycle Management”、“Data stream lifecycle” 或 “Unmanaged”。
  6. 在支持数据流的索引模板中配置的 prefer_ilm 值。 该值将为所有新的后备索引配置。 如果未在索引模板中配置，则后备索引将接收 true 作为默认值（默认情况下，ILM 优先于数据流生命周期，因为它目前功能更丰富）。
  7. 在支持此数据流的索引模板中配置的 ILM 策略（将在所有新的后备索引上配置，只要它存在于索引模板中）。

将数据流迁移到数据流生命周期

要将 dsl-data-stream 迁移到数据流生命周期，我们必须执行两个步骤：

  • 更新支持数据流的索引模板，将 prefer_ilm 设置为 false，并配置数据流生命周期。
  • 使用 lifecycle API 为现有 dsl-data-stream 配置数据流生命周期。

重要：添加到索引模板中的数据流生命周期配置作为数据流配置，仅适用于新的数据流。 我们的数据流已经存在，因此即使我们在索引模板中添加了数据流生命周期配置，它也不会应用于 dsl-data-stream。

让我们更新索引模板：

PUT _index_template/dsl-data-stream-template
{"index_patterns": ["dsl-data-stream*"],"data_stream": { },"priority": 500,"template": {"settings": {"index.lifecycle.name": "pre-dsl-ilm-policy","index.lifecycle.prefer_ilm": false                  (1)             },"lifecycle": {"data_retention": "7d"                               (2)}}
}
  • 现在将在新的后备索引（通过滚动数据流创建）上配置 prefer_ilm 设置，以便 ILM 不会优先于数据流生命周期。
  • 我们正在配置数据流生命周期，以便新数据流将由数据流生命周期管理。

我们现在已经确保新的数据流将由数据流生命周期进行管理。让我们更新现有的 dsl-data-stream 并配置数据流生命周期：

PUT _data_stream/dsl-data-stream/_lifecycle
{"data_retention": "7d"
}

我们可以检查数据流以检查下一代是否确实由数据流生命周期管理：

GET _data_stream/dsl-data-stream
{"data_streams": [{"name": "dsl-data-stream","timestamp_field": {"name": "@timestamp"},"indices": [{"index_name": ".ds-dsl-data-stream-2023.10.19-000001","index_uuid": "xCEhwsp8Tey0-FLNFYVwSg","prefer_ilm": true,"ilm_policy": "pre-dsl-ilm-policy","managed_by": "Index Lifecycle Management"                      (1)              },{"index_name": ".ds-dsl-data-stream-2023.10.19-000002","index_uuid": "PA_JquKGSiKcAKBA8DJ5gw","prefer_ilm": true,"ilm_policy": "pre-dsl-ilm-policy","managed_by": "Index Lifecycle Management"                      (2)}],"generation": 2,"status": "GREEN","template": "dsl-data-stream-template","lifecycle": {"enabled": true,"data_retention": "7d"},"ilm_policy": "pre-dsl-ilm-policy","next_generation_managed_by": "Data stream lifecycle",             (3)         "prefer_ilm": false,                                           "hidden": false,                                                   (4)"system": false,"allow_custom_routing": false,"replicated": false}]
}
  1. 现有支持索引将继续由 ILM 管理
  2. 现有支持索引将继续由 ILM 管理
  3. 下一代索引将由 Data stream lifecycle 管理
  4. 我们在索引模板中配置的 prefer_ilm 设置值将被反映，并将针对新的支持索引进行相应配置。

现在，我们将滚动数据流以查看由数据流生命周期管理的新一代索引：

POST dsl-data-stream/_rollover
GET _data_stream/dsl-data-stream
{"data_streams": [{"name": "dsl-data-stream","timestamp_field": {"name": "@timestamp"},"indices": [{"index_name": ".ds-dsl-data-stream-2023.10.19-000001","index_uuid": "xCEhwsp8Tey0-FLNFYVwSg","prefer_ilm": true,"ilm_policy": "pre-dsl-ilm-policy","managed_by": "Index Lifecycle Management"                    (1)          },{"index_name": ".ds-dsl-data-stream-2023.10.19-000002","index_uuid": "PA_JquKGSiKcAKBA8DJ5gw","prefer_ilm": true,"ilm_policy": "pre-dsl-ilm-policy","managed_by": "Index Lifecycle Management"                    (2)              },{"index_name": ".ds-dsl-data-stream-2023.10.19-000003",        "index_uuid": "PA_JquKGSiKcAKBA8abcd1","prefer_ilm": false,                                          (3)"ilm_policy": "pre-dsl-ilm-policy",                           "managed_by": "Data stream lifecycle"                         (4)}],"generation": 3,"status": "GREEN","template": "dsl-data-stream-template","lifecycle": {"enabled": true,"data_retention": "7d"},"ilm_policy": "pre-dsl-ilm-policy","next_generation_managed_by": "Data stream lifecycle","prefer_ilm": false,"hidden": false,"system": false,"allow_custom_routing": false,"replicated": false}]
}
  1. 翻转（rollover）前存在的后备索引将继续由 ILM 管理
  2. 翻转前存在的后备索引将继续由 ILM 管理
  3. 正如我们在索引模板中配置的那样，新的写入索引收到的 prefer_ilm 设置为 false
  4. 新的写入索引由 Data stream lifecycle 管理

将数据流迁移回 ILM

我们可以轻松地将此数据流更改为由 ILM 管理，因为我们在上面更新索引模板时没有删除 ILM 策略。

我们可以通过两种方式实现这一目标：

  1. 从数据流中删除生命周期
  2. 通过将 enabled 标志配置为 false 来禁用数据流生命周期

让我们实现选项 2 并禁用数据流生命周期：

PUT _data_stream/dsl-data-stream/_lifecycle
{"data_retention": "7d","enabled": false                            (1)
}

enabled 标志可以省略，默认为 true，但是这里我们显式地将其配置为 false 让我们检查数据流的状态：

GET _data_stream/dsl-data-stream
{"data_streams": [{"name": "dsl-data-stream","timestamp_field": {"name": "@timestamp"},"indices": [{"index_name": ".ds-dsl-data-stream-2023.10.19-000001","index_uuid": "xCEhwsp8Tey0-FLNFYVwSg","prefer_ilm": true,"ilm_policy": "pre-dsl-ilm-policy","managed_by": "Index Lifecycle Management"},{"index_name": ".ds-dsl-data-stream-2023.10.19-000002","index_uuid": "PA_JquKGSiKcAKBA8DJ5gw","prefer_ilm": true,"ilm_policy": "pre-dsl-ilm-policy","managed_by": "Index Lifecycle Management"},{"index_name": ".ds-dsl-data-stream-2023.10.19-000003","index_uuid": "PA_JquKGSiKcAKBA8abcd1","prefer_ilm": false,"ilm_policy": "pre-dsl-ilm-policy","managed_by": "Index Lifecycle Management"                }],"generation": 3,"status": "GREEN","template": "dsl-data-stream-template","lifecycle": {"enabled": false,                                          "data_retention": "7d"},"ilm_policy": "pre-dsl-ilm-policy","next_generation_managed_by": "Index Lifecycle Management",  "prefer_ilm": false,"hidden": false,"system": false,"allow_custom_routing": false,"replicated": false}]
}
  1. 写入索引现在由 ILM 管理
  2. 在数据流上配置的 lifecycle 现已禁用。
  3. 下一次写入索引将由 ILM 管理

如果我们在更新索引模板时从索引模板中删除了 ILM 策略，则数据流的写入索引现在将处于 Unmanged 状态，因为该索引不会将 ILM 策略配置为回退到之前的状态。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/767783.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Replidec：使用朴素贝叶斯分类器从宏基因组数据中识别病毒生命周期

Replidec：使用朴素贝叶斯分类器从宏基因组数据中识别病毒生命周期

Replidec - Use naive Bayes classifier to identify virus lifecycle from metagenomics data | bioRxivReplidec - Use naive Bayes classifier to identify virus lifecycle from metagenomics data | bioRxiv 安装 docker pull denglab/replidec 使用 for i in *_vOT…
阅读更多...
【算法】小强爱数学（迭代公式+数论取模）

【算法】小强爱数学（迭代公式+数论取模）

文章目录 1. 问题2. 输入3. 输出4. 示例5. 分析6. 思路7. 数论，取模相关公式8. 数论，同余定理9. 代码 1. 问题 小强发现当已知 x y B xyB xyB以及 x y A xyA xyA时,能很轻易的算出 x n x_ {n} xn​ y n y_ {n} yn​ 的值.但小强想请你在已知A和B的…
阅读更多...
Linux线程补充之——同步

Linux线程补充之——同步

一、Linux线程同步 ​ 同步是相对于竞争的概念； ​ 同步就是在保证安全的前提下啊，按照一定的顺序访问临界资源； ​ 所有的资源一定是先访问的临界资源，申请失败然后才进行排队的；互斥锁保证的是来访问的进程只允许…
阅读更多...
《边缘计算：连接未来的智慧之桥》

《边缘计算：连接未来的智慧之桥》

随着物联网、5G等技术的快速发展，边缘计算作为一种新兴的计算模式，正逐渐引起人们的广泛关注。边缘计算通过将数据处理和存储功能放置在距离数据产生源头更近的位置，实现了更快速、更可靠的数据处理和交换，为各行各业带来了前所未…
阅读更多...
【项目设计】基于MVC的负载均衡式的在线OJ

【项目设计】基于MVC的负载均衡式的在线OJ

项目代码（可直接下载运行） 一、项目的相关背景 学习编程的小伙伴，大家对力扣、牛客或其他在线编程的网站一定都不陌生，这些编程网站除了提供了在线编程，还有其他的一些功能。我们这个项目只是做出能够在线编程的功能。…
阅读更多...
详解JavaScript中this指向

详解JavaScript中this指向

this 原理 this 是一个指针型变量，它指向当前函数的运行环境。 1.内存的数据结构 var obj { foo: 5 };2.函数 var obj { foo: function () {} };引擎会将函数单独保存在内存中，然后再将函数的地址赋值给foo属性的value属性。 由于函数是一个单独的…
阅读更多...
代码随想录day28（1）二叉树：二叉搜索树中的插入操作（leetcode701）

代码随想录day28（1）二叉树：二叉搜索树中的插入操作（leetcode701）

题目要求：给定二叉搜索树（BST）的根节点和要插入树中的值，将值插入二叉搜索树。 返回插入后二叉搜索树的根节点。 输入数据保证，新值和原始二叉搜索树中的任意节点值都不同。 思路：对于二叉搜索树来说&…
阅读更多...
常见技术难点及方案

常见技术难点及方案

1. 分布式锁 1.1 难点 1.1.1 锁延期 同一时间内不允许多个客户端同时获得锁； 1.1.2 防止死锁 需要确保在任何故障场景下，都不会出现死锁； 1.2.3 可重入 特殊的锁机制，它允许同一个线程多次获取同一个锁而不会被阻塞。 1.2…
阅读更多...
Web前端Html的表单

Web前端Html的表单

表单的关键字： form标签表示一个表单区域 action“后端地址” method“提交数据方式:get/post” input 单行输入框 type“text” 文本 name“定义名称 名字自定义” 向后端提交的键 readonly“readonly” 只读，不可修改，但是可以提交 disab…
阅读更多...
C语言学习-day22-函数递归1

C语言学习-day22-函数递归1

程序调用自身的编程技巧被称为递归。举个例子： int main() { printf("hehe\n"); main(); return 0; } 比如这种，自己调用自己后每次都打印一个hehe。 递归的核心思考方式在于：大事化小。 做个练习：接收一个整型值&a…
阅读更多...
鸿蒙Harmony应用开发—ArkTS-类型定义

鸿蒙Harmony应用开发—ArkTS-类型定义

说明： 本模块首批接口从API version 7开始支持，后续版本的新增接口，采用上角标单独标记接口的起始版本。 Resource 资源引用类型，用于设置组件属性的值。 可以通过$r或者$rawfile创建Resource类型对象，不可以修改Res…
阅读更多...
【S056】Clause46--XGMII接口摘要

【S056】Clause46--XGMII接口摘要

文章目录 XGMII数据与lane的对应关系是什么？XGMII上的数据流格式是什么？如何保证0xFB每次都在Lane0？方法一：方法二： Link Fault信号 XGMII数据与lane的对应关系是什么？ XGMII上的数据流格式是什么&#xff…
阅读更多...
GDC期间LayaAir启动全球化战略

GDC期间LayaAir启动全球化战略

3 月 18 日至 3 月 22 日，一年一度的游戏开发者大会（GDC）在美国旧金山举行。在此期间，Layabox宣布LayaAir引擎启动全球扩张战略，这标志着引擎将步入快速发展的新阶段。此举旨在利用公司先进的3D引擎技术，将…
阅读更多...
Linux之git

Linux之git

一、什么叫做版本控制 版本控制（Revision control）是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史，方便查看更改历史记录，备份以便恢复以前的版本的软件工程技术。简单来说就是用于管理多人协同开发项目的技…
阅读更多...
Affiliate Stores: 建立营销联盟商店的详细教程- US Domain Center主机

Affiliate Stores: 建立营销联盟商店的详细教程- US Domain Center主机

第一步：了解营销联盟商店 营销联盟商店是一种电子商务模式，您可以在其中通过推广其他企业的产品或服务来赚取佣金。您在自己的网站上展示其他企业的产品，并在买家购买时获得佣金。通过 WooCommerce 平台，您可以轻松创建一个营销联…
阅读更多...
学习总结！

学习总结！

java目前学习到了数组部分 广搜，在开始的时候把#处理一下会好做很多，遇到上下两层都是# 的，就把上下两层的这个位置都弄成墙就行。还有遇到 一层是#，一层是墙的。也直接把俩都弄城墙就行，省的要判断他撞死，…
阅读更多...
部署mysql，前端，后端

部署mysql，前端，后端

部署mysql docker pull mysql 从镜像源中拉取镜像。 创建mysql容器 docker run -d \--name mysql_container \-p 3306:3306 \-e TZAsia/Shanghai \-e MYSQL_ROOT_PASSWORD123 \--restartalways \-v /opt/mysql:/var/lib/mysql \mysql -d后台运行，--name指定容器…
阅读更多...
【JavaScript】JavaScript 程序流程控制 ⑤ ( 嵌套 for 循环 | 嵌套 for 循环概念 | 嵌套 for 循环语法结构 )

【JavaScript】JavaScript 程序流程控制 ⑤ ( 嵌套 for 循环 | 嵌套 for 循环概念 | 嵌套 for 循环语法结构 )

文章目录 一、嵌套 for 循环1、嵌套 for 循环概念2、嵌套 for 循环语法结构 二、嵌套 for 循环案例1、打印三角形2、打印乘法表 一、嵌套 for 循环 1、嵌套 for 循环概念 嵌套 for 循环 是一个 嵌套的 循环结构 , 其中一个 for 循环 位于另一个 for 循环的内部 , 分别是 外层 f…
阅读更多...
计算机网络实验——学习记录二（HTTP协议）

计算机网络实验——学习记录二（HTTP协议）

1. Linux主机上连接互联网的网络接口是：ens33。 2. 在显示过滤器（Filter）中输入“ http.host www.zzu.edu.cn”，筛选出HTTP协议报文首部行中包含“ Host：www.zzu.edu.cn”的报文（目的地址是Web服务器的报…
阅读更多...
学习或复习电路的game推荐：nandgame(NAND与非门游戏)、Turing_Complete(图灵完备)

学习或复习电路的game推荐：nandgame(NAND与非门游戏)、Turing_Complete(图灵完备)

https://www.nandgame.com/ 免费 https://store.steampowered.com/app/1444480/Turing_Complete/ 收费，70元。据说可以导出 Verilog ！
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023