Elasticsearch集群内如何使用reindex迁移索引，完成分片的拆分

1、删除我的测试索引：old_index

curl -X DELETE "http://`hostname -i`:9200/old_index"
curl -X DELETE "http://`hostname -i`:9200/new_index"

2、检查集群索引情况

$ curl -X GET "http://`hostname -i`:9200/_cat/indices?v"
health status index            uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .geoip_databases ib6tlhzjTf-MQBu-XGIVWg   1   0         33            0     31.1mb         31.1mb

3、新建测试索引：old_index

# 注释
# 1、我只有一个节点，为了测试方便，副本 number_of_replicas 设置为0
# 2、假设我的源索引分片为1，number_of_shards设置为1，用于后续对比验证
curl -X PUT "http://`hostname -i`:9200/old_index" -H 'Content-Type: application/json' -d'
{"mappings": {"properties": {"name": { "type": "text" },"description": { "type": "text" },"publish_date": { "type": "date" }}},"settings": {"number_of_shards": 1,"number_of_replicas": 0}
}'
# 返回结果，代表索引创建成功
{"acknowledged":true,"shards_acknowledged":true,"index":"old_index"}

4、在old_index索引中插入几条测试数据

curl -X POST "http://`hostname -i`:9200/old_index/_bulk" -H 'Content-Type: application/x-ndjson' --data-binary '
{ "index": { "_index": "old_index", "_id": "1" } }
{ "name": "可乐", "description": "大数据SRE工程师", "publish_date": "1991-05-20" }
{ "index": { "_index": "old_index", "_id": "2" } }
{ "name": "炎长", "description": "DBA工程师", "publish_date": "1992-11-23" }
'# 返回结果
{"took": 6,"errors": false,"items": [{"index": {"_index": "old_index","_type": "_doc","_id": "1","_version": 1,"result": "created","_shards": {"total": 1,"successful": 1,"failed": 0},"_seq_no": 0,"_primary_term": 1,"status": 201}}, {"index": {"_index": "old_index","_type": "_doc","_id": "2","_version": 1,"result": "created","_shards": {"total": 1,"successful": 1,"failed": 0},"_seq_no": 1,"_primary_term": 1,"status": 201}}]
}

5、查询old_index索引中的数据

curl -X GET "http://`hostname -i`:9200/old_index/_search"# 查询结果
{"took": 7,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 2,"relation": "eq"},"max_score": 1.0,"hits": [{"_index": "old_index","_type": "_doc","_id": "1","_score": 1.0,"_source": {"name": "可乐","description": "大数据SRE工程师","publish_date": "1991-05-20"}}, {"_index": "old_index","_type": "_doc","_id": "2","_score": 1.0,"_source": {"name": "炎长","description": "DBA工程师","publish_date": "1992-11-23"}}]}
}

6、新建目标索引：new_index

# 注释
# 1、本次将分片设置为2，是为了模拟reindex拆封分片的功能
# 2、建议将目标索引副本设置为0，没有副本，目标索引写入速度会变快，reindex任务执行相应比有部分的写入速度快。reindex结束后，可以根据需要，重新设置副本。curl -X PUT "http://`hostname -i`:9200/new_index" -H 'Content-Type: application/json' -d'
{"mappings": {"properties": {"name": { "type": "text" },"description": { "type": "text" },"publish_date": { "type": "date" }}},"settings": {"number_of_shards": 2,"number_of_replicas": 0}
}'# 返回结果
{"acknowledged":true,"shards_acknowledged":true,"index":"new_index"}

7、检查两个索引的数据情况

curl -X GET "http://`hostname -i`:9200/_cat/indices?v"
health status index            uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .geoip_databases ib6tlhzjTf-MQBu-XGIVWg   1   0         33            0     31.1mb         31.1mb
green  open   new_index        GrJiGswYRqCibszGIVjZhg   2   0          0            0       454b           454b
green  open   old_index        8k4beb7ETpu6Ki-LpOu_EQ   1   0          2            0        4kb            4kb

8、测试reindex将源索引：old_index中的数据迁移到目标索引：new_index

curl -X POST "http://`hostname -i`:9200/_reindex" -H 'Content-Type: application/json' -d'
{"source": {"index": "old_index"},"dest": {"index": "new_index"}
}
'# 返回结果，创建成功
{"took":8,"timed_out":false,"total":2,"updated":0,"created":2,"deleted":0,"batches":1,"version_conflicts":0,"noops":0,"retries":{"bulk":0,"search":0},"throttled_millis":0,"requests_per_second":-1.0,"throttled_until_millis":0,"failures":[]}

9、检查索引的迁移进度

# 数据量太小，执行时间可能比较快，查看不到reindex的任务情况curl -X GET "http://`hostname -i`:9200/_tasks?detailed=true&actions=*reindex&human=true"

10、再次检查集群两个索引的情况

curl -X GET "http://`hostname -i`:9200/_cat/indices?v"
health status index            uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .geoip_databases ib6tlhzjTf-MQBu-XGIVWg   1   0         33            0     31.1mb         31.1mb
green  open   new_index        aU3mztzXRXOSk9Q1oiP2RA   1   0          2            0      4.4kb          4.4kb
green  open   old_index        g24b-XDfQZ6BO5zdcIOM0A   1   0          2            0      4.4kb          4.4kb

总结

根据实际的生产场景，reindex只适合在两个集群间进行索引迁移，如果在集群内拆分索引分片使用，会产生很大的性能问题，不建议集群内部使用reindex。reindex的逻辑是先查询，这会消耗旧索引节点的读IO，再写入到目标索引，这会消耗新索引节点的写IO，如果读写的任务都在一个节点上，那读写压力就会集中，IO，内存和CPU都有可能成为集群的瓶颈点。如果reindex任务比较多比较大，那将是es集群的一个灾难。建议最好的方式是将索引迁移至新的es集群中，这样源集群只会涉及到查询，影响最小，新集群刚开始一般无业务压力，写入不会增加太大的负担。

https://mp.weixin.qq.com/s?__biz=MzA5MjkyNjU5MQ==&mid=2247484835&idx=1&sn=84ca8ce4c2c41c63ec9cf57fc609fb91&chksm=9064e2b3a7136ba5aa62f98024fac5b613b80d510b500b323a53a4c3ed0eed0d2fda5589fe3d#rd

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/17207.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【RSGIS数据资源】中国多时期土地利用遥感监测数据集（CNLUCC）

【RSGIS数据资源】中国多时期土地利用遥感监测数据集（CNLUCC）

文章目录 数据基本信息摘要数据说明数据引用方式 数据基本信息 数据时间： 多时期(1970年代末期以来11期) 空间位置： 中国 数据格式： 矢量与栅格 空间分辨率： 30m 主题分类： 中国土地利用遥感监测数据 DOI标识&#xf…
阅读更多...
c语言之文件格式化写入

c语言之文件格式化写入

向文件写入特定的信息&#xff0c;在c语言中需要fprintf语句 fprintf语句的格式是 fprintf(文件指针&#xff0c;格式字符串&#xff0c;输出表列&#xff09; 示例代码如下 #include<stdio.h>int main() {FILE *fp;int a123;float b3.1415f;fpfopen("eee.txt&q…
阅读更多...
TS中的InstanceType函数和Typeof 操作符

TS中的InstanceType函数和Typeof 操作符

InstanceType函数 简介 instancetype函数&#xff1a;该函数返回&#xff08;构造&#xff09; 由某个构造函数构造出来的实例类型组成的类型。 常见使用 场景一 【vue中的instanceType用法】父组件用ref获取子组件时&#xff0c;通过 instanceType获取子组件的类型 <!-- …
阅读更多...
UNION的使用

UNION的使用

UNION的使用 给出将多条查询语句组合成单个结果集&#xff0c;两个表对应的列数和数据类型必须相同 UNION操作符&#xff1a; 返回两个查询结果集的并集&#xff0c;并去除重复记录 UNION ALL操作符 返回两个查询的结果集的并集。不去掉两个结果集的重复部分&#xff0c;重…
阅读更多...
存储方式 - 前端学习

存储方式 - 前端学习

1. cookie是什么&#xff1f;你了解cookie吗&#xff1f; 在计算机领域中&#xff0c;特指一种由服务器发送到用户浏览器并保存在用户计算机上的小型文本文件。这个文件可以被服务器用来识别用户身份、跟踪用户活动、保存用户设置等。它通常由名称、值、域名、路径、过期时间等…
阅读更多...
【漏洞复现】号卡极团分销管理系统 ue_serve.php 任意文件上传漏洞

【漏洞复现】号卡极团分销管理系统 ue_serve.php 任意文件上传漏洞

0x01 产品简介 号卡极团分销 管理系统&#xff0c;同步对接多平台&#xff0c;同步订单信息&#xff0c;支持敢探号一键上架&#xff0c;首页多套U|商品下单页多套模板&#xff0c;订单查询支持实时物流信息、支持代理商自定义域名、泛域名绑定&#xff0c;内置敢探号、172平台…
阅读更多...
CLIP源码详解：clip.py 文件

CLIP源码详解：clip.py 文件

前言 这是关于 CLIP 源码中的 clip.py 文件中的代码带注释版本。 clip.py 文件的作用&#xff1a;封装了 clip 项目的相关 API&#xff0c;通过这些 API &#xff0c;我们可以轻松使用 CLIP 项目预训练好的模型进行自己项目的应用。 另外不太容易懂的地方都使用了二级标题强…
阅读更多...
【机器学习300问】101、1x1卷积有什么作用？

【机器学习300问】101、1x1卷积有什么作用？

卷积神经网络最重要的操作就是卷积层的卷积操作&#xff0c;之前文章中介绍过&#xff0c;卷积核filter往往都是3x3或者5x5什么的&#xff0c;但有一种非常特殊的卷积——1x1卷积。他在CNN中扮演着非常重要的角色。 一、通道维度的降维/升维 这是1x1卷积最显著的作用之一。通过…
阅读更多...
【记录贴】docker镜像格式报错

【记录贴】docker镜像格式报错

1&#xff0c;错误内容 最近想要补一补docker的基础知识&#xff0c;跟着练习的时候&#xff0c;发现下面的错误。 换了其他镜像&#xff08;docker pull ubantu&#xff09;也存在同样的问题&#xff1a; 错误内容&#xff1a;docker: mediaType in manifest should be appli…
阅读更多...
AIGC 008-IP-Adapter文本兼容图像提示适配器用于文本到图像扩散模型

AIGC 008-IP-Adapter文本兼容图像提示适配器用于文本到图像扩散模型

AIGC 008-IP-Adapter文本兼容图像提示适配器用于文本到图像扩散模型&#xff01; 文章目录 0 论文工作1 论文方法2 效果 0 论文工作 这篇论文介绍了 IP-Adapter&#xff0c;一种 高效地将预训练的图像到图像转换模型适应到新领域 的方法。它通过在预训练模型的 输入端 添加一个…
阅读更多...
如果任务过多，队列积压怎么处理？

如果任务过多，队列积压怎么处理？

如果任务过多，队列积压怎么处理？ 1、内存队列满了应该怎么办2、问题要治本——发短信导致吞吐量降低的问题不能忽略！！3、多路复用IO模型的核心组件简介1、内存队列满了应该怎么办 如图： 大家可以看到，虽然现在发短信和广告投递，彼此之间的执行效率不受彼此影响，但是请…
阅读更多...
【ES001】elasticsearch实战经验总结（最近更新中）

【ES001】elasticsearch实战经验总结（最近更新中）

1.熟悉、梳理、总结下elasticsearch相关知识体系。 2.日常研发过程中使用较少&#xff0c;随着时间的推移&#xff0c;很快就忘得一干二净&#xff0c;所以梳理总结下&#xff0c;以备日常使用参考 3.欢迎批评指正&#xff0c;跪谢一键三连&#xff01; 文章目录 1. 1.
阅读更多...
SpringBoot 上传文件示例

SpringBoot 上传文件示例

示例效果&#xff1a; 前端代码&#xff1a; <html> <head><title>上传文件示例</title></head> <body> <h2>方式一&#xff1a;普通表单上传</h2> <form action"/admin/upload" method"post" enctyp…
阅读更多...
【Android14 ShellTransitions】（五）启动Transition

【Android14 ShellTransitions】（五）启动Transition

这一节的内容涉及WMCore以及WMShell&#xff0c;主要是启动Transition。 回到ActivityStarter.startActivityUnchecked方法&#xff1a; 看下最后启动Transition的部分&#xff0c;在ActivityStarter.handleStartResult中&#xff1a; 只关注我们要关注的部分。 首先是如果这…
阅读更多...
网络原理-HTTP协议

网络原理-HTTP协议

HTTP协议 HTTP协议全称为超文本传输协议,除了能传输字符串,还能传输图片、视频、音频等。 当我们在访问网页的时候,浏览器会从服务器上下载数据,这些数据都会放在HTTP响应中,然后浏览器再根据这个HTTP响应显示出网页信息。 抓包 抓包工具本质上是一个代理工具,即我们将构造…
阅读更多...
项目延期，不要随意加派人手

项目延期，不要随意加派人手

遇到软件项目出现延期的情况时&#xff0c;不建议随意加派人手。原因如下&#xff1a; 有些任务是不可拆分的&#xff0c;不能拆分为多个并行任务&#xff0c;增加人员不会加快项目进度。新增加人员需要原有人员介绍项目中的技术架构、业务知识&#xff0c;在开发过程中也难免…
阅读更多...
STM32H743+USBHID+CubeMX配置

STM32H743+USBHID+CubeMX配置

一、环境准备 电脑系统&#xff1a;Windows 10 专业版 20H2 IDE&#xff1a;Keil v5.35、STM32CubeMX v6.5.0 测试硬件&#xff1a;正点原子阿波罗STM32H743 二、测试步骤 1、使用用例工程 配置STM32H743定时器功能-CSDN博客https://blog.csdn.net/horse_2007s/article/d…
阅读更多...
HR招聘面试测评，哪些工作岗位需要测评创新能力？

HR招聘面试测评，哪些工作岗位需要测评创新能力？

什么是创新能力&#xff1f; 创新能力指在现有的物质基础上&#xff0c;通过某些特定的条件&#xff0c;促成满足未来社会发展的新事物。无论是个人还是国家都需要巨大的创新能力&#xff0c;因为创新是一切发展的根基&#xff0c;离开了创新&#xff0c;所有的发展都是原地踏…
阅读更多...
每日复盘-20240527

每日复盘-20240527

今日关注&#xff1a; 六日涨幅最大: ------1--------300956--------- 英力股份 五日涨幅最大: ------1--------300956--------- 英力股份 四日涨幅最大: ------1--------301361--------- 众智科技 三日涨幅最大: ------1--------301361--------- 众智科技 二日涨幅最大: ----…
阅读更多...
Android Audio基础——AudioFlinger音频流管理（八）

Android Audio基础——AudioFlinger音频流管理（八）

从前面 AudioTrack、PlaybackThread、输出流设备三者的关系中，我们看到 AudioTrack 把音频流数据送入到对应的 PlaybackThread 中，那么应用进程是如何控制音频流的开始播放 start()、停止播放 stop()、暂停播放 pause()。这一章节我们就来继续分析。 一、音频流管理 应用进程…
阅读更多...
最新文章

Copyright @ 2022~2023