实际使用Elasticdump工具对Elasticsearch集群进行数据备份和数据还原

文/朱季谦

  • 目录
    一、Elasticdump工具介绍
    二、Elasticdump工具安装
    三、Elasticdump工具使用

最近在开发当中做了一些涉及到Elasticsearch映射结构及数据导出导入的工作，怕以后会把这过程忘记，可谓好记性不如烂笔头，故而记录成一篇博文。

玩Elasticsearch的童鞋大概都会遇到这样一个问题，如何快速地将Elasticsearch里的索引结构映射和对应数据快速地进行备份和数据还原。

这时，就可以通过Elasticsearch的导入导出工具Elasticdump来实现，可以将Elasticsearch不同集群的数据进行索引备份和还原。

一、Elasticdump工具介绍

在npm关于Elasticdump的英文官网里，可以看到一篇关于Elasticdump的英文介绍，这个工具的logo很有意思，是一台可以搬运（迁移）东西（数据）的工具车，这个logo就表明该Elasticdump工具可用来迁移备份和恢复数据。

image

使用Elasticdump时特别需要是，若直接用npm install elasticdump -g来按照，node版本需要在v10.0.0以上才能支持，否则执行该指令会出错。

Elasticdump通过向发送一个input来工作output，其标准指令是

elasticdump --input SOURCE --output DESTINATION [OPTIONS]
  • input SOURCE表示读取数据源SOURCE
  • output DESTINATION表示将数据源传输到目的地DESTINATION。
  • SOURCE/DESTINATION两者都可以是Elasticsearch URL或文件，如果是Elasticsearch URL，例如http://127.0.0.1/index，就意味着是直接往地址为http://127.0.0.1ES库里导入或者从其导出索引相关数据。
  • [OPTIONS]是操作选项，比较常用有type和limit，其他操作这里就不展开介绍。
     

type是ES数据导出导入类型，Elasticdum工具支持以下数据类型的导入导出——

type类型说明
mappingES的索引映射结构数据
dataES的数据
settingsES的索引库默认配置
analyzerES的分词器
templateES的模板结构数据
aliasES的索引别名

limit从SOURCE备份到DESTINATION的对象数量，默认是100，可自定义设置。

二、Elasticdump工具安装

1. 在线安装Elasticdum工具需要依赖node，故而先安装v10.0.0以上的node。

[root@zhu opt]# wget https://nodejs.org/dist/v12.18.3/node-v12.18.3-linux-x64.tar.xz
[root@zhu opt]# tar xvf  node-v12.18.3-linux-x64.tar.xz -C /usr/local/
[root@zhu opt]# mv /usr/local/node-v12.18.3-linux-x64 /usr/local/nodejs
[root@zhu opt]# echo export NODEJS_HOME=/usr/local/nodejs >> /etc/profile
[root@zhu opt]# echo export PATH=$PATH:$NODEJS_HOME/bin >> /etc/profile
[root@zhu opt]# echo export NODEJS_PATH=$NODEJS_HOME/lib/node_modules >>/etc/profile
[root@zhu opt]# source /etc/profile
[root@zhu opt]# ln -s /usr/local/nodejs/bin/node /usr/local/bin/node
[root@zhu opt]# ln -s /usr/local/nodejs/bin/npm /usr/local/bin/npm
[root@zhu opt]# npm -v
6.14.6
[root@zhu opt]# node -v
v12.18.3

2. 通过npm安装elasticdump

[root@zhu opt]# npm install elasticdump -g

安装成功后，进入到

[root@zhu opt]#cd /usr/local/nodejs/lib/node_modules/elasticdump/bin

可以看到有两个命令，elasticdump用来备份单个索引，multielasticdump可以用来并行备份多个索引：

root@zhu bin]# ll
总用量 20
-rwxr-xr-x. 1 1001 1001  4026 4月   9 14:38 elasticdump
-rwxr-xr-x. 1 1001 1001 14598 10月 26 1985 multielasticdump

三、Elasticdump工具使用

使用elasticdump进行单个索引备份还原操作——


- 导出索引test_event的mapping映射结构：

[root@zhu opt]# elasticdump --input=http://127.0.0.1:9200/test_event  --output=/opt/test_event_mapping.json --type=mapping

检查当前，发现已经备份成json文件：

[root@zhu opt]# ll
总用量 14368
-rw-r--r--. 1 root root     6200 4月   9 11:30 ucas_hisevenr_mapping.json

还可以直接导入到另一个es集群当中：

[root@zhu opt]# elasticdump --input=http://127.0.0.1:9200/test_event   --output=http://127.0.0.2:9200/test_event --type=mapping

- 导出索引test_event的数据：

[root@zhu opt]# elasticdump --input=http://127.0.0.1:9200/test_event  --output=/opt/data.json --type=data

同理，可直接将备份数据导入另一个es集群：

[root@zhu opt]# elasticdump --input=http://127.0.0.1:9200/test_event   --output=http://127.0.0.2:9200/test_event --type=data

elasticdump进行数据还原操作

- mapping映射结构还原：

[root@zhu opt]# elasticdump --input=/opt/test_event_mapping.json --output http://127.0.0.1:9200/ --type=mapping

- data数据还原

[root@zhu opt]# elasticdump --input=/opt/data.json    --output=http://127.0.0.1:9200/test_event    --type=data

使用elasticdump进行多个索引备份操作：

＃将ES索引及其所有类型备份到es_backup文件夹中
multielasticdump direction = dump match ='^.*$'  input = http://127.0.0.1:9200   output =/tmp/es_backup

＃仅备份ES索引以“ -index”（匹配正则表达式）为前缀的结尾。仅备份索引数据。所有其他类型都将被忽略。＃注意：默认情况下会忽略分析器和别名类型
multielasticdump --direction=dump --match='^.*-index$' --input=http://127.0.0.1:9200 --ignoreType='mapping,settings,template'  --output=/tmp/es_backup

使用elasticdump进行多个索引还原操作：

multielasticdump --direction=load --input=/tmp/es_backup --output=http://127.0.0.1:9200


根据npm的elasticdump英文官网介绍可知，这里需要注意一点是，即使用multielasticdump有一个区别的地方是--direction的参数设置和--ignoreType参数设置。

  • 备份时，--direction=dump是默认值，则--input必须是ElasticSearch服务器基本位置的URL（即http://localhost:9200），并且--output必须是目录。每个匹配的索引都会创建一个数据，映射和分析器文件。

  • 还原时，要加载从multi- elasticsearch转储的文件，--direction应将其设置为load，--input必须是multielasticsearch转储的目录，并且--output必须是Elasticsearch服务器URL。

  • --match`用于过滤应转储/加载的索引（正则表达式）。

  • --ignoreType允许从转储/加载中忽略类型。支持六个选项。data,mapping,analyzer,alias,settings,template。提供了多类型支持，使用时每种类型必须用逗号分隔，并interval允许控制生成新索引的转储/装入的时间间隔。

  • --includeType允许将类型包含在转储/装载中。支持六个选项- data,mapping,analyzer,alias,settings,template。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/143665.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

钉钉统计部门个人请假次数go

钉钉统计部门个人请假次数go

前言 最近小组需要统计部门各种请假次数，写了一个方法，第一次实战中用到递归函数，简单记录一下。 效果展示 这些数据不需要返回json，这里这样是为了方便测试。可以通过这些数据完成其它的操作。 功能实现 钉钉服务端调试工具A…
阅读更多...
Java主流分布式解决方案多场景设计与实战

Java主流分布式解决方案多场景设计与实战

Java的主流分布式解决方案的设计和实战涉及到多个场景，包括但不限于以下几点： 分布式缓存：在Java的分布式系统中，缓存是非常重要的一部分。常用的分布式缓存技术包括Redis、EhCache等。这些缓存技术可以用来提高系统的性能和响应…
阅读更多...
多个Obj模型合并

多个Obj模型合并

MergeObj（合并Obj模型） 1 概述 由于项目原因，需要下载谷歌地图上的模型，关于谷歌模型下载的，见我的CSDN博客. 由于下载谷歌地图上的数据，会分多个模块下载。下载完成后，怎么合并，在…
阅读更多...
【数据结构初阶】链表OJ

【数据结构初阶】链表OJ

链表OJ 题目一：移除链表元素题目二：反转链表题目三：链表的中间节点题目四：链表中倒数第k个结点题目五：合并两个有序链表题目六：链表分割题目七：链表的回文结构题目八：相交链表题目九…
阅读更多...
Pytorch自动混合精度的计算：torch.cuda.amp.autocast

Pytorch自动混合精度的计算：torch.cuda.amp.autocast

1 autocast介绍 1.1 什么是AMP? 默认情况下，大多数深度学习框架都采用32位浮点算法进行训练。2017年，NVIDIA研究了一种用于混合精度训练的方法，该方法在训练网络时将单精度（FP32）与半精度(FP16)结合在一起&#xff…
阅读更多...
Alter database open fails with ORA-00600 kcratr_nab_less_than_odr

Alter database open fails with ORA-00600 kcratr_nab_less_than_odr

Alter database open fails with ORA-00600 kcratr_nab_less_than_odr (Doc ID 1296264.1)​编辑To Bottom APPLIES TO: Oracle Database - Enterprise Edition - Version 11.2.0.1 to 11.2.0.1 [Release 11.2] Oracle Database - Enterprise Edition - Version 12.1.0.1 to …
阅读更多...
servlet 的XML Schema从哪边获取

servlet 的XML Schema从哪边获取

servlet 6.0的规范定义： https://jakarta.ee/specifications/servlet/6.0/ 其中包含的三个XML Schema：web-app_6_0.xsd、web-common_6_0.xsd、web-fragment_6_0.xsd。但这个页面没有给出下载的链接地址。 正好我本机有Tomcat 10.1.15版本的源码&#…
阅读更多...
深入解析JavaScript中的变量作用域与声明提升

深入解析JavaScript中的变量作用域与声明提升

JS中的变量作用域 背景： ​ 之前做js逆向的时候，有一个网站很有意思，就是先出现对其赋值，但是后来的变量赋值没有对其发生修改，决定说一下js中的作用域问题. 全局作用域： ​ 全局作用域的变量可以在任何…
阅读更多...
PDF自动打印

PDF自动打印

​ 最近接到用户提过来的需求，需要一个能够自动打印图纸的功能，经过几天的研究整出来个初版了的，分享出来给大家，希望能有帮助。 需求描述: ​ 生产车间现场每天都有大量的图纸需要打印，一个一个打印太慢了&#xff0…
阅读更多...
什么是3D建模中的“高模”和“低模”？

什么是3D建模中的“高模”和“低模”？

3D建模中什么是高多边形和低多边形？ 高多边形建模和低多边形建模之间的主要区别正如其名称所暗示的那样：您是否在模型中使用大量多边形或少量多边形。 然而，在决定每个模型的细节和多边形级别时，还需要考虑其他事项。最值得注意的…
阅读更多...
一文解码语言模型：语言模型的原理、实战与评估

一文解码语言模型：语言模型的原理、实战与评估

在本文中，我们深入探讨了语言模型的内部工作机制，从基础模型到大规模的变种，并分析了各种评价指标的优缺点。文章通过代码示例、算法细节和最新研究，提供了一份全面而深入的视角，旨在帮助读者更准确地理解和评估语言模…
阅读更多...
NI USRP软件无线设备的特点

NI USRP软件无线设备的特点

NI USRP软件无线设备 NI的USRP(Universal Software Radio Peripheral)设备是RF应用中使用的软件无线(SDR)。NI的USRP收发器可以在多个频段发送和接收RF信号，因此可用于通信工程教育和研究。通过与LabVIEW开发环境相结合，USRP可以实现使用无线信号验证无…
阅读更多...
接口开放太麻烦？试试阿里云API网关吧

接口开放太麻烦？试试阿里云API网关吧

前言 我在多方合作时，系统间的交互是怎么做的？这篇文章中写过一些多方合作时接口的调用规则和例子，然而，接口开放所涉及的安全、权限、监控、流量控制等问题，可不是简简单单就可以解决的，这一般需要专业的…
阅读更多...
使用pixy计算群体遗传学统计量

使用pixy计算群体遗传学统计量

1 数据过滤 过滤参数：过滤掉次等位基因频率（minor allele frequency，MAF）低于0.05、哈达-温伯格平衡（Hardy– Weinberg equilibrium，HWE）对应的P值低于1e-10或杂合率（heterozygosit…
阅读更多...
【科研新手指南3】chatgpt辅助论文优化表达

【科研新手指南3】chatgpt辅助论文优化表达

chatgpt辅助论文优化表达 写在最前面最终版什么是好的论文整体上：逻辑/连贯性细节上一些具体的修改例子 一些建议，包括具体的提问范例1. 明确你的需求2. 提供上下文信息3. 明确问题类型4. 测试不同建议5. 请求详细解释综合提问范例： 常规技巧…
阅读更多...
Spring6（一）：入门案例

Spring6（一）：入门案例

文章目录 1. 概述1.1 Spring简介1.2 Spring 的狭义和广义1.3 Spring Framework特点1.4 Spring模块组成 2 入门2.1 构建模块2.2 程序开发2.2.1 引入依赖2.2.2 创建java类2.2.3 创建配置文件2.2.4 创建测试类测试 2.3 程序分析2.4 启用Log4j2日志框架2.4.1 引入Log4j2依赖2.4.2 加…
阅读更多...
轻量封装WebGPU渲染系统示例＜32＞- 若干线框对象(源码)

轻量封装WebGPU渲染系统示例＜32＞- 若干线框对象(源码)

当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/feature/rendering/src/voxgpu/sample/WireframeEntityTest.ts 当前示例运行效果: 此示例基于此渲染系统实现，当前示例TypeScript源码如下: export class WireframeEntityTest {private mRsc…
阅读更多...
人工智能基础_机器学习030_ElasticNet弹性网络_弹性回归的使用---人工智能工作笔记0070

人工智能基础_机器学习030_ElasticNet弹性网络_弹性回归的使用---人工智能工作笔记0070

然后我们再来看elastic-net弹性网络,之所以叫弹性是因为,他融合了L1和L2正则,可以看到 他的公式 公式中有L1正则和L2正则两个都在这个公式中 可以看到弹性网络,在很多特征互相联系的时候,非常有用,比如, 相关性,如果数学好,那么物理也好,如果语文好,那么英语也好 这种联系 正…
阅读更多...
JZ22：链表中倒数第k个结点

JZ22：链表中倒数第k个结点

JZ22：链表中倒数第k个结点 题目描述： 输入一个链表，输出该链表中倒数第k个结点。 示例1 输入： 1,{1,2,3,4,5} 返回值： {5} 分析： 快慢指针思想： 需要两个指针，快指针fast&…
阅读更多...
python 基础语法 （常常容易漏掉）

python 基础语法 （常常容易漏掉）

同一行显示多条语句 python语法中要求缩进，但是同一行可以显示多条语句 在 Python 中，可以使用分号 (;) 将多个语句放在同一行上。这样可以在一行代码中执行多个语句，但需要注意代码的可读性和维护性。 x 5; y 10; z x y; print(z) 在…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023