elasticsearch系列五：集群的备份与恢复

概述

      前几篇咱们讲了es的语法、存储的优化、常规运维等等，今天咱们看下如何备份数据和恢复数据。

   

      在传统的关系型数据库中我们有多种备份方式，常见有热备、冷备、全量+定时增量备份、通过开发程序备份等等，其实在es中是一样的。

      官方建议采用snapshot方式进行备份与恢复（它是有点冷备的意思，采用直接物理copy的方式，适合大数据量情况下），民间开源的有elasticsearch-dump方式进行备份但是这种方式只适用于小数据量的情况下，它是基于scroll语法进行的备份操作。

        咱们今天就一起看下如何操作snapshot。es支持把快照保存到远端s3、hdfs、azure、gcs、本地磁盘，前4中需用安装插件和第三方能力，而本地磁盘的方式呢相对来说成本较小，我们今天就以本地磁盘的方式作为案例带大家看下。

单节点案例

         首先我们看下单节点的情况下，我们首先需要在配置文件中配置好本地磁盘：

path.repo:["/opt/elasticsearch-cluster/snapshot_repo"]

     可以配置多个仓库，如果刚开始没有配置这个需要配置后重启es，通过http方式来注册一个仓库:

PUT http://192.168.11.14:9200/_snapshot/testbackup{    "type": "fs",     "settings": {        "location": "/opt/elasticsearch-cluster/snapshot_repo/my_backup"     }}

        注册成功以后咱们需要验证下是否可以正常访问该仓库：

POST http://192.168.11.14:9200/_snapshot/testback/_verify{  "nodes" : {    "mDRki1qVRBGnJiGEHUNlpg" : {      "name" : "node-1"    }  }}

       节点可以正常读写当前仓库，只有这个时候才可以执行备份操作，那么咱们现在执行下全库备份：​​​​​​​

PUT http://192.168.11.14:9200/_snapshot/testback/snapshot_2{  "accepted" : true}

       

        如果数据量很小这个直接就是秒级的，如果数据量达到一定程度即便是物理copy也是需要很长一定时间的，那么这个时候就可以查看当前备份的任务状态：​​​​​​​

GET http://192.168.11.14:9200/_snapshot/testback/snapshot_2/_status{  "snapshots" : [    {      "snapshot" : "snapshot_2",      "repository" : "testback",      "uuid" : "O7YoR7dSQKueRff3jI4yow",      "state" : "SUCCESS",      "include_global_state" : true,      "shards_stats" : {        "initializing" : 0,        "started" : 0,        "finalizing" : 0,        "done" : 54,        "failed" : 0,        "total" : 54      },      "stats" : {          ，，，，       },      "indices" : {          ，，，，，   # 备份的索引信息      }    }  ]}

          

        备份好了以后我们看下如何进行恢复，有些系统级的索引是没必要恢复的，此时我们就可以仅仅恢复业务索引：​​​​​​​

POST  http://192.168.11.14:9200/_snapshot/testback/snapshot_2/_restore{  "indices": "log-server-*", #通过通配字符可以恢复批量索引  "ignore_unavailable": true,  "include_global_state": false}

          单节点的基本操作就说完了，咱们看下集群中的恢复案例应该如何搞，有没有什么不一样的地方。

集群案例

           咱们以2个节点的集群作为案例，那么我们需要考虑一个事情，仓库配置的话是需要每个节点都配置么？备份的时候是每个节点下的仓库都有一部分数据么？恢复的时候怎么读取所有节点上的快照数据呢？

           假设只需要在master节点上配置仓库即可，咱们启动后注册一个仓库看下结果：​​​​​​​

PUT http://192.168.11.14:9200/_snapshot/my_backup
{"type": "fs", "settings": {"location": "/opt/elasticsearch-cluster/snapshot_repo/my_backup" }
}{"error" : {"root_cause" : [{"type" : "repository_verification_exception","reason" : "[my_backup] [[NI3uZdOPSBCybjAZVFd2Lg, 'RemoteTransportException[[node-2][192.168.11.14:9300][internal:admin/repository/verify]]; nested: RepositoryMissingException[[my_backup] missing];']]"}],"type" : "repository_verification_exception","reason" : "[my_backup] [[NI3uZdOPSBCybjAZVFd2Lg, 'RemoteTransportException[[node-2][192.168.11.14:9300][internal:admin/repository/verify]]; nested: RepositoryMissingException[[my_backup] missing];']]"},"status" : 500
}

          我们可以看到直接报错了，提示和node-2上的仓库访问出现异常，那么我们把另外一个节点也配置上仓库再看下效果：​​​​​​​

PUT http://192.168.11.14:9200/_snapshot/my_backup
{"type": "fs", "settings": {"location": "/opt/elasticsearch-cluster/snapshot_repo/my_backup" }
}{"error" : {"root_cause" : [{"type" : "repository_verification_exception","reason" : "[my_backup] [[NI3uZdOPSBCybjAZVFd2Lg, 'RemoteTransportException[[node-2][192.168.11.14:9300][internal:admin/repository/verify]]; nested: RepositoryVerificationException[[my_backup] a file written by master to the store [/opt/elasticsearch-cluster/snapshot_repo/my_backup"] cannot be accessed on the node [{node-2}{NI3uZdOPSBCybjAZVFd2Lg}{hmw7r2S0S7GB7y3vWvLHzQ}{192.168.114.14}{192.168.114.14:9300}{cdhilmrstw}{ml.machine_memory=33382490112, xpack.installed=true, transform.node=true, ml.max_open_jobs=20}]. This might indicate that the store [/home/app/es/backup] is not shared between this node and the master node or that permissions on the store don't allow reading files written by the master node]; nested: NoSuchFileException[/home/app/es/backup/tests-8N681uUdQeiPuaxhj8tNag/master.dat];']]"}],"type" : "repository_verification_exception","reason" : "[my_backup] [[NI3uZdOPSBCybjAZVFd2Lg, 'RemoteTransportException[[node-2][192.168.14.14:9300][internal:admin/repository/verify]]; nested: RepositoryVerificationException[[my_backup] a file written by master to the store [/opt/elasticsearch-cluster/snapshot_repo/my_backup"] cannot be accessed on the node [{node-2}{NI3uZdOPSBCybjAZVFd2Lg}{hmw7r2S0S7GB7y3vWvLHzQ}{192.168.114.14}{192.168.114.14:9300}{cdhilmrstw}{ml.machine_memory=33382490112, xpack.installed=true, transform.node=true, ml.max_open_jobs=20}]. This might indicate that the store [/home/app/es/backup] is not shared between this node and the master node or that permissions on the store don't allow reading files written by the master node]; nested: NoSuchFileException[/home/app/es/backup/tests-8N681uUdQeiPuaxhj8tNag/master.dat];']]"},"status" : 500
}

         可以看到此时错误又变了，提示无法读取主节点上的仓库，这是因为啊2个节点之间的仓库没有做共享，这个时候我们只需要把所有节点的备份仓库做nas共享即可，至于恢复的时候和单节点是一样的，

总结

       至此我们的恢复与备份就说完了，除了以上的问题大家还需要关注下各个版本之间的数据差异，是否可以跨版本恢复，es的版本更新速度还是很快的，所以大家一定要关注下，以下是官方给的一个版本限制：

图片

Elasticsearch系列经典文章

  • elasticsearch列一：索引模板的使用

  • elasticsearch系列二：引入索引模板后发现数据达到一定量还是慢怎么办？

  • elasticsearch系列三：常用查询语法

  • Elasticsearch 底层存储原理解密

  • Elasticsearch优化建议

  • 干货 | Elasticsearch 8.X 节点角色划分深入详解

图片

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/588553.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

easyrecovery软件2024免费版电脑文件数据恢复工具

easyrecovery软件2024免费版电脑文件数据恢复工具

easyrecovery怎么恢复文件?大家可以参考下文easyrecovery恢复文件步骤来操作，easyrecovery是一款很强大的数据恢复软件，那么我们该如何使用这款软件呢?一起来了解吧！ 一：EasyRecovery Professional 是一款非常不错的数据恢复软件…
阅读更多...
【链表OJ—链表的回文结构】

【链表OJ—链表的回文结构】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：…
阅读更多...
前端基础：Vue搞笑白话文(工作之余瞎写)

前端基础：Vue搞笑白话文(工作之余瞎写)

1、data:{}与data(){return{}}这两个是个什么鬼？ vue实例 new Vue({el:#app,data:{name:李四}}) 组件实例 const aaa Vue.extent({data(){return {name:}} }) 为什么Vue实例可以那么写而组件实例就不行了？原因就是因为在底层原理上，组件…
阅读更多...
k8s集群通过helm部署skywalking

k8s集群通过helm部署skywalking

1、安装helm 下载脚本安装 ~# curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 ~# chmod 700 get_helm.sh ~# ./get_helm.sh或者下载包进行安装 ~# wget https://get.helm.sh/helm-canary-linux-amd64.tar.gz ~# mv helm …
阅读更多...
python使用openpyxl为excel模版填充数据，生成多个Sheet页面

python使用openpyxl为excel模版填充数据，生成多个Sheet页面

目标：希望根据一个给定的excel模版，生成多个Sheet页面，比如模版： 示例程序 import openpyxlexcel_workbook openpyxl.load_workbook("模版.xlsx") for _i in range(3): # 比如填充3个页面# 复制模版sheet页&#x…
阅读更多...
基于NXP I.MX8 + Codesys的工业软PLC解决方案

基于NXP I.MX8 + Codesys的工业软PLC解决方案

全新i.MX 8M Plus是一个混合人工智能SoC，将先进的嵌入式SoC与最新的人工智能/机器学习硬件NPU技术相结合，通过神经网络加速器，为边缘计算提供强大的机器学习能力，是i.MX 8M Plus一个最为突出的优势。WEC-IMX8P核心板特别适合在机器…
阅读更多...
SpringBoot+拦截器(Interceptor)

SpringBoot+拦截器(Interceptor)

记录一下SpringBoot的拦截器(Interceptor)使用 拦截器(Interceptor)是AOP面向切面编程的思想来实现的，对于只写代码的来说，具体如何实现不需要多关心，只需要关心如何去使用，会用在那些地方。 当http请求进入Springboot应用程序后…
阅读更多...
GBASE南大通用-一文读懂如何用Zabbix监控GBase 8c

GBASE南大通用-一文读懂如何用Zabbix监控GBase 8c

南大通用GBase 8c是基于openGauss3.0构建的一款多模多态的分布式数据库，支持行存、列存、内存等多种存储模式和单机、主备式、分布式等多种部署形态，具备多模多态、极高性能、极高可用、极致弹性、极致安全等特性，为金融、政务、互联网等行业…
阅读更多...
CGAL的主成分分析

CGAL的主成分分析

此软件包提供了分析二维和三维对象集的功能。它提供了所有有界对象的轴对齐边界框、质心和主成分分析的计算，以及加权点集的重心。请注意，与大多数CGAL软件包不同，该软件包使用近似方法（特别是线性最小二乘拟合）&#…
阅读更多...
数据采集遇到验证码校验的一般破解方式简述

数据采集遇到验证码校验的一般破解方式简述

背景 百度自动采集是一种高效的数据采集方法，但是在采集过程中经常会遇到图片验证码的问题，从而导致采集失败。那么有没有什么方法可以绕过图片验证呢？本文将为您详细介绍。 解决方案 一、使用OCR技术识别验证码 OCR技术可以识别图片中的…
阅读更多...
vue实现滑动切换：切换选项时滑块有滑动过渡的效果

vue实现滑动切换：切换选项时滑块有滑动过渡的效果

效果图 思路： 1. 高亮的色块是独立的一个盒子，需要插入当前激活的内容用来撑开色块盒子的宽度，这样色块的宽度就会和当前激活的内容宽度一致，色块的字体颜色设置透明即可 2. 色块滑动的距离是读当前激活元素的offsetLeft&#x…
阅读更多...
文献阅读：LoRA: Low-Rank Adaptation of Large Language Models

文献阅读：LoRA: Low-Rank Adaptation of Large Language Models

文献阅读：LoRA: Low-Rank Adaptation of Large Language Models 1. 文章简介2. 方法介绍3. 实验 & 结论 1. 基础实验 1. Bert系列模型2. GPT系列模型 2. 消解实验 1. 作用矩阵考察2. 中间维度考察3. 扰动程度分析 4. 总结 & 思考 文献链接：htt…
阅读更多...
SLAM学习入门--机器学习

SLAM学习入门--机器学习

文章目录 机器学习逻辑回归（LR）基本原理为什么 LR 要使用 sigmoid 函数？LR 可以用核函数么？为什么 LR 用交叉熵损失而不是平方损失？LR 能否解决非线性分类问题？LR为什么要离散特征？逻辑回归是处…
阅读更多...
Linux文件系统结构及相关命令2 什么是Shell? help cd cd的用法 ls 的用法

Linux文件系统结构及相关命令2 什么是Shell? help cd cd的用法 ls 的用法

Shell 是一种用于与操作系统进行交互的命令行解释器。它是用户与操作系统内核之间的接口，接受用户的命令并将其传递给操作系统进行执行。 在大多数的 Unix-like 操作系统（如 Linux 和 macOS）以及类 Unix 系统中，Shell 是默认的命…
阅读更多...
如何开发一个google插件(二)

如何开发一个google插件(二)

前言 在上一篇文章如何开发一个google插件(一)里主要介绍了google插件的基本结构。 在这篇文章中主要结合reactwebpack进行一个代码演示，源码地址：源码地址 下载源码后打开浏览器的扩展程序管理->加载已解压的扩展程序，即可调试插件 此…
阅读更多...
在线客服选择要点分析：如何挑选适合您需求的客服解决方案

在线客服选择要点分析：如何挑选适合您需求的客服解决方案

选择一款好的在线客服系统，可以帮助企业多渠道的触达客户，与客户进行高效的沟通，最终达成转化的目的。 市面上现在成熟的客服系统产品有很多，企业在进行选择时要考虑以下几点： 1、企业需求 市场上的客服系统产品主要…
阅读更多...
ArkTS - 组件生命周期

ArkTS - 组件生命周期

一、先说下自定义组件 在arkTs中，自定义组件分为两种（我的总结）： 一种是：根组件，就是被装饰器Entry装饰的入口组件，这也是自定义组件(父组件)。 另一种是：没有被Entry装饰的自定义…
阅读更多...
分布式存储考点梳理 + 高频面试题

分布式存储考点梳理 + 高频面试题

欢迎来到分布式存储模环节，本文我将和你一起梳理面试中分布式系统的数据库的高频考点，做到温故知新。 面试中如何考察分布式存储 广义的分布式存储根据不同的应用领域，划分为以下的类别： 分布式协同系统 分布式文件系统 分布式…
阅读更多...
Xline command 去重机制（一）—— RIFL 介绍

Xline command 去重机制（一）—— RIFL 介绍

为什么要对 command 去重？ 在一个接收外部 command 的系统中，通常一个 command 至少要执行一次，我们称其为 at-least-once semantics。如果一个 command 执行失败，系统内部经常会实现一套重试结构来尝试恢复这个问题，…
阅读更多...
HTML 基础

HTML 基础

文章目录 01-标签语法标签结构 03-HTML骨架04-标签的关系05-注释06-标题标签07-段落标签08-换行和水平线09-文本格式化标签10-图像标签图像属性 11-路径相对路径绝对路径 12-超链接标签13-音频14-视频 01-标签语法 HTML 超文本标记语言——HyperText Markup Language。 超文本…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023