Curl 命令方式对elasticsearch备份和恢复

https://blog.csdn.net/qq_34777982/article/details/131340478

之前也写过使用API请求的方式对ES数据进行快照方式备份,这里主要对之前的内容进行完善和补充。

版本兼容性
快照包含构成索引的磁盘上数据结构的副本。这意味着快照只能还原为可以读取索引的 Elasticsearch 版本:

在5.x中创建的索引快照可以还原为6.x。
在2.x中创建的索引快照可以还原为5.x。
在1.x中创建的索引快照可以还原为2.x。
相反,在1.x中创建的索引的快照不能还原为5.x或6.x,在2.x中创建的索引的快照不能还原为6.x。

每个快照可以包含在不同版本的 Elasticsearch 中创建的索引,并且在还原快照时,必须能够将所有索引还原到目标集群中。如果快照中的任何索引是在不兼容的版本中创建的,则无法还原快照。

重要的:在升级前备份数据时,请记住,如果快照包含在与升级版本不兼容的版本中创建的索引,升级后将无法还原快照。
如果在需要还原与当前运行的群集版本不兼容的索引快照的情况下结束,可以在最新的兼容版本上还原该快照,并使用「reindex-from-remote」在当前版本上重建索引。只有在原始索引启用了source时,才能从远程重新索引。检索和重新索引数据可能比简单地还原快照要花费更长的时间。如果你有大量的数据,我们建议你在继续之前使用数据子集测试远程进程的reindex,以了解时间要求。

Elasticsearch 保证高可用性的方式
Elasticsearch 保证集群高可用的方式包含但不限于如下三种:

方式一:

        副本分片。主分片失效后,副本分片会被提升为主分片。

方式二:

       跨集群复制主从同步。简称:CCR,指的是索引数据从一个 Elasticsearch 集群复制到另一个 Elasticsearch 集群。对于主集群的索引数据的任何修改都会直接复制同步到从索引集群。

方式三:

      快照。快照在给定时刻对集群或者索引按了暂停键且拍摄了当时的全部“照片”。这样,当在之后的某个时间点,倘若集群或索引出现故障,可以基于之前的快照进行快速恢复。

Elasticsearch 7.x 之前版本备份
参考:Curl 命令方式对elasticsearch备份和恢复—— 筑梦之路_筑梦之路的博客-CSDN博客

Elasticsearch 7.x 之前版本备份方式及存在问题
7.x之前的版本快照都是手动创建、手动控制的,不支持定时快照、定时删除历史快照等功能。

实际业务中,如何定时创建快照、定时删除时间比较久的历史快照呢?

关于快照的定时管理功能在 Elasticsearch 7.x+ 版本已经实现。7.4已经支持单个索引快照SLM定时快照管理,7.6+已经支持多个索引快照SLM定时并行管理备份。

借助什么实现的呢?快照生命周期管理 (SLM) !

快照生命周期管理 (SLM) 是定期备份集群的最简单方法。SLM 策略会按照预设计划自动拍摄快照。该策略还可以根据用户自定义的保留规则(retention)删除快照。

  1. 配置ES快照仓库路径

配置快照仓库

cat elasticsearch.yml

path.repo: [“/usr/share/elasticsearch/data/snapshot_backup”]
2. 注册快照仓库
PUT _snapshot/snapshot_backup

{
“type”: “fs”,
“settings”: {
“location”: “/usr/share/elasticsearch/data/snapshot_backup”
}
}
3. 配置定时快照任务
PUT _slm/policy/daily_snapshots

{
“schedule”: “0 0/15 * * * ?”, # 定时任务 0/15 代表每15分钟创建一次快照
“name”: “<test-snap-{now/d}>”, # 快照的名称格式
“repository”: “snapshot_backup”, # 备份的repository
“config”: {
“indices”: “*”, # 备份的索引
“include_global_state”: true # 设置为true(默认为true),则创建的快照包括集群状态以及 feature 状态
},
“retention”: {
“expire_after”: “30d”, # 快照存储的天数
“min_count”: 5, # 最少存多少快照
“max_count”: 50 # 最多存多少快照
}
}

  1. 手动执行快照任务
    POST _slm/policy/daily_snapshots/_execute
    retention定时任务

PUT _cluster/settings
{
“persistent” : {
“slm.retention_schedule” : “0 30 1 * * ?”
}
}
retention立即执行

POST _slm/_execute_retention
5. 快照恢复
查看指定仓库下的快照

GET _snapshot/snapshot_backup/*?verbose=false
注意:原恢复索引若存在是不可以的,需要提前删除后再恢复。

示例如下:

DELETE .kibana-event-log-8.1.3-000001

POST _snapshot/mytx_backup/test-snap-2022.05.04-13d-_6dore-kc1x0-fdaiq/_restore
{
“indices”: “.kibana-event-log-8.1.3-000001”
}
6. SLM快照生命周期管理常用命令

检查当前正在运行的快照

GET _snapshot/mytx_backup/_current

检查当前正在运行快照的详细信息

GET _snapshot/_status

查看全量SML poclicy执行历史

GET _slm/stats

“snapshots_taken” : 67 是执行快照的次数

查看特定SLM policy执行历史

GET _slm/policy/test-snapshots

参数说明:

last_success 代表上一次执行成功快照的名称;。

start_time 快照执行时间:2022-05-05 14:29:59。

next_execution_millis 下一次快照执行时间:2022-05-05 14:45:00。

snapshots_taken - snapshots_deleted 之差和retention 里规定的 50 个是基本一致的。

删除快照

DELETE _snapshot/mytx_backup/test-snap-2022.05.05-uhbwjyj8qwwhdxqvcgejbq

停止快照

POST _slm/stop

Stop snapshot lifecycle management API | Elasticsearch Guide [8.8] | Elastic

Elasticsearch 6.6 官方文档 之「快照和还原」_path.repo_CG国斌的博客-CSDN博客

Elasticsearch 7.4错误地报告快照已在运行 - 问答 - 腾讯云开发者社区-腾讯云
————————————————
版权声明:本文为CSDN博主「筑梦之路」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_34777982/article/details/131340478

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/181665.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

去北京医院预约,需要医保卡号,但是社保卡不在身边,北京的医保卡号咋网上查询

目录 1 问题2 查询 1 问题 要去北京某一个医院预约挂号&#xff0c;预约的时候选择的医保&#xff0c;需要写医保卡号&#xff0c;但是自己的社保卡不在身边&#xff0c;怎么办 记住&#xff0c;医保卡号不是社保卡号&#xff0c;是不一样的 北京医保卡号是12位 2 查询 登陆这…

Vue3 学习笔记,快速初始化 Vue 项目及 Data 函数用法学习

快速初始化Vue项目 在学习之前&#xff0c;我们先通过引入JS文件的方式快速初始化一个 Vue 项目&#xff0c;首先我们先打开 VsCode 编辑器&#xff0c;具体步骤如下&#xff1a; 新建一个文件夹。新建index.html、style.css 和 index.js 文件。新建个lib目录&#xff0c;把下…

LeetCode2514.统计同位异构字符串数目

题目简单&#xff0c;关键是灵茶山艾府的代码写起来太优美&#xff0c;不得不记录一下 const int Mod 1e97; using ll long long; ll qmi(ll a,ll b,ll mod){ll res 1;while(b){if(b&1)res res*a%mod;aa*a%mod;b>>1;}return res; }class Solution { public:int c…

软考真的很难吗?选什么科目容易过?

在备考前&#xff0c;小伙伴们都十分担心试题太难导致自己辛苦备考大半年最后却通不过。软考试题真的很难吗&#xff1f;选什么科目比较容易过呢&#xff1f; 软考试题会很难吗&#xff1f; 软考试题确实是有一定的难度&#xff0c;特别是中级和高级部分科目&#xff0c;因为…

C语言——J /字符函数和字符串函数

前言&#xff1a;在编程的过程中&#xff0c;我们经常要处理字符和字符串&#xff0c;为了⽅便操作字符和字符串&#xff0c;C语⾔标准库中提供了⼀系列库函数&#xff0c;接下来我们就学习⼀下这些函数。 一、字符分类函数 C语⾔中有⼀系列的函数是专⻔做字符分类的&#xff…

2024北京健康展,第11届中国国际大健康产业博览会4月举办

China-DJK北京健博会/打造2024年度全国首场大健康产业发展盛会&#xff1b; 2024第11届中国&#xff08;北京&#xff09;国际大健康产业博览会&#xff08;China-DJK北京健博会&#xff09; The 11th China (Beijing) International Health Industry Expo in 2024 时间&…

XMind思维导图:掌握思维之翼,激发无限创造力

在当今快速发展的信息时代&#xff0c;高效地表达和梳理思维显得尤为重要。在这个背景下&#xff0c;XMind作为一款思维导图软件&#xff0c;以其独特的优势脱颖而出。它不仅在Mac和Windows平台上均可使用&#xff0c;还以其人性化的设计和强大的功能&#xff0c;成为了思维导图…

2023亚马逊云科技re:Invent,在开发者板块探究如何利用技术重塑业务

美国当地时间11月27日&#xff0c;一年一度的亚马逊云科技re:Invent大会在美国拉斯维加斯盛大开幕。这场全球云计算领域的前沿盛会&#xff0c;已连续12年成为引领行业的风向标。那么本次2023亚马逊云科技re:Invent大会又有哪些可玩、可看的新项目&#xff0c;下面就一起来瞧一…

【AIGC】关于Prompt你必须知道的特性

代码和数据:https://github.com/tonyzhaozh/few-shot-learning 一、实践验证的大模型的特性 1. 大模型的偏差 示例&#xff1a;&#xff08;文本的情感分析&#xff1a;一句话->P(积极&#xff09;或者N&#xff08;消极) Input: I hate this movie. Sentiment: Negativ…

查看mysql 或SQL server 的连接数,mysql超时、最大连接数配置

1、mysql 的连接数 1.1、最大可连接数 show variables like max_connections; 1.2、运行中连接数 show status like Threads_connected; 1.3、配置最大连接数&#xff0c; mysql版本不同可配置的最大连接数不同&#xff0c;mysql8.0的版本默认151个连接数&#xff0c;…

java ssh 二手车交易管理系统eclipse开发mysql数据库MVC模式java编程网页设计

一、源码特点 JSP ssh 二手车交易管理系统是一套完善的web设计系统&#xff08;系统采用ssh框架进行设计开发&#xff09;&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用 B/S模式开发。开发环境为TOMCAT…

“2024年国考公共科目”趣谈

黄金的熔点仅为1064.43C&#xff0c;不锈钢、耐高温钢所需的冶炼温度也仅需2000℃以上&#xff0c;因此与正在进行中的“2024年国考公共科目笔试”的“报名人数首破300万&#xff0c;平均约77人竞争一岗位”相比&#xff0c;炼金炼钢温度全都败落下风。 网络图片 其中宁夏的一…

hugegraph-server安装部署(docker)

1、安装docker不说了&#xff0c;可以直接看我文章一键安装docker https://blog.csdn.net/qq_41060647/article/details/131568289?spm1001.2014.3001.5502 2、一个docker-compose文件解决。 如果不使用mysql&#xff0c;可以将docker-compose.yml文件中的mysql配置修改为其他…

CDC with Async FIFO

https://zipcpu.com/blog/2018/07/06/afifo.html

浏览器插api开发文档

chrome谷歌浏览器开发文档

数据结构与算法之美学习笔记:28 | 堆和堆排序:为什么说堆排序没有快速排序快?

目录 前言如何理解“堆”&#xff1f;如何实现一个堆&#xff1f;1. 往堆中插入一个元素2. 删除堆顶元素 如何基于堆实现排序&#xff1f;1. 建堆2. 排序 解答开篇内容小结 前言 本节课程思维导图&#xff1a; 我们今天讲另外一种特殊的树&#xff0c;“堆”&#xff08;Heap&…

figma 基础使用——准备阶段

1. 注册账号 2. figma有客户端也有网页端&#xff0c;使用注意同步字体 之后点击下载window installeer 字体 3. 安装 Figma汉化包 通过figma.cool 网站&#xff0c;下载离线的汉化包 之后通过谷歌的扩展程序添加

从零构建属于自己的GPT系列2:预训练中文模型加载、中文语言模型训练、逐行代码解读

&#x1f6a9;&#x1f6a9;&#x1f6a9;Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1&#xff1a;文本数据预处理 从零构建属于自己的GPT系列2&#xff1a;语…

45.113.200.1搜索引擎蜘蛛抓取不到网站内容页面可能的原因

以下是搜索引擎蜘蛛抓取不到网站内容页面的一些主要原因总结&#xff1a; 网站的 robots.txt 文件中禁止了搜索引擎蜘蛛访问网站某些页面或目录&#xff0c;导致搜索引擎无法抓取到相关页面的内容。 网站的页面存在重定向或者跳转&#xff0c;搜索引擎蜘蛛无法直接抓取到需要的…

一些前辈优秀项目和学习笔记

***框架&#xff08;XXL-JOB是一个分布式任务调度平台&#xff0c;其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线&#xff0c;开箱即用&#xff09;https://gitee.com/xuxueli0323/xxl-job.git ***XXL-JOB分布式任务调度平台功…