linux数据备份与恢复

目录

前言

1、数据备份和恢复中的两个关键性指标

2、linux系统的定时任务

1)本地定时任务crontab

在实验测试过程中,遇到多次crontab任务不执行问题 ,总结下来主要有几个方面原因:

2)分布式定时任务系统Jenkins

3、备份存储位置的选择

1)本地

2)远程

3)离线*

4、数据备份

1)文件备份

2)数据库的备份(周期性测试备份结果的有效性)


前言

只要发生数据传输,数据存储,和数据交换,就有可能发生数据故障。,如果没有数据备份和数据恢复措施,就有可能发生数据丢失。

1、数据备份和恢复中的两个关键性指标

指标概念解释
恢复时间目标(RTO)表示业务从中断到恢复正常所需要的最短时间。通常通过建设冗余的灾备系统可以有效减少恢复所用时间,但是这种方式可能会极大增加支出成本。另外一种方法是依赖与 数据备份来进行业务恢复。这种方式在数据量较大或者是业务关联较复杂的情况喜爱,花费的恢复时间可能会比较长。
恢复点目标(RPO)表示业务系统所能承受的最大数据丢失量。

2、linux系统的定时任务

1)本地定时任务crontab

crond在下面位置来搜索定时任务

目录作用
/var/spool/cron存放每个用户包括root的定时任务,每个任务以创建者的名字命令。一般一个用户最多只有一个定时任务。
/etc/crontab这个文件负责安排由系统管理员制定的维护系统以及其他任务
/etc/cron.d这个目录用来存系统要执行的定时任务文件或者脚本
/etc/cron.hourly这个目录用来存放每个小时执行的定时任务
/etc/cron.daily这个目录用来存放每天执行的定时任务
/etc/cron.weekly这个目录用来存放每周执行的定时任务
/etc/cron.monthly这个目录用来存放每月执行的定时任务

在实验测试过程中,遇到多次crontab任务不执行问题 ,总结下来主要有几个方面原因:

1、crond服务未运行

2、环境变量PATH不完全导致命令找不到。默认情况下,Crond给与的定时任务的PATH环境变量为/usr/bin:/bin  ,所以如果定时命令或者脚本中调用的使用程序没有在这个路径下的话会无法调用到。因此,需要在定时任务脚本中把PATH环境变量做控制或者使用绝对路径。

PATH=/usr/local/sbin:/usr/local/sbin:/sbin:/bin:/usr/sbin:/usr/bin
这个PATH环境变量的值,当操作系统在执行命令时应该查找的目录路径。放在脚本中,执行命令时,操作系统会在这些路径中查找该命令的可执行文件。如果路径中没有指定命令,就会返回命令不存在的错误信息。

3、权限问题。比如,脚本没有执行权限。可能定时用户所属的用户对某个目录没有读写权限,也会失败。

另外:

定时任务的日志位于/var/log/cron。在使用定时任务执行备份作业的过程中有异常的话,参考这个日志的输出来辅助查找定位问题。

2)分布式定时任务系统Jenkins

当需要大规模使用本地定时任务crontab的情况下,上面的方法会遇到很多问题。

将JenKin作为分布式定时任务来使用是个很好的选择。

3、备份存储位置的选择

1)本地

DAS、NAS、SAN、DFS

2)远程

使用wput进行远程备份。wput是一个像wget那样的,可移植的FTP客户端命令行工具。和wget不同是,wget用于下载文件,wput用于上传文件。

#以使用ftp用户名ftpuser,密码为admin123上传本地备份文件/opt/mybackup.zip到FTP服务器192.168.81.1为例,使用的命令如下wput /opt/mybackup.zip ftp://frpuser:admin123@191.168.81.1/backup

3)离线*

离线存储备份一般由磁带和磁带机来组成。

在线备份和离线备份的区别对比

在线备份缺点离线备份优点
在线备份是基于网络提供服务的,可能会被入侵而导致备份丢失磁带备份技术成熟
在线备份存储系统底层所使用的硬盘等硬件资源会老化,进而导致故障率增加,进而不适合长期保存磁带容量大,成本低
用磁带对数据进行离线保存更加安全
磁带保存时间长(一般可以稳定存储10年以上),是长期数据归档及数据长期保存的理想介质

4、数据备份

1)文件备份

定期对重要系统文件和应用配置文件进行备份。可以使用tar来打包和压缩备份。

文件备份脚本:

#! /bin/bash
#这是一个文件备份脚本#在备份脚本中定义行的PATH环境变量,以避免出现crontab中找不到命令的情况
PATH=/usr/local/sbin:/usr/local/sbin:/sbin:/bin:/usr/sbin:/usr/binbackup_work_dir='/app/backup'
cd $backup_work_dir
#将脚本中的标准输入和标准输出错误输出到文件中,以便在文件中查看脚本的输出和错误信息
echo "------------------------------START---------------------------------"
date "+%Y-%m-%d %H:%M:%S"44444444444
#备份root用户的定时任务
crontab -l -u root > root.cron.txt 
#备份ami用户的定时任务
crontab -l -u ami > ami.cron.txt#备份当前的进程列表
ps aux > ps.txt 
dt=$(date +%Y-%m-%d)
ipaddr=$(grep IPADDR /etc/sysconfig/network-scripts/ifcfg-eth* | awk -F"=" '{ print $2 }')
filetargz="backup_${ipaddr}_${dt}.tar.gz"
tar --exclude='log/' --exclude='logs/' --exclude='log.' --exclude='.log' -czf ${filetargz} openapi.cron.txt root.cron.txt ps.txt /etc/supervisord.conf /usr/local/apache/conf /app/www/app/scripts /usr/local/sphinx/etc /usr/local/sphinx/scripts
/usr/local/bin/wput ${filetargz} ftp://backup:w3eL4tVHaM@10.128.79.40/ #使用 wput上传备份后的文件到10.128.79.40这个FTP服务器上find ${backup_work_dir} -type f -name 'backup_*.tar.gz' -mtime +30 -exec rm {} \; #删除本地30天以上的备份文件,以避免磁盘空间满的问题
echo "----------------------------END------------------------------------"



 

2)数据库的备份(周期性测试备份结果的有效性)

mysql数据备份工具描述
mysqldump

mysql自带工具,目录在bin目录下面

/usr/local/mysql/bin/mysqldump支持基于innodb的热备份,但是由于是逻辑备份,速度不是很快,适合备份比较小的场景。mysqldump+二进制日志可以实现基于焊点回复

基于LVM快照备份在物理备份中,有基于文件系统的物理备份(LNM快照)
tar包支持完全备份和增量备份,而且备份速度非常快

传送门:数据库的备份和恢复-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/833749.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何用二维码实现现代仓库管理?(附详细实现过程)

简道云团队曾参与过近300企业的仓库管理软件的部署,要想知道如何实现用二维码管理仓库,首先要对整体流程有清晰的框架! 1、产品数据的录入2、设计电子库存卡3、库存盘点单4、库存盘点报表 总结一下就是——数卡单表,四步实现&…

【Go 数据结构】树与哈希表的具体实现

树 树是一种由 n 个有限节点组成的具有层次关系的集合。 树的定义: 节点之间有层次关系,分为父节点和子节点有唯一一个的根节点,该节点没有父节点除了根节点,每个节点有且只有一个父节点每一个节点本身以及它的后代也是一棵树&…

爬虫工具you-get

you-get是一个简单易上手的爬虫小工具,可以从网络中爬取多媒体信息,包括图片、音频和视频。you-get的github项目地址为:https://github.com/soimort/you-get 一、安装 以下为相关依赖,需要分别安装: Python 3 (必须…

补一 继承的使用

继承的关键词为extends 模型为 public class 子类 extends 父类

中国热门高端dating约会交友软件有哪些?国内权威Dating App红黑排行榜推荐

在dating 软件刷了无数个男人后终于脱单啦,跟大家分享一些我的个人感受 1、二狗 颜值⭐️⭐️⭐️ 真实性 ⭐️⭐️⭐️⭐️⭐️ 用户质量⭐️⭐️⭐️⭐️ ⭕️优点:整体用户质量较高,用户集中在金融、互联网和体制内行业。用户需进行学历、…

速来get!多微信聚合聊天功能大揭秘!

随着网络时代的发展,微信成为了职场中不可或缺的沟通工具,很多人都有着多个微信号,而要想高效管理这些账号,那就少不了工具的帮忙。 通过微信管理系统,可以轻松实现多个微信号聚合聊天,提高沟通效率。 1、…

rdflib triples 匹配始终为空的问题

写代码的时候遇到了一个问题,花了好长时间解决,记录一下,避免再出问题 完整代码如下所示: # 导入用于处理文件的标准库 import os from rdflib import Graph, URIRef # 指定要创建的TTL文件的名称 filename "example.ttl&q…

详细解读自动化测试

🍅 视频学习:文末有免费的配套视频可观看 🍅 关注公众号【互联网杂货铺】,回复 1 ,免费获取软件测试全套资料,资料在手,涨薪更快 软件测试是软件开发过程中一个必不可少的环节。传统的软件测试方…

抓取Google时被屏蔽怎么办?如何避免?

在当今数字化时代,数据采集和网络爬取已成为许多企业和个人必不可少的业务活动。对于爬取搜索引擎数据,特别是Google,使用代理IP是常见的手段。然而,使用代理抓取Google并不是一件轻松的事情,有许多常见的误区可能会导…

顶顶通呼叫中心中间件电话黑名单系统介绍

黑名单 有显示成功和失败导入数,可以禁用也可以启用,如果禁用状态就是不使用这一组黑名单,多个号码核验就是验证号码存不存在。黑名单只有管理员和操作员可以配置,租户是看不到黑名单的。但是黑名单跟租户是互通的。 可以单个号码…

【智能算法应用】基于麻雀搜索算法的二维最大熵图像阈值分割

目录 1.算法原理2.数学模型3.结果展示4.参考文献5.代码获取 1.算法原理 【智能算法】麻雀搜索算法(SSA)原理及实现 2.数学模型 最大熵法是由 Kapur 于 1985 年所提出的, 该方法的阈值选取标准取决于图像中最大化分 割的目标区域和背景区域…

leetcode 1 ~ 100

文章目录 1. 两数之和(用哈希表减少查找的时间复杂度)2. 两数相加(高精度加法)3.无重复字符的最长子串:(模板:经典的滑动窗口算法)5. 最长回文子串(枚举)6. Z…

STM32F1#1(入门了解)

一、STM32开发平台和工具 1.1 STM32芯片介绍 典型微控制器由CPU(运算器、控制器)、RAM、ROM和输入输出组成。 1.2 STM32核心板 STM32核心板配件: ①JTAG/SWD仿真-下载器 ②通信-下载模块 ③OLED显示屏 1) 通信-下载模…

前端项目学习记录2:sass的使用

1.安装sass pnpm i sass2.配置vite.config.ts import { defineConfig } from vite import vue from vitejs/plugin-vue import path from "path"; //引入svg需要用到的插件 import { createSvgIconsPlugin } from vite-plugin-svg-icons export default defineConf…

spring的高阶使用技巧1——ApplicationListener注册监听器的使用

Spring中的监听器,高阶开发工作者应该都耳熟能详。在 Spring 框架中,这个接口允许开发者注册监听器来监听应用程序中发布的事件。Spring的事件处理机制提供了一种观察者模式的实现,允许应用程序组件之间进行松耦合的通信。 更详细的介绍和使…

英语笔记 1

Although the rich might look down upon the poor, it is important to remember that everyone deserves to be treated with respect.

中文文本特征提取之自动分词

关键词:在某一个类别的文章中,出现的次数很多,但是在其他类别的文章当中出现很少 from sklearn.feature_extraction.text import CountVectorizer import jiebadef chinese_text_extraction02():"""中文文本特征提取&#xf…

Python 正则表达式 (?=...) 和 (?<=...) 符号

Python 正则表达式 引言正文示例1示例2示例3示例4 引言 今天遇到了一个比较棘手的问题&#xff0c;于是终于打算要对正则表达式中的 (?...) 和 (?<...) 符号动手了。 正文 (?...) 表示当 … 匹配时&#xff0c;匹配成功&#xff0c;但不消耗字符串中的任何字符。这个…

【自用】春秋招实习笔试常见问题

数据结构常见问题 map 基本操作 储存键值对<key,pair>&#xff0c;自动按照key排序 #include<map> //新建 map<string,int> myMap; //插入 myMap[str1] 1; //查找 if(myMap.count(str1)0){cout<<"not found"<<endl;} //遍历 for (…