rsync下行同步+inotify实时同步部署

目录

一、rsync简介 

1.2  同步方式

1.2.1 全量备份

1.2.2 增量备份

1.2.3 差量备份

1.3 rsync的特点

1.4 rsync的优势与不足

1.5 rsync与cp、scp对比

1.6 rsync同类服务

二、rsync源服务器的关系

三、配置rsync源

3.1 基本思路

3.2 配置文件rsyncd.conf

3.3 独立的账号文件

3.4 启用rsync服务

四、rsync命令

五、配置源的两种表达方式

六、rsync本地复制实例

七、inotify简介

八、配置rsync下行同步

8.1 将 Master 服务器数据备份到 Slave 服务器 

8.2 server(192.68.19.7) 

九、rsync+ inotify实时同步

9.1 client (192.168.19.6)

9.2 server(192.168.19.7) 


一、rsync简介 

一款快速增量备份工具

  • Remote Sync,远程同步
  • rsync是一款开源的、快速的、多功能的、可实现全量以及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息,实现数据的备份迁移特性。
  • rsync软件支持跨平台,适用于Unix/linux/windows等多种操作系统平台。
  • rsync是一个快速和非常方便的文件复制工具。他能本地复制,远程复制,或者远程守护进程方式复制。
  • 支持本地复制,或者与其他SSH、rsync主机同步
  • 官方网站:https://rsync.samba.org/
  • 以其delta-transfer算法闻名。
  • rsync监听端口:873
  • rsync运行模式:C/S

1.2  同步方式

1.2.1 全量备份

  • 原有的数据全部传送
  • 把原来的文件和新的文件一起统一传送
  • 全量复制,效率低

1.2.2 增量备份

  • 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比,把不一样的数据通过网络传输
  • 增量复制,效率高

1.2.3 差量备份

  • 备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性 ) 。

1.3 rsync的特点

  1. 能够镜像保存整个目录树和文件系统。
  2. 能够很容易作到保持原来文件的权限、时间、软硬连接等等。
  3. 无须特殊权限便可安装。
  4. 快速:第一次同步时 rsync 会复制所有内容,但在下一次只传输修改过的文件。rsync 在传输数据的过程当中能够实行压缩及解压缩操做,所以可使用更少的带宽。
  5. 安全:可使用scp、ssh等方式来传输文件,固然也能够经过直接的socket链接。
  6. 支持匿名传输,以方便进行网站镜象。 

1.4 rsync的优势与不足

优势:

  • 与传统的cp、tar备份方式相比,rsync具备安全性高、备份迅速、支持增量备份等优势,经过rsync能够解决对实时性要求不高的数据备份需求,例如按期的备份文件服务器数据到远端服务器,对本地磁盘按期作数据镜像等。

缺点:

  • 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了不少不足,首先,rsync同步数据时,须要扫描全部文件后进行比对,进行差量传输。若是文件数量达到了百万甚至千万量级,扫描全部文件将是很是耗时的。并且正在发生变化的每每是其中不多的一部分,这是很是低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它能够经过linux守护进程的方式进行触发同步,可是两次触发动做必定会有时间差,这样就致使了服务端和客户端数据可能出现不一致,没法在应用故障时彻底的恢复数据。

1.5 rsync与cp、scp对比

  • cp命令是一种典型的将文件完整的拷贝到一个位置。而rsync是,第一次拷贝,在目标位置没有的时候,rsync是全量拷贝过去,但是第二次拷贝的时候,只会对差异项进行同步拷贝。所以如果对同一个文件进行二次备份的话,rsync速度对相较于cp而言更快。
  • cp只支持本地,而rsync支持远程
  • scp是基于cp原理,也是属于完整性的拷贝文件。假设rsync和scp拷贝的文件都是第一,目标地址都没有要同步的文件,此时,这两者的差异就在于,第一个,这个要传输的文件大不大,第二个要看在传输的过程中,用的带宽大不大。如果文件不大的情况下,scp是把数据从磁盘中的块存储提取出来,封装一下,网络传过去,scp更快,如果是更大的文件,比如说40G的,带宽只支持100M的带宽,scp想要传输,需要拆分数据,一段一段的传输。而rsync会根据一个逻辑意义上的空间,把数据划分出来,把数据先压缩在传输,所以这种方式而言,带宽校验,文件大,这个时候先压缩在传输会比较快。此时适合用rsync远程同步。

1.6 rsync同类服务

  • sync同步: 刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级快。
  • async异步: 将数据先放入缓冲区,再周期性(一般是30s)的去同步到磁盘。
  • rsync远程同步: remote synchronous

 

二、rsync源服务器的关系

  • rsync同步源
  • 指备份操作的远程服务器,也称为备份源
例:
A服务器同步B服务器的数据,B服务器就是备份源
反过来,B服务器同步A服务器的数据,那么A服务器就是备份源。
在远程同步任务中,负责发起rsync同步操作的客户机称为客户端,而负责响应来自客户端的rsync同步操作的服务器称为备份源,也称之为同步源。
  1. 在下行同步(下载)中,同步源负责提供文档的原始位置,发起端应对该位置有读取权限。
  2. 在上行同步(上传)中,同步源负责提供文档的目标位置,发起端应对该位置具有写入权限。

 

在做rsync的时候,从哪个端发起的就是(发起端),发起端到同步源就是 上行,反之就是下行 

 

三、配置rsync源

3.1 基本思路

  • 建立rsyncd.conf配置文件、独立的账号文件
  • 启用rsync的 --daemon模式

3.2 配置文件rsyncd.conf

  • 认证配置auth users、secrets file,不加则为匿名

3.3 独立的账号文件

  • 用户名:密码
  • 每行一个用户记录
  • 独立的账号数据,不依赖系统账号

3.4 启用rsync服务

  • 通过 --daemon独自提供服务,rsync --daemon
  • 执行kill $(cat /var/run/rsyncd.pid)关闭服务

四、rsync命令

命令使用语法

rsync 【选项】原始位置 目标位置

常用选项:常用的是-avz

常用选项说明
-r递归模式,对子目录以递归模式处理,包含目录及子目录中的所有文件
-l对于符号链接文件仍然复制为符号链接文件
-v ,-verbose显示同步过程的详细信息
-z在传输文件时进行压缩
-a,-archive归档模式,递归并保留对象属性,等同于-rlptgoD
-p保留文件的权限标记
-q,-quiet精简输出模式
-c,-checksum打开校验开关,强制对文件传输进行校验
-t保留文件的时间标记
-g保留文件的属组标记(仅超级用户使用)
-o保留文件的属主标记(仅超级用户使用)
-H保留硬链接文件
-A保留ACL属性信息
-D保留设备文件及其他特殊文件
- -delete删除目标位置有而原始位置没有的文件
- -checksum根据对象的校验和来决定是否跳过文件

五、配置源的两种表达方式

格式一:

用户名@主机地址::共享模块名
rsync -avz backuper@192.168.80.10::wwwroot /opt/

格式二:

rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192,168,80,10/wwwroot /opt/

六、rsync本地复制实例

以下两者区别是什么?

  • rsync -avz zzh/ /opt/:只会拷贝abc目录下面的文件,而不会拷贝abc这个目录
  • rsync -avz /zzh /opt/: 会连着目录一起拷贝到opt下

 

 

七、inotify简介

  • 可以监控文件系统的变动情况,并做出通知响应
  • 调整inotify内核参数(优化)
  • /etc/sysctl.conf(内核参数配置文件)
max_queue_events        #监控事件队列大小
max_user_instances      #最多监控实例数
max_user_watches        #每个实例最多监控文件数  
  • inotifywait:用于持续监控,实时输出结果
  • inotifywatch:用于短期监控,任务完成后再输出结果

 

选项说明
-m持续进行监控
-r递归监控所有子对象
-q简化输出信息
-e指定要监控哪些事件类型
modify修改
create创建
move移动
delete删除

八、配置rsync下行同步

环境配置

主机操作系统IP地址软件 / 安装包 / 工具
MasterCentOS7192.168.19.6rsync
ServerCentOS7192.168.19.7rsync / inotify-tools-3.14.tar.gz

8.1 将 Master 服务器数据备份到 Slave 服务器 

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#关闭防火墙及安装机制yum install -y httpd rsync
#rsync系统一般已默认安装,安装httpd是为了生成/var/www/html目录(后续会用到作为共享目录)

 

vim /etc/rsyncd.conf
#编辑rsync配置文件
uid = nobody
gid = nobody
use chroot = yes
address = 192.168.10.6
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.19.0/24
[wwwroot]        
path = /var/www/html
comment = Document Root of www.zzh.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = backuper	
secrets file = /etc/rsyncd_users.db----详解----
uid = nobody											#用户id,表示共享权限能执行的身份
gid = nobody											#组id
use chroot = yes									#开启,禁锢在源目录,表示允许在访问我备份的目录或文件的时候,使用的角色是root,同时你访问本地目录时拥有的也是root权限
address = 192.168.19.6							#监听地址
port 873											#默认端口号为873
log file = /var/log/rsyncd.log						#日志文件存放位置
pid file = /var/run/rsyncd.pid						#存放进程id的文件位置
hosts allow = 192.168.19.0/24						#允许访问的主机网段,有点类似于黑白名单
[wwwroot]        									#共享模块的名称,rsync默认调用该模块,默认我调用的路径是该模块指定的路径
path = /var/www/html								#源目录路径
comment = Document Root of www.yh.com				#
read only = yes										#是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	#同步时不再压缩的文件类型,因为同步时,-avz已经进行压缩
auth users = backuper									#授权用户,使用wwwroot模块的用户是哪个用户,多个账户以空格隔开
secrets file = /etc/rsyncd_users.db					#存放账号信息的数据文件,一行一个
----

 
vim /etc/rsyncd_users.db
backuper:123456
#编辑用户账号文件,固定格式为[名称:密码],一行一个

 

chmod 600 /etc/rsyncd_users.db
#官方要求,最好只是赋权600!rsync --daemon
#开启服务
netstat -natp | grep rsync
#检测端口号,确认服务是否成功开启

 

cd /var/www/html
#切换至共享目录下
touch a.html b.html
ls

 

8.2 server(192.68.19.7) 

systemctl stop firewalld.service 
setenforce 0yum -y install rsynccd /opt
mkdir yh
chmod 777 yh

 

 

vim /etc/server.pass
123456chmod 600 /etc/server.pass rsync -az --delete --password-file=/etc/server.pass backuper@192.168.10.29::wwwroot /opt/yhls yh

 

 

 

九、rsync+ inotify实时同步

9.1 client (192.168.19.6)

vim /etc/rsyncd.conf
read only = nokill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsyncrsync --daemon
netstat -natp | grep rsyncchmod 777 /var/www/html

 

9.2 server(192.168.19.7) 

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances 
cat /proc/sys/fs/inotify/max_user_watches 

 

vim /etc/sysctl.conf fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 128
fs.inotify.max_user_watches = 8192sysctl -p

 

yum -y install gcc gcc-c++ #放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /optcd /opt/inotify-tools-3.14/./configure
make -j4 && make install

 

 

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/haha/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/haha/ backuper@192.168.10.29::wwwroot"$INOTIFY_CMD | while read DIRECTORY EVENT FILE
doif [ $(pgrep rsync | wc -l) -le 0 ] ; then$RSYNC_CMDfi
done

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/16538.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

代码随想录算法训练营19期第2天| 滑动窗口,螺旋矩阵模拟 (二刷)

【滑动窗口:209 长度最小子数组 904.水果成篮 76.最小覆盖子串】 209长度最小子数组 sum要达到target,自己滑动窗口法ac,不断往前囊括新的一个,然后试着从头减少一个个,看sum还够不够 mycode: int minS…

HDFS Erasure coding-纠删码介绍和原理

HDFS Erasure coding-纠删码介绍和原理 三副本策略弊端Erasure Coding(EC)简介Reed- Solomon(RS)码 EC架构 三副本策略弊端 为了提供容错能力,hdfs回根据replication factor(复制因子)在不同的…

ZooKeeper 选举的过半机制防止脑裂

结论: Zookeeper采用过半选举机制,防止了脑裂。 原因: 如果有5台节点,leader联系不上了,其他4个节点由于超过半数,所以又选出了一个leader,当失联的leader恢复网络时,发现集群中已…

idea application.yml配置文件没有提示或读不到配置

1.首先确定你的resources文件夹正常且yml文件图表和下面一样 不一样的右键去设置 2.确保你已经缩进了且层级关系正常 3.如果以上都不是,先考虑删除.idea重开试试 4.以上解决不了就装以下两个插件解决

目标检测之3维合成

现在有一系列的图片,图片之间可以按照z轴方向进行排列。图片经过了目标检测,输出了一系列的检测框,现在的需求是将检测框按类别进行合成,以在3维上生成检测结果。 思路:将图片按照z轴方向排列,以z轴索引作…

微分流形2:流形上的矢量场和张量场

来了来了,切向量,切空间。流形上的所有的线性泛函的集合,注意是函数的集合。然后取流形上的某点p,它的切向量为,线性泛函到实数的映射。没错,是函数到实数的映射,是不是想到了求导。我们要逐渐熟…

java源码-List源码解析

Java中的List是一个接口&#xff0c;它定义了一组操作列表的方法。List接口的常见子类包括ArrayList、LinkedList和Vector等。 以下是Java中List接口及其常见方法的源码解析&#xff1a; 1. List接口定义 public interface List<E> extends Collection<E> { …

Django模型将模型注释同步到数据库

1、安装django-comment-migrate库 pip install django-comment-migrate 2、将库注册到settings.py文件中 INSTALLED_APPS [...django_comment_migrate, # 表注释... ] 3、加注释 3.1、给模型&#xff08;表&#xff09;加注释 在模型的class Meta中编辑 verbose_name&…

Go和Java实现适配器模式

Go和Java实现适配器模式 我们通过下面的实例来演示适配器模式的使用&#xff0c;其中&#xff0c;音频播放器设备只能播放 mp3 文件&#xff0c;通过使用一个更高级 的音频播放器来播放 vlc 和 mp4 文件。 1、适配器模式 适配器模式是作为两个不兼容的接口之间的桥梁。这种…

UML/SysML建模工具更新(2023.7)(1-5)有国产工具

DDD领域驱动设计批评文集 欢迎加入“软件方法建模师”群 《软件方法》各章合集 最近一段时间更新的工具有&#xff1a; 工具最新版本&#xff1a;Visual Paradigm 17.1 更新时间&#xff1a;2023年7月11日 工具简介 很用心的建模工具。支持编写用例规约。支持文本分析和C…

kafka怎么用代码读取数据

Kafka可以通过Java语言中的Kafka客户端库来读取数据。以下是一个简单的Java代码示例&#xff0c;通过Kafka Consumer API从Kafka集群中读取数据&#xff1a; java import java.util.Properties; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.…

TCP三次握手和四次挥手以及11种状态(二)

11种状态 1、一开始&#xff0c;建立连接之前服务器和客户端的状态都为CLOSED&#xff1b; 2、服务器创建socket后开始监听&#xff0c;变为LISTEN状态&#xff1b; 3、客户端请求建立连接&#xff0c;向服务器发送SYN报文&#xff0c;客户端的状态变味SYN_SENT&#xff1b; 4、…

数据结构---树和二叉树

这里写目录标题 树和二叉树的定义树的定义树的基本术语线性结构和树形结构的比较二叉树的定义起因定义 案例引入前缀码编码表达式的实现二叉树的抽象类型定义 二叉树的性质和存储结构二叉树的性质二叉树的特殊形式满二叉树完全二叉树 完全二叉树的两个性质二叉树的存储结构顺序…

ubuntu目录分析

在Ubuntu根目录下&#xff0c;以下是一些常见文件夹的含义&#xff1a; /bin&#xff1a;存放可执行文件&#xff0c;包含一些基本的命令和工具。 /boot&#xff1a;存放启动时所需的文件&#xff0c;如内核和引导加载程序。 /dev&#xff1a;包含设备文件&#xff0c;用于与硬…

IntelliJ IDEA 2023.2 新版本,拥抱 AI

IntelliJ IDEA 近期连续发布多个EAP版本&#xff0c;官方在对用户体验不断优化的同时&#xff0c;也新增了一些不错的功能&#xff0c;尤其是人工智能助手补充&#xff0c;AI Assistant&#xff0c;相信在后续IDEA使用中&#xff0c;会对开发者工作效率带来不错的提升。 以下是…

Ai创作系统ChatGPT源码搭建教程+附源码

系统使用Nestjs和Vue3框架技术&#xff0c;持续集成AI能力到本系统&#xff01; 更新内容&#xff1a; 同步官方图片重新生成指令 同步官方 Vary 指令 单张图片对比加强 Vary(Strong) | Vary(Subtle) 同步官方 Zoom 指令 单张图片无限缩放 Zoom out 2x | Zoom out 1.5x 新增GP…

移动IP的原理

目的 使得移动主机在各网络之间漫游时&#xff0c;仍然能保持其原来的IP地址不变 工作步骤 代理发现与注册 主机A&#xff1a;主机A移动到外地网络后&#xff0c;通过“代理发现协议”&#xff0c;与外地代理建立联系&#xff0c;并从外地代理获得一个转交地址&#xff0c;…

PTA 1076 Forwards on Weibo

个人学习记录&#xff0c;代码难免不尽人意。 Weibo is known as the Chinese version of Twitter. One user on Weibo may have many followers, and may follow many other users as well. Hence a social network is formed with followers relations. When a user makes a …

Nginx动静分离、资源压缩、负载均衡、黑白名单、防盗链等实战

一、前言 Nginx是目前负载均衡技术中的主流方案&#xff0c;几乎绝大部分项目都会使用它&#xff0c;Nginx是一个轻量级的高性能HTTP反向代理服务器&#xff0c;同时它也是一个通用类型的代理服务器&#xff0c;支持绝大部分协议&#xff0c;如TCP、UDP、SMTP、HTTPS等。 二、…

SSD市场上演大洗牌,61TB豪华「别墅」横空出世

最近几年 SSD 售价是肉眼可见的下降&#xff0c;相信大伙儿没少跟着喝汤吃肉吧。 有人将这些变化归结于全球市场过饱和&#xff0c;需求下滑。 也有人认为国产 NAND 闪存崛起是压垮 SSD 高昂售价的最后一根稻草。 在小忆看来&#xff0c;不论是需求矛盾还是国产崛起不过是其中…