什么是数据同步服务RSYNC?

大家好呀!这里是码农后端。今天来介绍一下数据同步服务RSYNC,作为Linux/Unix系统中远程或本地复制同步(复制)文件和目录最常用的命令,相比于scp命令,其具有增量备份、数据同步时保持文件的原有属性等优点。

一、RSYNC概述

1、几种方式

  • sync 同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。

  • async 异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。

  • rsync 远程同步:remote  synchronous

数据同步过程

以保存文件为目标,sync数据同步会强制把缓存中的数据写入磁盘(立即保存),适合实时性要求比较高的场景。而asyn数据异步则是先将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘,适合批量数据同步的场景。

同步(Synchronous),异步(Asynchronous),远程同步(Remote Synchronous)

2、rsync特点

1)可以镜像保存整个目录树和文件系统

2)可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等

3)传输效率高,使用同步算法,只比较变化的(增量备份)

如把A服务器中的file1.txt、file2.txt、 file3.txt传输到B服务器,使用rsync实现数据同步,会先比较,假设B服务器中存在file1.txt、file2.txt,则只会同步file3.txt。

4)支持匿名传输,方便网站镜像;也可以做验证,加强安全

3、rsync与scp的区别

两者都可以实现远程同步,但rsync相对更强一些。体现如下: 

1)支持增量备份

2)数据同步时保持文件的原有属性

二、RSYNC的使用

1、基本语法

1)使用man命令查看帮助手册

man rsync

85a056f62597485d8d24b411a398ac7c.png

2)选项说明

OPTION选项说明(一般使用 -av)
-v    	详细模式输出
-a    	归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD-r    	递归拷贝目录
-l		保留软链接
-p    	保留原有权限
-t     	保留原有时间(修改)
-g    	保留属组权限
-o     	保留属主权限
-D    	等于--devices  --specials    表示支持b,c,s,p类型的文件-R	    保留相对路径
-H    	保留硬链接
-A    	保留ACL策略
-e     	指定要执行的远程shell命令,ssh更改端口常用选项
-E     	保留可执行权限
-X     	保留扩展属性信息  a属性

PUSH:推,即上传;PULL:拉,即下载

2、本地文件同步

本地文件同步可以理解为:把文件从一个位置(同步=>拷贝)到另一个位置(类似cp)

eg1:/dir1、/dir2与/dir3,/dir1中创建三个文件file1、file2、file3,使用rsync本地同步

# 创建目录
mkdir /dir1
mkdir /dir2
mkdir /dir3
# /dir1中创建三个文件file1、file2、file3
touch /dir1/file{1..3}rsync -av /dir1/ /dir2		=>   把/dir1目录中的所有文件拷贝到/dir2目录中
rsync -av /dir1 /dir3			=>   把/dir1目录整体同步到/dir3目录中

a1d246a095f1941bc689c542e6eb0e1d.png

eg2:rsync -R选项的应用(保留相对路径)

rsync -avR /dir1/ /dir2

eg3:rsync --delete(删除目标目录里多余的文件)

/dir1(file1、file2) 

/dir2(file1、file2、file3)

rsync --delete同步后,会自动删除file3文件。(让dir1与dir2目录中的文件高度一致

rsync -av --delete /dir1/ /dir2

3、rsync作为系统服务

默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsync提供了一种作为系统服务的实现方式。

Linux系统服务的思路:

对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件

1)启动rsyncd服务(CentOS6中没有,CentOS7中有这个服务)

systemctl start rsyncd

如果企业中使用到操作系统为CentOS6版本,则没有启动脚本。则需要查看帮助手册:

man rsync
rsync --help
rsync --daemon --help# CentOS6:rsync作为系统服务
# 1、先创建文件
touch /etc/rsyncd.conf
# 2、启动服务,作为后台运行
rsync --daemon# 查看服务进程
ps -ef|grep rsync
# 查看服务端口号
netstat -tunlp |grep rsync	=>  -t tcp , -u udp

注:如果rsync作为系统服务单独运行,则其底层就不需要SSH服务了

2)rsyncd服务的配置文件/etc/rsyncd.conf

man 5 rsyncd.conf

21749869ae98fed51e93b94de4680305.jpeg

三、任务解决方案(重点)

1、环境准备

用到的服务器及对应IP配置如下:

ecc8752d2c99969966bdf055a29ef961.jpeg

编号IP地址主机名称角色
110.1.1.10code.itweb.cnCode(MIS)
210.1.1.100backup.itweb.cnBackup(Backup)

1)关闭防火墙与SELinux

# 关闭防火墙
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
# 获取SELinux的状态
setenforce 0vim /etc/selinux/config
SELINUX=disabled

2)更改主机名称

hostnamectl set-hostname code.itweb.cn
hostnamectl set-hostname backup.itweb.cn
# 切换生效
su

3)更改IP地址(静态IP)

# 服务器Code
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"		=> 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"# 服务器Backup
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"		=>更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# 重启网络
systemctl restart network

关于上述一些常见的参数的说明,如下图

99beaef6cf16bcca4f2463e3b2cb1b4e.png

4)关闭NetworkManager

systemctl stop NetworkManager
systemctl disable NetworkManager

5)配置YUM源

可以使用官方默认的YUM,如有需要可自行配置。

6)时间同步

ntpdate cn.ntp.org.cn

2、远程文件同步

1)Push:上传文件到远程服务器端

rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

eg1:把linux.txt文档传输到远程服务器端(10.1.1.100)的root目录下

rsync -av linux.txt root@10.1.1.100:/root

eg2:把shop文件夹传输到远程服务器端(10.1.1.100)的root目录下

rsync -av shop root@10.1.1.100:/root

2)Pull:下载文件到本地服务器端

rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

eg1:把远程服务器(10.1.1.100)的/etc/hosts文件下载到本地

rsync -av root@10.1.1.100:/etc/hosts ./

eg2:把远程服务器(10.1.1.100)的/shop文件夹下载到本地

rsync -av root@10.1.1.100:/shop ./

扩展:

问题1:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?

rsync在远程同步时,之所以要输入密码是因为其底层还是基于SSH服务的。SSH有两种认证方式,如果没有配置免密则默认使用用户名+密码的认证方式

如果不想要密码同步,可以考虑使用SSH免密操作。

Code => Backup

Code:

# 生成公钥和私钥
ssh-keygen -t rsa -P ""
# 将公钥发送给10.1.1.100服务器
ssh-copy-id root@10.1.1.100

问题2:如果Backup服务器端更改了SSH的默认端口(如更改为10086),又该如何同步?

# 使用 -e选项
rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

3、给RSYNC服务添加密码(扩展)

Code服务器:

1)打开/etc/rsyncd.conf配置文件

vim /etc/rsyncd.conf[app]
path=/app/java_project
log file=/var/log/rsync.log
# 添加
auth users = user1,user2				=>   用户名
secrets file = /etc/rsyncd.secrets		=>   密码文件

2)在/etc目录下创建rsyncd.secrets文件

vim /etc/rsyncd.secretsuser1:123							 	=>   设置密码,用户名:密码
user2:123

3)更改密码文件权限为600

chmod 600 /etc/rsyncd.secrets

4)重启rsyncd服务

systemctl restart rsyncd

5)Backup备份服务器:

rsync -av user1@10.1.1.10::app ./
Password:123

好了,以上就是今天这篇文章的全部内容了。如果你想及时看到我的文章,只需做这几个动作:点星标、点在看(包括赞)、评论、分享,我就会经常出现在您的常读列表,后面更新都会提醒。感谢大家的关注和支持,祝大家生活美满,学业有成,事业蒸蒸日上!

最后,星标设置如下:

d3cdae46a269d0401846738c4f7a8203.png

如下即设置成功!

b69889df8f4db3f09267fa729c257af1.png

往期精彩文章推荐(点击下方蓝字即可阅读!)

往期推荐

SSH服务搭建及免密登录实现

SSH服务搭建之YUM源配置与静态IP配置

SSH基于用户名密码的认证原理

一文带你快速了解VMware的三种网络模式

什么是yum源?如何对其进行配置?

Linux有哪些常用的高级扩展命令?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/869701.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在Linux上安装和配置RocketMQ:保姆级教程

感谢您阅读本文,欢迎“一键三连”。作者定会不负众望,按时按量创作出更优质的内容。 ❤️ 1. 毕业设计专栏,毕业季咱们不慌,上千款毕业设计等你来选。 当安装RocketMQ时,确保遵循以下步骤: 步骤概述 安装 …

flask模块化、封装使用缓存cache(flask_caching)

1.安装flask_caching库 pip install flask_caching 2.创建utils Python 软件包以及cache_helper.py 2.1cache_helper.py代码 from flask_caching import Cachecache Cache()class CacheHelper:def __init__(self, app, config):cache.init_app(app, config)staticmethoddef…

基于swagger插件的方式推送接口文档至torna

目录 一、前言二、登录torna三、创建/选择空间四、创建/选择项目五、创建/选择应用六、获取应用的token七、服务推送7.1 引入maven依赖7.2 test下面按照如下方式新建文件 一、前言 Torna作为一款企业级文档管理系统,支持了很多种接口文档的推送方式。官方比较推荐的…

防火墙安全策略与用户认证综合实验

一、实验拓扑 二、实验需求 1.DMZ区内的服务器&#xff0c;办公区仅能在办公时间内<9:00-18:00>可以访问&#xff0c;生产区的设备全天可以访问 2.办公区不允许访问互联网&#xff0c;办公区和游客区允许访问互联网 3.办公区设备10.0.2.10不充许访问DMZ区的FTP服务器和HT…

【java计算机毕设】个人理财管理系统MySQL springboot html maven小组设计项目源码代码

目录 1项目功能 2项目介绍 3项目地址 1项目功能 【java计算机毕设】个人理财管理系统MySQL springboot html maven小组设计项目源码代码 2项目介绍 系统功能&#xff1a; 个人理财管理系统包括管理员、用户两种角色。 管理员功能&#xff1a; 用户信息管理&#xff08;…

ns3学习笔记(四):路由概述

基于官网文档的 Routing Overview 部分详细研究一下ns3中路由是怎么工作的 文档链接16.4. Routing overview — Model Library 一、概述 NS3整体的工作架构如下&#xff1a; 路由部分的工作架构如下&#xff1a; 路由部分目前大多数用到的算法都包含在Ipv4RoutingProtocol部分…

将格内多行文字展开成多格

表格的A列是分类&#xff0c;B列由多行文字组成&#xff0c;即分隔符是换行符。 AB1Account NumberInteraction21Jan 1,2023 - Hello.32Jan 2, 2023 - Good morning. Jan 3, 2023 - Good night. Jan 4, 20 Jan 5, 2023 - Good night. Jan 6, 2023 - Good afternoon.43Jan 1,20…

基于Java技术的网上图书商城系统

你好呀&#xff0c;我是计算机学姐码农小野&#xff01;如果有相关需求&#xff0c;可以私信联系我。 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;Java技术、SpringBoot框架 工具&#xff1a;Eclipse、Navicat、Maven 系统展示 首页 用户注册界面…

1996-2023年各省农村居民人均消费支出数据(无缺失)

1996-2023年各省农村居民人均消费支出数据&#xff08;无缺失&#xff09; 1、时间&#xff1a;1996-2023年 2、来源&#xff1a;国家统计局、统计年鉴 3、指标&#xff1a;农村居民人均消费支出 4、范围&#xff1a;31省 5、缺失情况&#xff1a;无缺失 6、指标解释&…

视频汇聚平台EasyCVR设备录像回看请求播放时间和实际时间对不上,是何原因?

安防监控EasyCVR视频汇聚平台可提供多协议&#xff08;RTSP/RTMP/国标GB28181/GAT1400/海康Ehome/大华/海康/宇视等SDK&#xff09;的设备接入、音视频采集、视频转码、处理、分发等服务&#xff0c;系统具备实时监控、云端录像、回看、告警、平台级联以及多视频流格式分发等视…

Java中的公平锁和非公平锁

1、什么是公平锁和非公平锁 公平锁和非公平锁是指在多线程环境下&#xff0c;如何对锁进行获取的顺序和策略的不同。 公平锁是指多个线程按照申请锁的顺序来获取锁&#xff0c;即先到先得的策略。当一个线程释放锁之后&#xff0c;等待时间最长的线程将获得锁。公平锁的优点是保…

Redis主从部署

文章目录 Redis主从部署1.下载安装Redis2.单点双副本主从配置1.修改配置信息2.修改配置文件redis.conf3.拷贝配置文件到每一个实例文件夹里4.修改每一个实例的端口和工作目录5.配置主从关系6.检查效果 3.哨兵模式监控主从1.创建实例目录2.复制配置文件并进行修改3.启动并测试 4…

微信定时推送LeetCode每日一题,再也不怕没人喊你刷题了

前段时间发过一篇关于微信机器人开发的文章&#xff0c;讲述了如何快速开发一个微信机器人&#xff0c;本篇文章就来实现一个最近开发的一个功能案例&#xff0c;在这个案例中会遇到了各种问题&#xff0c;可以帮助大家减少自己去踩坑的时间。通过此案例也可以帮助你去扩想一些…

Profibus_DP转ModbusTCP网关模块连马保与上位机通讯

Profibus转ModbusTCP网关模块&#xff08;XD-ETHPB20&#xff09;广泛应用于工业自动化领域。例如&#xff0c;可以将Profibus网络中的传感器数据转换为ModbusTCP协议&#xff0c;实现数据的实时监控和远程控制。本文介绍了如何利用Profibus转ModbusTCP网关&#xff08;XD-ETHP…

【AMBA】AHB总线中的HTRANS、HSIZE、HBURST以及1K边界问题

HTRANS、HSIZE和HBURST共同决定下一次数据传输的地址。 HTRANS[1:0]定义传输类型 HTRANS[1:0]主机传输状态描述00IDLE空闲表示没有进行数据传输&#xff0c;默认状态。主设备虽然可能已经占用了总线&#xff0c;但是还没有开始传输数据。从设备需要返回OKAY响应01BUSY忙主设备…

前端面试39(关于git)

针对前端开发者的Git面试题可以覆盖Git的基础概念、常用命令、工作流程、团队协作、以及解决冲突等方面。以下是一些具体的Git面试 Git基础知识 什么是Git&#xff1f; Git是一个分布式版本控制系统&#xff0c;用于跟踪计算机文件的更改&#xff0c;并协调多个人共同在一个项…

基于视觉的具身导航

基于视觉的具身导航 背景 什么是&#xff08;视觉的&#xff1f;&#xff09;具身导航 输入机器人观测的当前图像 o t o_t ot​和目标图像 o G o_G oG​&#xff0c;输出当前时间步的控制动作 u t u_t ut​&#xff0c;最终到达指定地点的算法流程。 通用的评价指标 性能指…

Git常见命令和用法

Git 文件状态 Git 文件 2 种状态: 未跟踪:新文件&#xff0c;从未被 Git 管理过已跟踪:Git 已经知道和管理的文件 常用命令 命令作用注意git -v查看 git 版本git init初始化 git 仓库初始化之后有工作区、暂存区(本地库)、版本库git add 文件标识暂存某个文件文件标识以终…

人工智能建立在对象存储上的真正原因

tl;dr: 在这篇文章中&#xff0c;我们将探讨 AI 工作负载依赖高性能对象存储的四个技术原因。 1. 对非结构化数据没有限制 在当前的机器学习范式中&#xff0c;性能和能力与计算成比例&#xff0c;计算实际上是数据集大小和模型大小的代理&#xff08;神经语言模型的缩放定律&a…

C#开发:下载node.js指定版本

一、打开官网 二、找到指定版本 三、选择程序包msi下载 四、验证下载是否成功 cmd输入&#xff1a; node -v npm -v