大家好呀!这里是码农后端。今天来介绍一下数据同步服务RSYNC,作为Linux/Unix系统中远程或本地复制同步(复制)文件和目录最常用的命令,相比于scp命令,其具有增量备份、数据同步时保持文件的原有属性等优点。
一、RSYNC概述
1、几种方式
sync 同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。
async 异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。
rsync 远程同步:remote synchronous
数据同步过程
以保存文件为目标,sync数据同步会强制把缓存中的数据写入磁盘(立即保存),适合实时性要求比较高的场景。而asyn数据异步则是先将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘,适合批量数据同步的场景。
同步(Synchronous),异步(Asynchronous),远程同步(Remote Synchronous)
2、rsync特点
1)可以镜像保存整个目录树和文件系统
2)可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等
3)传输效率高,使用同步算法,只比较变化的(增量备份)
如把A服务器中的file1.txt、file2.txt、 file3.txt传输到B服务器,使用rsync实现数据同步,会先比较,假设B服务器中存在file1.txt、file2.txt,则只会同步file3.txt。
4)支持匿名传输,方便网站镜像;也可以做验证,加强安全
3、rsync与scp的区别
两者都可以实现远程同步,但rsync相对更强一些。体现如下:
1)支持增量备份
2)数据同步时保持文件的原有属性
二、RSYNC的使用
1、基本语法
1)使用man命令查看帮助手册
man rsync
2)选项说明
OPTION选项说明(一般使用 -av)
-v 详细模式输出
-a 归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD-r 递归拷贝目录
-l 保留软链接
-p 保留原有权限
-t 保留原有时间(修改)
-g 保留属组权限
-o 保留属主权限
-D 等于--devices --specials 表示支持b,c,s,p类型的文件-R 保留相对路径
-H 保留硬链接
-A 保留ACL策略
-e 指定要执行的远程shell命令,ssh更改端口常用选项
-E 保留可执行权限
-X 保留扩展属性信息 a属性
PUSH:推,即上传;PULL:拉,即下载
2、本地文件同步
本地文件同步可以理解为:把文件从一个位置(同步=>拷贝)到另一个位置(类似cp)
eg1:/dir1、/dir2与/dir3,/dir1中创建三个文件file1、file2、file3,使用rsync本地同步
# 创建目录
mkdir /dir1
mkdir /dir2
mkdir /dir3
# /dir1中创建三个文件file1、file2、file3
touch /dir1/file{1..3}rsync -av /dir1/ /dir2 => 把/dir1目录中的所有文件拷贝到/dir2目录中
rsync -av /dir1 /dir3 => 把/dir1目录整体同步到/dir3目录中
eg2:rsync -R选项的应用(保留相对路径)
rsync -avR /dir1/ /dir2
eg3:rsync --delete(删除目标目录里多余的文件)
/dir1(file1、file2)
/dir2(file1、file2、file3)
rsync --delete同步后,会自动删除file3文件。(让dir1与dir2目录中的文件高度一致)
rsync -av --delete /dir1/ /dir2
3、rsync作为系统服务
默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsync提供了一种作为系统服务的实现方式。
Linux系统服务的思路:
对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件
1)启动rsyncd服务(CentOS6中没有,CentOS7中有这个服务)
systemctl start rsyncd
如果企业中使用到操作系统为CentOS6版本,则没有启动脚本。则需要查看帮助手册:
man rsync
rsync --help
rsync --daemon --help# CentOS6:rsync作为系统服务
# 1、先创建文件
touch /etc/rsyncd.conf
# 2、启动服务,作为后台运行
rsync --daemon# 查看服务进程
ps -ef|grep rsync
# 查看服务端口号
netstat -tunlp |grep rsync => -t tcp , -u udp
注:如果rsync作为系统服务单独运行,则其底层就不需要SSH服务了
2)rsyncd服务的配置文件/etc/rsyncd.conf
man 5 rsyncd.conf
三、任务解决方案(重点)
1、环境准备
用到的服务器及对应IP配置如下:
编号 | IP地址 | 主机名称 | 角色 |
---|---|---|---|
1 | 10.1.1.10 | code.itweb.cn | Code(MIS) |
2 | 10.1.1.100 | backup.itweb.cn | Backup(Backup) |
1)关闭防火墙与SELinux
# 关闭防火墙
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
# 获取SELinux的状态
setenforce 0vim /etc/selinux/config
SELINUX=disabled
2)更改主机名称
hostnamectl set-hostname code.itweb.cn
hostnamectl set-hostname backup.itweb.cn
# 切换生效
su
3)更改IP地址(静态IP)
# 服务器Code
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u" => 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"# 服务器Backup
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y" =>更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# 重启网络
systemctl restart network
关于上述一些常见的参数的说明,如下图
4)关闭NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager
5)配置YUM源
可以使用官方默认的YUM,如有需要可自行配置。
6)时间同步
ntpdate cn.ntp.org.cn
2、远程文件同步
1)Push:上传文件到远程服务器端
rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径
eg1:把linux.txt文档传输到远程服务器端(10.1.1.100)的root目录下
rsync -av linux.txt root@10.1.1.100:/root
eg2:把shop文件夹传输到远程服务器端(10.1.1.100)的root目录下
rsync -av shop root@10.1.1.100:/root
2)Pull:下载文件到本地服务器端
rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置
eg1:把远程服务器(10.1.1.100)的/etc/hosts文件下载到本地
rsync -av root@10.1.1.100:/etc/hosts ./
eg2:把远程服务器(10.1.1.100)的/shop文件夹下载到本地
rsync -av root@10.1.1.100:/shop ./
扩展:
问题1:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?
rsync在远程同步时,之所以要输入密码是因为其底层还是基于SSH服务的。SSH有两种认证方式,如果没有配置免密则默认使用用户名+密码的认证方式。
如果不想要密码同步,可以考虑使用SSH免密操作。
Code => Backup
Code:
# 生成公钥和私钥
ssh-keygen -t rsa -P ""
# 将公钥发送给10.1.1.100服务器
ssh-copy-id root@10.1.1.100
问题2:如果Backup服务器端更改了SSH的默认端口(如更改为10086),又该如何同步?
# 使用 -e选项
rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root
3、给RSYNC服务添加密码(扩展)
Code服务器:
1)打开/etc/rsyncd.conf配置文件
vim /etc/rsyncd.conf[app]
path=/app/java_project
log file=/var/log/rsync.log
# 添加
auth users = user1,user2 => 用户名
secrets file = /etc/rsyncd.secrets => 密码文件
2)在/etc目录下创建rsyncd.secrets文件
vim /etc/rsyncd.secretsuser1:123 => 设置密码,用户名:密码
user2:123
3)更改密码文件权限为600
chmod 600 /etc/rsyncd.secrets
4)重启rsyncd服务
systemctl restart rsyncd
5)Backup备份服务器:
rsync -av user1@10.1.1.10::app ./
Password:123
好了,以上就是今天这篇文章的全部内容了。如果你想及时看到我的文章,只需做这几个动作:点星标、点在看(包括赞)、评论、分享,我就会经常出现在您的常读列表,后面更新都会提醒。感谢大家的关注和支持,祝大家生活美满,学业有成,事业蒸蒸日上!
最后,星标设置如下:
如下即设置成功!
往期精彩文章推荐(点击下方蓝字即可阅读!)
往期推荐
SSH服务搭建及免密登录实现
SSH服务搭建之YUM源配置与静态IP配置
SSH基于用户名密码的认证原理
一文带你快速了解VMware的三种网络模式
什么是yum源?如何对其进行配置?
Linux有哪些常用的高级扩展命令?