lsyncd基于lua语言开发,整合了rsync和notify 实现文件的实时同步
系统环境cat /etc/issue
CentOS release 6.6 (Final)uname -sr
Linux 2.6.32-504.el6.x86_64
服务器规划
rsync服务器:                   192.168.10.241
rsync + lsyncd服务器 :         192.168.10.231
一.配置rsync服务器
1.配置xinetd来管理rsync,并编辑配置文件yum install xinetd -yvim /etc/xinetd.d/rsync
------------------------------------------------------------------------------------------------------------------------------
service rsync
{disable = nosocket_type     = streamwait            = nouser            = rootserver          = /usr/bin/rsyncserver_args     = --daemonlog_on_failure  += USERID
}
------------------------------------------------------------------------------------------------------------------------------rpm -qa | grep rsync
rsync-3.0.6-6.el5_11
2.为rsync提供配置文件
全局选项 
strict modes =yes 是否检查口令文件的权限 
port = 873默认端口873 
log file = /var/log/rsyncd.log
日志记录文件 
pid file = /var/run/rsyncd.pid运行进程的ID写到哪里 
[home]
path = /opt/这里是认证的模块名,在client端需要指定 
max connections = 0客户端最大连接数,默认0(没限制) 
uid = root指定该模块传输文件时守护进程应该具有的uid 
gid = root指定该模块传输文件时守护进程应该具有的gid 
ignore errors可以忽略一些无关的IO错误 
read only = nono客户端可上传文件,yes只读 
write only = nono客户端可下载文件,yes不能下载 
hosts allow = * 充许任何主机连接 
hosts deny = 10.5.3.1禁止指定的主机连接 
auth users = root认证的用户名,如果没有这行,则表明是匿名 
secrets file = /etc/backserver.pas指定认证口令文件位置 
------------------------------------------------------------------------------------------------------------------------------
3.添加认证文件,并将权限修改为600# echo "root:123456" > /etc/backserver.pas# chmod 600  /etc/backserver.pasll /etc/backserver.pas
-rw------- 1 root root 11 Jul 27 15:22 /etc/backserver.pas 4.启动rsync服务端# /etc/init.d/xinetd start
Starting xinetd:                                           [  OK  ]
[root@localhost ~]# netstat -ntl | grep 873
tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN
二.客户端配置lsyncd,基于lsyncd实现实时同步(延迟比较小)
1.1安装lsyncdyum search lsyncd (源服务器安装) 如果找不到这个包,只能说明你没有安装centos的YUM扩展包,必须先安装扩展包rpm -ivh 
完成扩展包的安装之后,就可以安装lsyncd了yum install lsyncd -y
1.2编译安装lsyncdyum install lua lua-devel -ywget -c tar xf release-2.1.5cd lsyncd-2.1.5./configuremake && make install
2.提启动脚本vim /etc/init.d/lsyncd
------------------------------------------------------------------------------------------------------------------------------
#!/bin/bash
#
# chkconfig: - 85 15
# description: Lightweight inotify based sync daemon
. /etc/init.d/functions
. /etc/sysconfig/network
[ "$NETWORKING" = "no" ] && exit 0
LSYNCD_OPTIONS="-pidfile /var/run/lsyncd.pid /etc/lsyncd.conf"
RETVAL=0
prog="lsyncd"
thelock=/var/lock/subsys/lsyncd
start() {[ -f /etc/lsyncd.conf ] || exit 6echo -n $"Starting $prog: "if [ $UID -ne 0 ]; thenRETVAL=1failureelsedaemon /usr/local/bin/lsyncd $LSYNCD_OPTIONSRETVAL=$?[ $RETVAL -eq 0 ] && touch $thelockfi;echoreturn $RETVAL
}
stop() {echo -n $"Stopping $prog: "if [ $UID -ne 0 ]; thenRETVAL=1failureelsekillproc lsyncdRETVAL=$?[ $RETVAL -eq 0 ] && rm -f $thelockfi;echoreturn $RETVAL
}
reload(){echo -n $"Reloading $prog: "killproc lsyncd -HUPRETVAL=$?echoreturn $RETVAL
}
restart(){stopstart
}
condrestart(){[ -e $thelock ] && restartreturn 0
}
case "$1" instart)start;;stop)stop;;restart)restart;;reload)reload;;condrestart)condrestart;;status)status lsyncdRETVAL=$?;;*)echo $"Usage: $0 {start|stop|status|restart|condrestart|reload}"RETVAL=1
esac
exit $RETVAL
------------------------------------------------------------------------------------------------------------------------------
3.编辑rsync客户端,提供添加密码文件,并将权限修改为600echo "123456" > /etc/backserver.paschmod 600 /etc/backserver.pasll /etc/backserver.pas
-rw------- 1 root root 7 Jul 27 15:34 /etc/backserver.pas
4.编辑lsyncd配置文件vim /etc/lsyncd.conf
------------------------------------------------------------------------------------------------------------------------------
settings {logfile    = "/tmp/lsyncd.log",statusFile = "/tmp/lsyncd.status",statusInterval = 5,nodaemon = true,}本地同步
1.1 本地目录同步:direct:cp/rm/mv。 适用:500+万文件,变动不大
sync {default.direct,source    = "/opt/src",target    = "/opt/dest",delay = 1,maxProcesses = 1,}
1.2 本地目录同步rsync模式:rsync
sync{default.rsync,source = "/opt/",target = "/home/mogilefs/",delete = true,exclude={ "test" },rsync = {compress = true,verbose = true,archive  = true,}
}
远程同步
2.1 远程同步: rsync模式 + rsyncd daemon
sync {default.rsync,source    = "/opt/back3/",target    = "root@192.168.10.231::home",delete = true,exclude = { ".tmp" },delay = 1,rsync = {binary = "/usr/bin/rsync",archive = true,compress = true,verbose  = true,password_file = "/etc/backserver.pas",_extra    = {"--bwlimit=200"},}}2.2 远程目录同步:rsync模式 + ssh shell
sync{default.rsync,source = "/opt/back/",target = "root@192.168.10.241:/opt",delete = true,-- exclude={ "test" },rsync = {binary = "/usr/bin/rsync",compress = true,verbose = true,archive = true,rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"}
}3 远程目录同步:rsync模式 + rsyncssh,效果与上面相同
sync {default.rsyncssh,source    = "/opt/back2/",host      = "192.168.10.241",targetdir = "/opt/",
--  excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",maxDelays = 1,delay = 1,rsync = {binary = "/usr/bin/rsync",archive = true,compress = true,verbose   = true,_extra = {"--bwlimit=2000"},},ssh  = {port  =  22}}
------------------------------------------------------------------------------------------------------------------------------
5.免密钥登陆(基于ssh同步需要在远端被同步的服务器上开启ssh无密码登录)ssh-copy-id -i  ~/.ssh/id_rsa.pub root@192.168.10.2416.启动rlsyncd服务/etc/init.d/lsyncd start
7.lsyncd的日志文件以及状态文件tailf /tmp/lsyncd.log 
Tue Jul 28 12:12:15 2015 Normal: recursive startup rsync: /opt/back3/ -> root@192.168.10.241::home/
Tue Jul 28 12:12:19 2015 Normal: Startup of "/opt/back3/" finished.
Tue Jul 28 12:13:07 2015 Normal: recursive startup rsync: /opt/back3/ -> root@192.168.10.241::home/
Tue Jul 28 12:13:12 2015 Error: Temporary or permanent failure on startup of "/opt/back3/". Terminating since "insist" is not set.
Tue Jul 28 12:13:14 2015 Normal: recursive startup rsync: /opt/back3/ -> root@192.168.10.241::home/
Tue Jul 28 12:13:18 2015 Error: Temporary or permanent failure on startup of "/opt/back3/". Terminating since "insist" is not set.
Tue Jul 28 12:13:35 2015 Normal: recursive startup rsync: /opt/back3/ -> root@192.168.10.241::home/
Tue Jul 28 12:13:38 2015 Normal: Startup of "/opt/back3/" finished.
Tue Jul 28 12:15:50 2015 Normal: recursive startup rsync: /opt/back3/ -> root@192.168.10.241::home/
Tue Jul 28 12:15:53 2015 Normal: Startup of "/opt/back3/" finished.
tailf /tmp/lsyncd.status
Sync1 source=/opt/back3/
There are 1 delays
active Init 
Excluding:nothing.
Inotify watching 1 directories1: /opt/back3/


lsyncd.conf 主要配置选项说明:

settings配置段:
    全局设置,--开头表示注释,下面是几个常用选项说明:
    logfile 定义日志文件
    stausFile 定义状态文件
    nodaemon=true 表示不启用守护模式,默认
    statusInterval 将lsyncd的状态写入上面的statusFile的间隔,默认10秒
    inotifyMode 指定inotify监控的事件,默认是CloseWrite,还可以是Modify或CloseWrite or Modify
    maxProcesses 同步进程的最大个数。假如同时有20个文件需要同步,而maxProcesses = 8,则最大能看到有8个rysnc进程
    maxDelays 累计到多少所监控的事件激活一次同步,即使后面的delay延迟时间还未到

    
sync配置段:
    定义同步参数,可以继续使用maxDelays来重写settings的全局变量。
    一般第一个参数指定lsyncd以什么模式运行:rsync、rsyncssh、direct三种模式:
    default.rsync :本地目录间同步,使用rsync,也可以达到使用ssh形式的远程rsync效果,或daemon方式连接远程rsyncd进程;
    default.direct :本地目录间同步,使用cp、rm等命令完成差异文件备份;
    default.rsyncssh :同步到远程主机目录,rsync的ssh模式,需要使用key来认证
    source 同步的源目录,使用绝对路径。
    target 定义目的地址.
    三种模式的示例会在后面给出。
    init 这是一个优化选项,当init = false,只同步进程启动以后发生改动事件的文件,原有的目录即使有差异也不会同步。默认是true
     delay 累计事件,等待rsync同步延时时间,默认15秒(最大累计到1000个不可合并的事件)。也就是15s内监控目录下发生的改动,会累积到一次rsync同步,避免过于频繁的同步。(可合并的意思是,15s内两次修改了同一文件,最后只同步最新的文件)
    excludeFrom 排除选项,后面指定排除的列表文件,如果是简单的排除,可以使用exclude = {"FILENAME"}。
    这里的排除规则写法与原生rsync有点不同,更为简单:
    监控路径里的任何部分匹配到一个文本,都会被排除,例如/var/web/test可以匹配规则web
    如果规则以斜线/开头,则从头开始要匹配全部
    如果规则以/结尾,则要匹配监控路径的末尾
    ?匹配任何字符,但不包括/
    *匹配0或多个字符,但不包括/
    **匹配0或多个字符,可以是/
    delete 为了保持target与souce完全同步,Lsyncd默认会delete = true来允许同步删除。它除了false,还有startup、running值.
    rsync:(提示一下,delete和exclude本来都是rsync的选项,上面是配置在sync中的,我想这样做的原因是为了减少rsync的开销)
    bwlimit 限速,单位kb/s,与rsync相同(这么重要的选项在文档里竟然没有标出)
    compress 压缩传输默认为true。在带宽与cpu负载之间权衡,本地目录同步可以考虑把它设为false
    perms 默认保留文件权限。

其它rsync的选项
其它还有rsyncssh模式独有的配置项,如host、targetdir、rsync_path、password_file。
lsyncd.conf可以有多个sync,各自的source,各自的target,各自的模式,互不影响。

使用命令加载配置文件,启动守护进程,自动同步目录操作。
lsyncd -log Exec /usr/local/lsyncd-2.1.5/etc/lsyncd.conf

注意:
1.lsyncd Version: 2.1.4版本以前 存在bug,不支持rsync的 password_file参数, lsyncd Version: 2.1.5已经修复,并且允许rsync客户端具有写权限。
2.rsyncOps={"-avz","--delete"}这样的写法在2.1.*版本已经不支持。