Rsync+sersync实时增量同步文件

2020-04-26  本文已影响0人  W朱珠W

一、为什么要用Rsync+sersync架构?

1、sersync是基于Inotify开发的,类似于Inotify-tools的工具

2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录。

二、Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别?

1、Rsync+Inotify-tools

(1):Inotify-tools只能记录下被监听的目录发生了变化(包括增加、删除、修改),并没有把具体是哪个文件或者哪个目录发生了变化记录下来;

(2):rsync在同步的时候,并不知道具体是哪个文件或者哪个目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此,效率很低。

2、Rsync+sersync

(1):sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字;

(2):rsync在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对整个同步目录数据来说是很小的,rsync在遍历查找比对文件时,速度很快),因此,效率很高。

小结:当同步的目录数据量不大时,建议使用Rsync+Inotify-tools;当数据量很大(几百G甚至1T以上)、文件很多时,建议使用Rsync+sersync。

环境:

源端:192.168.72.134        rsync-server

目标端:192.168.72.135    rsync-client


#############################目标端服务器配置###################################

一、在目标服务器上安装Rsync服务器(192.168.72.135)

1,关闭selinux

# vi /etc/selinux/config

SELINUX=disabled

# setenforce 0

2,关闭防火墙

# systemctl stop firewalld.service

3,安装rsync服务端软件

# yum install rsync xinetd

# vi /etc/rc.d/rc.local    # 设置开机启动

/usr/bin/rsync  --daemon --config=/etc/rsyncd.conf

# systemctl start xinetd    #启动xinetd

4,创建rsyncd.conf 配置文件

# vi /etc/rsyncd.conf

 uid = mysql     #uid 运行RSYNC守护进程的用户;基于后面要做mysql恢复方便,使用同一用户

 gid = myql     #运行RSYNC守护进程的组

use chroot = no   #如果"use chroot"指定为true,那么rsync在传输文件以前首先chroot到path参数所 指定的目录下。这样做的原因是实现额外的安全防护,但是缺点是需要以roots权限,并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true。

max connections = 4  #最大连接数,0不限制

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

motd file = /etc/rsyncd.Motd

transfer logging = yes

refuse options = delete   #源端删除数据,客户端不执行删除操作

fake super = yes  #使rsync进程用户root权限,可以复制文件

[backup]

        path = /app/mysql/backup/4771

        comment = A directory in which data is stored

        ignore errors = yes

        read only = no

        hosts allow = 10.129.24.105/24

        secrets file = /etc/rsync.pass # 密码文件

        auth users = mysql   #允许访问的用户,必须是密码文件中的

5,创建用户认证文件

# vi /etc/rsync.pass

mysql:mysql12345   # 格式为 用户名:密码

6,设置文件权限

chmod 600 /etc/rsyncd.conf

chmod 600 /etc/rsync.pass

7 ,启动rsync 和xinetd

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

systemctl start xinetd


##############################源服务器配置#####################################

1,关闭selinux

# vi /etc/selinux/config

SELINUX=disabled

# setenforce 0

2,关闭防火墙

# systemctl stop firewalld.service

3,安装rsync客户端软件

# yum install rsync xinetd

 # vi /etc/rc.d/rc.local  # 配置开机启动

/usr/bin/rsync --daemon

systemctl start xinetd

4, 创建认证密码文件

# vi /etc/passwd.txt

mysql12345

# chmod 600 /etc/passwd.txt

5,测试源服务器到目标服务器之间同步

rsync -avH --bwlimit=30000 --port=873 --progress /data/mysql/backup/4771/ mysql@10.129.213.46::backup --password-file=/etc/passwd.txt

--bwlimit 限速 kb/s

运行完成后,在目标服务器检查/etc/rsyncd.conf 配置的PATH目录是否有数据,如果有则同步成功。

二,安装sersync工具,实时触发rsync进行同步

1、查看服务器内核是否支持inotify

$ ll /proc/sys/fs/inotify# 列出文件目录,出现下面的内容,说明服务器内核支持inotify

total0

-rw-r--r--1root root0Mar2013:21max_queued_events

-rw-r--r--1root root0Mar2011:14max_user_instances

-rw-r--r--1root root0Mar2013:21max_user_watches

 备注:Linux下支持inotify的内核最小为2.6.13,可以输入命令:#uname -a查看内核

    CentOS 7.0内核为3.10.0,默认已经支持inotify

2、修改inotify默认参数(inotify默认内核参数值太小)    修改参数:

# sysctl -w fs.inotify.max_queued_events="99999999"

# sysctl -w fs.inotify.max_user_watches="99999999"

# sysctl -w fs.inotify.max_user_instances="65535"

# vi /etc/sysctl.conf#添加以下代码

    fs.inotify.max_queued_events=99999999

    fs.inotify.max_user_watches=99999999

    fs.inotify.max_user_instances=65535

3、安装sersync

    sersync下载地址:https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz

# tar zxvfsersync2.5.4_64bit_binary_stable_final.tar.gz#解压

# mv GNU-Linux-x86  /usr/local/sersync

4, 创建rsync

cd  /usr/local/sersync#进入sersync安装目录

# cp confxml.xml  confxml.xml-bak      #备份原文件

# cp confxml.xml  data_configxml.xml  # 复制用于同步data目录的文件

5 ,修改配置文件

---------------------------------   data 配置  -------------------------------------------

6, 启动服务

# /usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/data_confxml.xml

在源服务器上/data/mysql/backup/4771 目录下创建文件或目录,在目标服务器上查看,是否同步过去。

7,设置sersync 监控开机自动执行

# vi /etc/rc.d/rc.local 

/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/data_confxml.xml

上一篇 下一篇

猜你喜欢

热点阅读