Day30综合架构rsync远程同步
2019-11-27 本文已影响0人
a幕城
什么是备份
*指对一个文件创建一个副本
为什么要做备份？
保证数据安全快速回复数据
能不能不做备份?
以, 因为数据不重要,可不考虑.
.备份应该怎么做?
全量备份 :每次都是完全拷贝,效率低下增量备份 :每次仅拷贝发生变化的文件,效率高
备份使用的工具有哪些?
本地备份: cp远程备份: scp rsync sz rz
.rsync 远程同步工具
实现主机与主机之间的同步, 实现增量的同步. linux\windows\macPS: 如果将rsync当一个服务来使用,则需要知道 rsync 是个 c/s架构
rsync备份工具应用几种场景?
.推 客户端推送数据至服务端 电脑--->云盘拉 客户端拉取服务上的数据 电脑 <---- 云盘
`rsync三大传输模式?`
`# yum install rsync -y`
1.本地传输 类似于使用cp
`Local: rsync [OPTION...] SRC... [DEST]`
`文件`
`[root@backup ~]# rsync -avz oldxu.com /tmp/`
` 目录`
`[root@backup ~]# rsync -avz /etc/ /tmp/`
注意: 每次拷贝都是增量
1.如果有新增, 拷贝新增
2.如果修改历史拷贝过的文件, 则同步修改后的文件
2.远程传输 类似于scp,基于ssh协议
Access via remote shell:
` 下载 Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]`
`下载31服务器上/root/31.txt文件,至本地的当前目录,使用31的root身份
[root@backup ~]# rsync -avz root@172.16.1.31:/root/31.txt ./`
* `注意: 加/ 和不加/ `
`加/ : 会下载这个目录下的所有内容至本地`
` 不加/: 下载目录,以及目录下的所有内容至本地`
`[root@backup ~]# rsync -avz root@172.16.1.31:/opt/etc_test/ ./
[root@backup ~]# rsync -avz root@172.16.1.31:/opt/etc_test ./`
#推送本地的文件或目录,至远程主机31的/opt目录下,使用的是31的root身份
` 推送 Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
[root@backup ~]# rsync -avz ./41.txt root@172.16.1.31:/opt/
[root@backup ~]# rsync -avz ./etc_test root@172.16.1.31:/opt/`
`缺陷`:
`使用ssh协议
1.权限过高不安全
2.权限太低,无法推送`
3.守护进程 以服务的方式运行在后台
`1.安装
[root@backup ~]# yum install rsync -y `
`2.配置
[root@backup ~]# rpm -qc rsync
/etc/rsyncd.conf
/etc/sysconfig/rsyncd`
`--- 配置详解
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync # 运行进程的用户
gid = rsync # 运行进程的用户组
port = 873 # 监听端口
fake super = yes # 不需要rsync已root身份运行，就可以存储文件的完整属性
use chroot = no # 禁锢推送的数据至某个目录, 不允许跳出该目录
max connections = 200 # 最大连接数
timeout = 600 # 超时时间
ignore errors # 忽略错误信息
read only = false # 对备份数据可读写
list = false # 不允许查看模块信息
auth users = rsync_backup # 定义虚拟用户，作为连接认证用户
secrets file = /etc/rsync.passwd # 定义rsync服务用户连接认证密码文件路径
[backup] # 定义模块信息
path = /backup # 定义接收备份数据目录
`
` 3.根据配置要做如下操作:
1.创建进程运行的用户
[root@backup ~]# useradd rsync -M -s /sbin/nologin
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)
2.创建虚拟用户以及虚拟用户的密码/etc/rsync.passwd
格式: Username:Password
[root@backup ~]# cat /etc/rsync.passwd
rsync_backup:1
[root@backup ~]# chmod 600 /etc/rsync.passwd
3.创建一个接收备份数据目录
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/
3.启动
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd
4.检查
[root@backup ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 22463/rsync
5.测试 Access via rsync daemon:
#将本地的某个文件,推送到服务端backup目录,使用的是虚拟的用户名和密码
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
[root@nfs01 ~]# rsync -avz 31.txt rsync_backup@172.16.1.41::backup
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
[root@nfs01 ~]# rsync -avz rsync_backup@172.16.1.41::backup ./`
**rsync作为服务端一些选项 如何使用? **
| 参数 | 含义 |
|---|---|
| -a | 归档模式传输, 等于-tropgD |
| -v | 详细模式输出, 打印速率, 文件数量等 |
| -z | 传输时进行压缩以提高效率 |
| -r | 递归传输目录及子目录，即目录下得所有目录都同样传输。 |
| -t | 保持文件时间信息 |
| -o | 保持文件属主信息 |
| -p | 保持文件权限 |
| -g | 保持文件属组信息 |
| -l | 保留软连接 |
| -P | 显示同步的过程及传输时的进度等信息 |
| -D | 保持设备文件信息 |
| L | 保留软连接指向的目标文件 |
| e | 使用的信道协议,指定替代rsh的shell程序 -e 'ssh' |
| --exclude=PATTERN | 指定排除不需要传输的文件模式 |
| --exclude-from=file | 文件名所在的目录文件 |
| --bwlimit=100 | 限速传输 |
| --partial | 断点续传 |
| --delete | 让目标目录和源目录数据保持一致 |
显示传输的每s的速率?
[root@nfs01 ~]# dd if=/dev/zero of=./size_file bs=1M count=300
[root@nfs01 ~]# rsync -avzP size_file rsync_backup@172.16.1.41::backup
sending incremental file list
size_file
314,572,800 100% 81.20MB/s 0:00:03 (xfr#1, to-chk=0/1)
限速,非常重要?
2.1) 不限速
[root@nfs01 ~]# rsync -avzP size_1G rsync_backup@172.16.1.41::backup
...
1,048,576,000 100% 78.85MB/s 0:00:12 (xfr#1, to-chk=0/1)
2.2) --bwlimit限速 (默认单位为兆 --> 兆 换算为带宽 * 8 = )
[root@nfs01 ~]# rsync -avzP --bwlimit=10 size_1G rsync_backup@172.16.1.41::backup
....
566,394,880 54% 10.12MB/s 0:00:46
-delete 强制同步
1.在推送时添加--delete, 强制让服务端与客户端保持一致
2.在拉取时添加--delete, 强制让客户端与服务端保持一致
exclude --exclude-from 排除
1.重要的不希望别人看见
2.文件太大,无法移动
排除单个文件或多个文件
rsync -avz --exclude=origin/all.txt ./origin rsync_backup@172.16.1.41::backup- rsync -avz --exclude=origin/3.txt --exclude=origin/all.txt ./origin rsync_backup@172.16.1.41::backup
- 排除多个文件 ( 准备一个文件, 将要排除的内容写入文件中, 最后指定排除的文件即可)
- [root@nfs01 ~]# cat pc.txt
origin/5.txt
origin/8.txt``
origin/9.txt[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt ./origin rsync_backup@172.16.1.41::backup
免交互
第一种方式:
[root@nfs01 ~]# echo "1" > /etc/rsync.pass
[root@nfs01 ~]# chmod 600 /etc/rsync.pass
[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt ./origin rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.pass
第二种方式:
[root@nfs01 ~]# export RSYNC_PASSWORD=1
[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt ./origin rsync_backup@172.16.1.41::backup
