全网备份项目
一、项目需求说明
某公司里有一台web服务器，里面的数据很重要，但是如果硬盘坏了，数据就会丢失，现在领导要 求把数据做备份，这样web服务器数据丢失可以进行恢复，要求如下：
每天晚上00点整在web服务器A上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命 令推送到服务器B上备份保留（备份思路可以是先在本地按日期打包，然后再推到备份服务器B上）
二、基本备份要求
服务器说明 外网IP(NAT) 内网IP(NAT) 主机名称
nginx web服务器 10.0.0.8/24 172.16.1.8/24 web01
NFS存储服务器 10.0.0.31/24 172.16.1.31/24 nfs01
rsync备份服务器 10.0.0.41/24 172.16.1.41/24 backup
1、备份要求
每天晚上00点整在Web服务器上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送备份服务器backup上备份保留
2、备份思路
可以是先在本地按日期打包，然后再推到备份服务器backup上；NFS存储服务器同Web服务器实际工作中就是运维主要管理的全部服务器。
3、具体备份思路
所有服务器的备份目录必须都为/backup
要备份的系统配置文件包括但不限于：
a)定时任务服务的配置文件 (/var/spool/cron/root) （适合web和nfs服务器）。
b)开机自启动的配置文件 (/etc/rc.local) （适合web和nfs服务器）。
c)日常脚本的目录 (/server/scripts)。
d)防火墙iptables的配置文件 (/etc/sysconfig/iptables)。
e)自己思考下还有什么需要备份呢？
Web服务器站点目录假定为(/var/html/www)。
Web服务器访问日志路径假定为（/app/logs）
Web服务器保留打包后的7天的备份数据即可(本地留存不能多于7天，因为太多硬盘会满)
备份服务器上,保留最近7天的备份数据，同时保留6个月内每周一的所有数据副本
备份服务器上,要按照备份数据服务器的内网IP为目录保存备份，备份的文件按照时间名字保存。
需要确保备份的数据尽量完整正确，在备份服务器上对备份的数据进行检查，把备份的成功及失败结果信息发给系统管理员邮箱中。
服务器说明 备份目录 目录说明 备注
all server /backup 备份目录 统一服务器本地备份目录，便于管理
all server /var/spool/cron/root 定时任务服务配置文件
all server /etc/rc.local 开机自启动配置文件
all server /server/scripts 日常脚本目录 统一服务器本地脚本目录，便于管理
all server /etc/sysconfig/iptables 防火墙iptables配置文件
web server /var/html/www web服务器站点目录
web server /app/logs web服务器访问日志路径
三、服务器部署
1.搭建备份服务rsync（服务端）
参考服务端rsync服务部署
2.安装rsync(客户端)
客户端无需配置，只需要添加一个/etc/rsync.passwd文件权限为600
四、各服务器数据需求
1.打包系统文件到本地/backup目录下命令为sys_config_时间.tar.gz
tar zcvf /backup/sys_backup_$(date +%F_星期%w -d "-1 day").tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /etc/sysconfig/iptables
2.Web服务器保留打包后的7天的备份数据即可(本地留存不能多于7天，因为太多硬盘会满)
find /backup -type f -mtime +7 -delete
3.备份服务器上, 保留6个月内数据，以及每周一的所有数据副本
find /backup/ -type f ! -name "*星期1*" -a -mtime +180 -delete
4.备份服务器上,要按照备份数据服务器的内网IP为目录保存备份，备份的文件按照时间名字保存
存储服务器本地创建相应子目录 优选
NFS: mkdir /backup/172.16.1.31 rsync -avz /backup/ rsync_backup@172.16.1.41::backup --password-file=xxx
web: mkdir /backup/172.16.1.7 rsync -avz /backup/ rsync_backup@172.16.1.41::backup --password-file=xxx
五、确保数据的准确性
1.在服务器上打包时生成finger文件
find /backup/ -type f -name "*.tar.gz"|xargs md5sum >/backup/finger.txt
2. 将数据和指纹文件进行传输
rsync -avz /backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
3.对指纹信息进行验证
md5sum -c finger.txt
六、以邮件方式通知管理员
配置邮件服务
1.编写配置文件
vim /etc/mail.rc
set from=17**********@qq.com
set smtp=smtp://smtp.qq.com:587
set smtp-auth-user=17********@qq.com
set smtp-auth-password=uohjyuyrisqubiij
set smtp-auth=login
2.启动服务
systemctl start sendmail
七、编写全网备份脚本
web服务器脚本编写：
#!/bin/bash
host_IP=$(hostname -i)
backup_data="./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables"
#01. 创建存储数据目录
mkdir -p /backup/$host_IP/
#02. 将数据本地保存压缩备份
mkdir -p /server/scripts /var/html/www /app/logs
touch /etc/sysconfig/iptables
cd /
tar zchf /backup/$host_IP/sys_backup_$(date +%F_星期%w -d "-1 day").tar.gz $backup_data
tar zcf /backup/$host_IP/www_data_$(date +%F_星期%w -d "-1 day").tar.gz ./var/html/www
tar zcf /backup/$host_IP/log_data_$(date +%F_星期%w -d "-1 day").tar.gz ./app/logs
#03. 将当天生成备份文件进行指纹验证,生成指纹文件
find /backup -type f -name "*.tar.gz" -mtime -1 | xargs md5sum >/backup/$host_IP/finger.txt
#04. 实现数据远程备份
rsync -az /backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
#05. 将历史数据信息进行清理
find /backup/ -type f -name "*.tar.gz" -mtime +7 -delete
存储服务器脚本编写:
#!/bin/bash
host_IP=$(hostname -i)
backup_data="./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables"
#01. 创建存储数据目录
mkdir -p /backup/$host_IP/
#02. 将数据本地保存压缩备份
mkdir -p /server/scripts
touch /etc/sysconfig/iptables
cd /
tar zchf /backup/$host_IP/sys_backup_$(date +%F_星期%w -d "-1 day").tar.gz $backup_data
#03. 将当天生成备份文件进行指纹验证,生成指纹文件
find /backup -type f -name "*.tar.gz" -mtime -1 | xargs md5sum >/backup/$host_IP/finger.txt
#04. 实现数据远程备份
rsync -az /backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
#05. 将历史数据信息进行清理
find /backup/ -type f -name "*.tar.gz" -mtime +7 -delete
备份服务器脚本编写:
#!/bin/bash
#01. 验证数据完整性
file_count=$(find /backup -type f -name "finger.txt" -mtime -1|wc -l)
if [ $file_count -ne 2 ]
then
echo "finger.txt not sent" | mail -s "finger.txt sent error" 330882721@qq.com
find /backup -type f -name "finger.txt"|xargs md5sum -c >/backup/check_log.txt
else
find /backup -type f -name "finger.txt"|xargs md5sum -c >/backup/check_log.txt
fi
八、补充
1.各个服务器都需要添加本地域名解析目的是获取IP地址
vim /etc/hosts
172.16.1.41 backup
2.各个服务器都要添加密码文件
cat /etc/rsync.passwd
123
chmod 600 /etc/rsync.passwd
3.备份服务器上的备份目录的属主属组与rsync配置文件中的用户一致
