Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backu
目前市面上普遍采用的VPS网站备份方式用脚本定时打包网站数据及数据库后上传到Dropbox、Google Drive之类的云端硬盘。但由于存储在网盘,存在较大的容量限制,另外也存在上传下载的限速问题。今天居正,给出两套服务尽可能完美的解决站点备份的问题。它们的大名想必各位站长也不会陌生:秋水逸冰backup.sh脚本和七牛qshell工具。
关于站点备份的二三事相信各位站长也没少折腾过,目前市面上普遍采用的方式大体有两种,一种是用多备份这样的第三方服务,另一种则是利用脚本定时打包网站数据及数据库后上传到Dropbox、Google Drive之类的云端硬盘。两种方案都可以完全做到免费,但后者由于存储在网盘,存在容量限制(百度云虽然容量大,但拿来当备份也比较少见,因为我们购买的VPS一般都是国外主机,没有速度优势。另外也存在上传下载的限速问题)。今天居正针对第二种方案,给出两套服务尽可能完美的解决站点备份的问题。它们的大名想必各位站长也不会陌生:秋水逸冰backup.sh脚本和七牛qshell工具。
更多有关网站技术的教程可参考:
由SQL注入(或数据库权限)渗透WordPress站点的一些手法
一、七牛服务的配置部分
①创建空间
注册:https://portal.qiniu.com/signup?code=3lotum461pf82(我的aff,如果还没有注册并且不介意的话可以点一下啦
)
由于我们只用于备份,所以只要看存储空间的价格就行了。七牛提供10G的免费空间,这个大小对于一般站点的备份是足够的。
假如我们的网站数据文件是500MB/个,天天备份,那么达到10G的大小则是20天,我们可以在空间里面设置自动删除20天之前的备份文件,这样就总也不会超出10G。
按照以下步骤创建一个用于备份的空间:
1.点击左侧“对象存储”。
2.点击“新建存储空间”。
3.在“存储空间名称”中输入想创建为备份用空间(bucket)的名称。这个名称请记下来,我们之后有用。
4.在“存储区域”里面选择一个地区。一般离你的VPS机房越近越好,美国的机器建议选北美速度会比较快。但这里由于华南减价居正就选华南了,反正用于备份对速度速度要求也没那么高。
5.在“访问控制”里面选择“私有空间”。毕竟我们不想让自己的备份文件被别人下载到。
6.点击“确定创建”。
如下:
在这里我们的空间就创建好了。七牛还会提醒你进行绑定域名等后续操作,不过由于我们的空间只是用来放备份文件的,故不需要设置这些CDN相关的东西。
②配置qshell
七牛提供一个支持Linux、macOS、Windows平台的开发者工具,通过调用API在VPS上操作七牛空间。
在这里下载对应版本/系统位数的qshell:https://developer.qiniu.com/kodo/tools/1302/qshell
附:查看Linux系统位数的方法:
1. ls / #如果有lib64或这个目录,那操作系统就是64位的
2. getconfig LONG_BIT 若输出32即为32位系统,64为64位系统
32位的系统中int类型和long类型一般都是4字节,
64位的系统中int类型还是4字节的,但是long已变成了8字节。
inux系统中可 用”getconf WORD_BIT”和”getconf LONG_BIT”获得word和long的位数。
64位系统中应该分别得到32和64。
3. uname -a中若为X86示意为64位系统,i386等位32位系统
refer to:http://blog.51cto.com/wbwk2005/423465
以64位的系统为例:
wget http://devtools.qiniu.com/qshell-v2.1.8.zip #利用wget下载qshell工具
unzip qshell-v2.1.8.zip #解压
cp qshell-linux-x64 /usr/bin/qshell #将文件复制到bin目录下,这样在任何地方都能执行qshell命令
chmod +x /usr/bin/qshell #设置可执行权限
然后在七牛后台取得自己密钥的AccessKey和SecretKey,保存下载备用:
最后在VPS上执行此命令授权:
qshell account 你的AccessKey 你的SecretKey
#例如居正的是:
qshell account _Sb-mV19gxrZ2E5mh2ERUHjx9yZ1O-5kU5Jo0lB4 xxxx2ERUHjx9yZ1O-5xxx
二、配置backup.sh
秋水逸冰的backup.sh是目前市面上最好用的Linux一键备份脚本之一。
由于backup.sh默认只支持gdrive和ftp备份,居正在这里进行了相应的修改使其能够备份文件到七牛(这里采用了qshell rput系列命令,参考),并且去除了备份到gdrive的功能)。
安装backup.sh脚本(文字修改自秋水逸冰官网):
1、下载该脚本并赋予执行权限
wget --no-check-certificate https://gitee.com/juzheng/source/raw/master/backup_qiniu.sh -O backup.sh
chmod +x backup.sh
2、修改并配置脚本
请使用 vim 或 nano 等工具来修改。
关于变量名的一些说明:
ENCRYPTFLG (加密FLG,true 为加密,false 为不加密,默认是加密)
BACKUPPASS (加密密码,重要,务必要修改)
LOCALDIR (备份目录,可自己指定)
TEMPDIR (备份目录的临时目录,可自己指定)
LOGFILE (脚本运行产生的日志文件路径)
BUCKET (七牛的容器名字,刚才创建的时候填的)
MYSQL_ROOT_PASSWORD (MySQL/MariaDB/Percona 的 root 用户密码)
MYSQL_DATABASE_NAME (指定 MySQL/MariaDB/Percona 的数据库名,留空则是备份所有数据库)
※ MYSQL_DATABASE_NAME 是一个数组变量,可以指定多个。举例如下:
MYSQL_DATABASE_NAME[0]="phpmyadmin"
MYSQL_DATABASE_NAME[1]="test"
BACKUP (需要备份的指定目录或文件列表,留空就是不备份目录或文件)
※ BACKUP 是一个数组变量,可以指定多个。举例如下:
BACKUP[0]="/data/www/default/test.tgz"
BACKUP[1]="/data/www/default/test/"
BACKUP[2]="/data/www/default/test2/"
LOCALAGEDAILIES (指定多少天之后删除本地旧的备份文件,默认为 7 天)
DELETE_REMOTE_FILE_FLG (删除FTP 上的备份文件 FLG,true 为删除,false 为不删除)
FTP_FLG (上传文件至 FTP 的 FLG,true 为上传,false 为不上传)
FTP_HOST (连接的 FTP 域名或 IP 地址)
FTP_USER (连接的 FTP 的用户名)
FTP_PASS (连接的 FTP 的用户的密码)
FTP_DIR (连接的 FTP 的远程目录,比如: public_html)
一些注意事项的说明:
1)脚本需要用 root 用户来执行;
2)脚本需要用到 openssl 来加密,请事先安装好;
3)脚本默认备份所有的数据库(全量备份);
4)备份文件的解密命令如下:
openssl enc -aes256 -in [ENCRYPTED BACKUP] -out decrypted_backup.tgz -pass pass:[BACKUPPASS] -d -md sha1
5)备份文件解密后,解压命令如下:
tar -zxPf [DECRYPTION BACKUP FILE]
解释一下参数 -P:
tar 压缩文件默认都是相对路径的。加个 -P 是为了 tar 能以绝对路径压缩文件。因此,解压的时候也要带个 -P 参数。
3、运行脚本开始备份
./backup.sh
脚本默认会显示备份进度,并在最后统计出所需时间。
如果你想将脚本加入到 cron 自动运行的话,就不需要前台显示备份进度,只写日志就可以了。
这个时候你需要稍微改一下脚本中的 log 函数。
log() {
echo "$(date "+%Y-%m-%d %H:%M:%S")" "$1"
echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}
}
改为:
log() {
echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}
}
关于如何使用 cron 自动备份,这里就不再赘述了 以 CentOS 6 来举例说明。
修改文件 /etc/crontab,内容如下:
SHELL=/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
MAILTO=root
HOME=/root
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed
30 1 * * * root bash /root/backup.sh
以上表示,每天凌晨 1 点 30 分,root 用户执行一次 backup.sh 脚本。
注意:
一定要修改其中的 PATH 和 HOME 变量的值。
尤其是 HOME 变量,qshell 命令能否正确执行,是要依赖于其配置文件的。默认用 root 配置的话,其配置文件夹应该是 /root/.qshell/ ,所以要更改 HOME 的值。
可以在七牛空间的内容管理里面看到已经备份的文件,同时可以下载:
三、七牛空间:备份文件生命周期设置
最后我们需要在空间里面设置自动删除20天之前的备份文件,使容器总大小不会超出10G的免费额度。
在生命周期里面点击新建规则:
输入规则名字。然后在下面把“删除文件”打开,设置删除时间为20天:
OK,以上就是给大家带来的“Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具”教程。如果你有任何疑问请在下面评论区提出!
本文首发于淀粉月刊:https://dfkan.com
原作者:居正
发布时间:2018年6月22日