shell定时清理过期文件/日志
前言
我从事于一家游戏公司,公司有一台日志服务器,用于临时存储各游戏日志进行以便数据清洗操作。日积月累日志文件耗费大量存储空间,导致磁盘空间不足。以下是我清理过期日志的过程
需求分析
1.有做备份的日志才能清理。那些日志备份做了备份,记录在另外一个备份脚本内。最好是从备份脚本直接读取需要清理的游戏,以免备份日志与清理的日志不一致导致比不必要的问题
2.需求是清理6天前的日志。日志文件是增量写入,可以用文件修改时间筛选6天前的日志。有多个目录的日志需要删除,需要查找指定目录下的过期日志,并用循环进行清理操作
3.开启定时任务执行清理操作,节约人力成本
具体操作
1.读取文件中的变量
同步脚本 rsync_logs.sh
,内容如下 需要提取变量log_dirs
的值
#!rsync_logs.sh
src="/data/xxx"
log_dirs="aktw mmga nmgf smzx sdfr sgta get asder ersr erar"
logfile="/home/xxx/scripts/rsync.log"
a.读取文件可以用 cat
b.过滤数据可以用 grep
c.切割出文本内容用 awk
使用cat读取文件,使用grep过滤包含log_dirs的行,使用awk根据 "
切割后取出第二个值。命令如下
cat rsync_logs.sh|grep 'log_dirs='|awk -F '\"' '{print $2}'
结果:
aktw mmga nmgf smzx sdfr sgta get asder ersr erar
2.清理6天前的日志
要清理 /data/logs/aktw/
6天前的日志文件
a.遍历目录下的所有文件
b.检查日志文件修改时间
c.删除过期文件
for file in `find /data/logs/aktw/ -type f -name "*"`
do
local expired_time=$[6*24*60*60] #此处定义文件的过期时间6天
local currentDate=`date +%s` #获取系统时间,所以时间格式为秒
local modifyDate=$(stat -c %Y $file) #获取文件修改时间
local existTime=$[$currentDate-$modifyDate] #对比时间,算出日志存在时间
if [ $existTime -gt $expired_time ];
then
rm -rf $file #删除文件
fi
done
实际环境要求
a.删除多个目录
b.在清理文件后,一并清理空目录
b.输出日志信息,以便确认/后续观察清理日志操作是否正常。
完善后的脚步如下:
#!clean_logs.sh
cd `dirname $0` #跳转至当前目录
log_dirs="$(cat rsync_logs.sh|grep 'log_dirs='|awk -F '\"' '{print $2}')" #读取同步脚本中的游戏配置
data_path="/data/logs/" #文件根目录
expired_time=$[6*24*60*60] #此处定义文件的过期时间 6天
function deletefiles {
#跳过空目录
if [ ! -d $1 ];
then
return
fi
#删除过期文件
for file in `find $1 -type f -name "*"` #获取目录下的文件,$1 第一个参数
do
local currentDate=`date +%s` #获取系统时间,所以时间格式为秒
local modifyDate=$(stat -c %Y $file) #获取文件修改时间
local existTime=$[$currentDate-$modifyDate] #对比时间,算出日志存在时间
if [ $existTime -gt $expired_time ];
then
echo "delete file true ,path:"$file",existTime="$existTime
rm -rf $file #删除文件
else
echo "delete file false,path:"$file",existTime="$existTime
fi
done
#删除空目录
for file in `find $1 -type d -name "*"` #获取目录下的目录,$1 第一个参数
do
local dircount=`ls -lR $file|grep "^-"|wc -l` #获取目录下文件个数 0 则是空目录
if [ $dircount -eq 0 ] && [ -d $file ];
then
echo "delete dir true ,path:"$file",dircount="$dircount
rm -rf $file #删除目录
else
echo "delete dir false,path:"$file",dircount="$dircount
fi
done
}
#for循环删除多个目录。注意 空格 是linux的转译符之一,因此log_dirs 为集合,非字符串
for dir in $log_dirs
do
deletefiles $data_path$dir/
done
3.将脚本加入定时任务
使用 crontab -e
编辑定时任务。设置每日02:00:00
执行清理脚本,全部日志输出到 /data/scripts/logs/clean_logs.log
0 2 * * * sh /data/scripts/clean_logs.sh >> /data/scripts/logs/clean_logs.log 2>&1;
crontab时间格式:
{minute} {hour} {day-of-month} {month} {day-of-week} {full-path-to-shell-script}
o minute: 区间为 0 – 59
o hour: 区间为0 – 23
o day-of-month: 区间为0 – 31
o month: 区间为1 – 12. 1 是1月. 12是12月.
o Day-of-week: 区间为0 – 7. 周日可以是0或7.
4.确认脚本运行状态
a.先手动执行脚本,完成清理
b.第二天使用 cat /data/scripts/logs/clean_logs.log
查看日志是否有异常
四、相关资料
linux 文件查找 https://www.cnblogs.com/huninglei/p/5824205.html
Linux下统计目录个数、文件个数 https://blog.csdn.net/llq_200/article/details/80506447
crontab 详细用法 定时任务 https://www.cnblogs.com/aminxu/p/5993769.html