0基础自学linux运维-1.4-如何删除900W单目录小文件
需求
有的开发代码写不好,导致单目录下缓存文件近900W个,要求删除这900W个文件,怎搞?
分析
如果是使用rm -rf 肯定不好,会卡死,提示参数过长,看来是把文件名当成参数了。顶多就80W个,已经很不错了。明显满足不了要求
可以用rsync同步清空,rsync统计文件名不会全部写在内存中了,超过一定数据会放在磁盘里,所以适合删除文件数比较多的情况
操作
[root@vm6Temp.old]$ ls -1f |wc -l
8767765
[root@vm6 tools]# cd /disk1/tools
[root@vm6 tools]# time rsync --delete-before -d --progress --stats empty/ Temp.old/
...
Number of files: 1
Number of files transferred: 0
Total file size: 0 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 15
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 22
Total bytes received: 12
sent 22 bytes received 12 bytes 0.00 bytes/sec
total size is 0 speedup is 0.00
rsync warning: some files vanished before they could be transferred (code 24) at main.c(1039) [sender=3.0.6]
real 753m37.972s(约12.5小时)
user 1m26.525s
sys 11m37.410s
可见统计和删除一共花了12.5小时,服务器是阿里云4核8G的,文件都是10多k-几十k
总结:
不要在一个目录中放大量的(通过超过200W的文件)文件,这样会对系统性能有影响,得细分成类,这样能提高性能也方便维护。