线上事故-磁盘空间占满
2020-09-19 本文已影响0人
little多米
收到反应线上部分用户公众号页面打不开,此时以为是手机系统或型号,或者运营商网络的问题。
试图重启tomcat解决,重启之后,后台无法进入
日志显示数据库连不上
发现数据库进程没了,3306端口停止监听
重启数据库,失败
查看数据库启动日志,显示磁盘空间不足
查看磁盘空间,使用率已达100%
清除一波日志文件后,剩余充足空间
重启数据库,重启tomcat,问题解决
根本原因:大量日志文件写入导致磁盘空间占满,数据库进程崩溃。
改善方案:使用脚本定时检测磁盘空间,当使用率达到85%以上时,自动清理。