k8s集群节点日志暴增导致磁盘打满

2019-11-05  本文已影响0人  小笨郎

现象

k8s无法正常调度, pod不是被驱逐,就是一直creating.

排查过程

临时解决方案

cat /dev/null > /var/log/message 将占用存储释放出来, 保证集群正常提供服务
systemctl restart kubelet

误删/var/log/messages 解决办法

一开始, 直接rm -rf /var/log/messages, 可能并不能真正释放空间, 可以通过 lsof|grep delete 查看. 当系统中某个文件被意外删除, 只要这个时候还有程序正在访问这个文件, 那么我们可以通过lsof 从/proc目录下恢复该文件内容.
恢复步骤:

参考:
https://blog.csdn.net/ksn13/article/details/44062535
http://okhymok.lofter.com/post/1cce8fd7_668856a

上一篇下一篇

猜你喜欢

热点阅读