记一次CPU 100%排查过程
2021-03-25 本文已影响0人
知道越多不知道越多
也不知道为啥，鬼使神差的登录了我们的宝塔后台
宝塔Linux面板是提升运维效率的服务器管理软件，支持一键LAMP/LNMP/集群/监控/网站/FTP/数据库/JAVA等100多项服务器管理功能。
发现CPU的使用爆满，一下激起了我的好奇心。
image.png
赶紧进入服务器执行top命令查看服务器各项指标使用情况。
image.png
第一行的进程CPU占用776.6，此时能确定是这个Java服务的问题。
接着使用命令
top -H -p pid
查看49440占用CPU高的线程
top -H -p 49440
此结果忘记截图，下图是网上找的，大概能知道是啥就可以：
image.png
此时发现第一个线程占用CPU非常高，我们继续分析一下这个线程为什么占用CPU如此之高。
我们需要转换线程id：
printf "%x\n" 17880
45d8
定位原因：
jstack 49440|grep 45d8 -A 30
发现该线程中存在很多线程状态为WAITING
image.png
大致能知道是因为线程阻塞造成的。
继续分析，发现是由于代码里使用的StringBuffer导致线程阻塞，业务场景是，用户登录后需要给用户生成一个Token，使用StringBuffer进行拼接，由于JAVA中StringBuffer使用Synchronized实现线程安全，性能比较低，线程竞争较大的时候效率很低，因此我们不推荐使用StringBuffer。
发现了问题，需要进行处理，我们可以使用StringBuilder进行字符串拼接，安全问题使用ReentrantLock可重入锁来解决。
修改上线，观察一段时间，CPU恢复正常状态
image.png
但偶尔出现波峰导致CPU上升到20%作用，但很快就会恢复正常，安心睡觉。
