记一次诡异的系统卡顿(php-fpm过多)

    公司的网站在一次重启后突然变的诡异起来.

    首先php-fpm的进程数会诡异的上升,最后达到max_children 然后系统502,监控显示 cpu  内存 网络   磁盘  都是很正常的,tcp连接出现诡异的上升,导致系统会异常的卡顿

pm.max_children = 

pm.start_servers = 

pm.min_spare_servers = 

pm.max_spare_servers = 

pm.max_requests = 

这几个参数 无论怎么设置    fpm的进程数都会缓慢 或者快速上升  最终导致502

然后我观察了php的错误日志

发现redis呈现一个诡异的连接异常, 我们使用的是阿里云的redis服务,我提工单给阿里云 但是得到的答案是没有异常

事情陷入了僵局,我似乎只能通过不断的重启php-fpm来解决这个问题

然后领导主张把两个不同的业务的redis分离

然后过了一天 领导跟我说,阿里云的redis报警说使用率超过95%了,我登上去一看发现没有超过30% 这是怎么回事呢,我又向阿里云发出工单,得到的回复是(其中一个节点爆掉了),我一看 我们使用的是4G4节点的redis 每个节点1G  原来是这个原因   把其换成4G2节点 就解决了这个问题

总结这次php-fpm过多的原因:阿里云的redis产品使用错误导致redis异常,进一步影响php-fpm,然后影响tcp链接,然后就会让系统卡顿