CDH集群被攻击挖矿
2018-06-04 本文已影响0人
Just小布
最近使用云搭建了CDH集群,但是搭建的第二天就发现yarn的ResourceManager WebUI中出现了大量的不是我提交的作业,由dr.who提交。每隔几分钟就提交一次,作业内容是一样的。每次运行都失败,因为频繁的提交导致cpu使用率狂飙到700%以上,差点集群就瘫痪。
2.因为杀死的任务不断重启,于是猜想是不是有定时任务在不断执行,于是使用
3.入侵分析
查看tmp下的tmp.txt文件 发现原来tmp下的java文件是被恶意下载并伪装成java名称的。不过w.conf文件并没有被下载成功,所以集群并没有收到真正危害。
4.以下的图是同样遇到该问题的朋友发来的w.conf中的内容,从图中很容易的发现黑客在使用集群的资源进行挖矿。这是一个有原则黑客,在代码中写了注释,告诉你我在干什么= =!
5.入侵原因
本次大规模的云集群受到黑客攻击,根本原因是hadoop的8088端口,攻击者无需认证即可通过 REST API 部署任务来执行任意指令,最终可以完全控制集群中的所有机器。
所以我们只能通过防火墙把8088端口限制指定的ip或者ip段可以访问。或者启用kerberos认证功能(该方法我没有尝试)。
于是开始寻找问题:
1.首先使用命令查看下CPU使用率占用最多的pid
ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head
发现是yarn任务在执行java c操作,于是第一反应是将该pid直接kill掉,然而发现过一会又会自动重启。于是去/var/tmp下查看文件,发现tmp下的java文件打开乱码而且不是由我放进去的。2.因为杀死的任务不断重启,于是猜想是不是有定时任务在不断执行,于是使用
crontab -l
查看,未发现。切换到yarn用户再次查看,果然存在。
于是将集群中所有主机的该定时任务清除掉,并将tmp目录下的文件进行删除,集群恢复正常。3.入侵分析
查看tmp下的tmp.txt文件 发现原来tmp下的java文件是被恶意下载并伪装成java名称的。不过w.conf文件并没有被下载成功,所以集群并没有收到真正危害。
4.以下的图是同样遇到该问题的朋友发来的w.conf中的内容,从图中很容易的发现黑客在使用集群的资源进行挖矿。这是一个有原则黑客,在代码中写了注释,告诉你我在干什么= =!
5.入侵原因
本次大规模的云集群受到黑客攻击,根本原因是hadoop的8088端口,攻击者无需认证即可通过 REST API 部署任务来执行任意指令,最终可以完全控制集群中的所有机器。
所以我们只能通过防火墙把8088端口限制指定的ip或者ip段可以访问。或者启用kerberos认证功能(该方法我没有尝试)。