骨灰盒我爱编程

龙芯平台hadoop总是自动重启的问题调试记录

2017-04-27  本文已影响51人  李灿辉

在龙芯平台上使用hadoo进行数据解析测试时,发现一个现象,hadoop总是自动停止运行,然后又自动启动。

刚开始我怀疑是这台龙芯服务器的hadoop环境没有配置好。因为还有另外一台龙芯服务器hadoop运行良好,所以我就仔细对比了两台服务器的hadoop配置。结果发现配置完全相同。

在后面继续测试的过程中,我发现刚启动hadoop的时候hadoop的运行状态是正常的,等到我的应用程序进行数据解析的时候,hadoop就会出现问题,从启动hadoop到我的应用程序启动,并进行数据解析,大概是十分钟左右的时间,于是我怀疑hadoop是不是只能正常运行十分钟左右的时间,然后就会自己挂掉,于是接下来我进行了烤机试验,也就是,启动hadoop之后,什么都不干,看看hadoop自己会不会出问题。

测试的结果是,hadoop运行了半个小时,依然正常。

在往后的测试中,有一次测试我突然发现,不启动我的应用程序的时候,hadoop运行正常,只要把我的web应用一启动,都不用执行数据解析的功能,还突破就会出现问题,那么问题基本上可以确定是因为我的应用程序引起的。

这时候我才想起来,之前在14项目中,出现过hadoop运行几个小时时间之后,namenode, datanode, secondarynamenode, jobtracker, tasktracker当中某个进程自动退出的问题,于是就在应用程序上加了一个保证措施,应用程序启动之后,会自动启动一个线程,每隔三十秒检查一下hadoop的状态,检查的方法就是查看这五个进程都在不在,如果发现某个进程不在了,那么就要重新启动hadoop。

在14项目中,hadoop版本是1.2,hadoop的五个进程的名字如上文所述,但是在这个项目中,hadoop这个版本换成了2.4,hadoop的五个进程的名字变了,变成了nodemanager和resourcemanager等,结果应用程序检查的时候发现hadoop的五个进程总是不在,于是总是要重新启动hadoop,问题就是这样产生的。

上一篇下一篇

猜你喜欢

热点阅读