hadoop常见错误集锦

1、启动hadoop时没有NameNode的可能原因：

（1） NameNode没有格式化
（2） 环境变量配置错误
（3） Ip和hostname绑定失败

2、搭建hadoop集群使用ssh不成功

①查看防火墙
②检查用户权限
③可能是缺少插件
使用命令： yum install -y openssh-clients*

3、启动时报错java.net. UnknownHostException

原因分析：通过localhost.localdomain根本无法映射到一个IP地址。
解决方法：查看/etc/hosts，将主机名hostname添加到hosts文件中。

4、hadoop在第一次启动时报错

①检查是不是对namenode进行了格式化
②namenode格式化前是否将data 和logs文件删除

5、运行shell脚本不成功

查看脚本的文件格式修改为unix格式
修改脚本格式：进入脚本文件按“shift ：”输入set fileformat = unix回车

6、window下运行我wordcount报下面错误

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解决方案：拷贝 hadoop.dll 文件到 windows 目录 C:\Windows\System32。

7、日志问题

报错log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

解决方案：需要在项目的src下面新建file名为log4j.properties的文件；

8、远程连接问题

当远程连接不到linux时 查看电脑中的网卡的子网掩码与主机的子网掩码是否一致，若不一致则格式化网卡再将网段改回来。

9、start-dfs.sh不能生效故障

使用时应注意ssh应可以免密登录本机才可以使用。

10、上传文件，报错：NameNode is safe mode.

①等一会在上传
②使用hdfs dfsadmin -safemode leave命令退出安全模式就可以继续使用了