Hadoop常见问题整理

2016-08-18 本文已影响512人司小幽

1、Namenode问题

cannot delete name node is in safe mode

Hadoop namenode无法启动

2.环境变量问题

bash:haoop:command not found

3.权限问题

①YARN执行作业遇到Unauthorized request to start container问题：

datanode与namenode之间未设置时间同步，所以引起该异常。

解决方案：多个datanode与namenode进行时间同步。

②HDFS客户端的权限错误：Permission denied

1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行HADOOP上的Linux的用户名。（修改完重启eclipse，不然可能不生效）

2、将当前系统的帐号修改为hadoop

3、使用HDFS的命令行接口修改相应目录的权限，hadoop fs -chmod 777 /user,后面的/user是要上传文件的路径，不同的情况可能不一样，比如要上传的文件路径为hdfs://namenode/user/xxx.doc，则这样的修改可以，如果要上传的文件路径为hdfs://namenode/java/xxx.doc，则要修改的为hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /，java的那个需要先在HDFS里面建立Java目录，后面的这个是为根目录调整权限。

推荐第一种