Hadoop

Windows下Eclipse配置Hadoop开发环境遇到的坑

2016-10-24  本文已影响127人  Harlan1994

关于Eclipse的Hadoop环境的配置,可以参考这两篇博文:
1、Windows7下面eclipse(4.5.2)& hadoop2.7.2 开发环境配置
2、Hadoop集群(第7期)_Eclipse开发环境设置
以下是本人在为Eclipse配置Hadoop开发环境时遇到的坑:

坑1:DFS Location下的文件显示没有权限(参考博文里面也有提到另一种方案):
解决方案:修改hdfs-site.xml配置文件的dfs.permissions为false,

<property>
   <name>dfs.permissions</name> 
   <value>false</value>
</property>

坑2:端口号的问题。在core-site.xml文件和mapred-site.xml文件配置的端口号必须对应,如下图所示:

这是mapred-site.xml里面mapred.job.tracker的端口对应Eclipse中的Map/Reduce Master端口:


Paste_Image.png

这是在core-site.xml里的DFS对应的fs.defaultFS的端口,对应Eclipse中的DFS Master端口:


Paste_Image.png

坑3:运行WordCount示例程序,报Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "Harlan/[192.168.31.1](qq://txfile/#)"; destination host is: "hadoop":50070;的异常。
这又是端口问题,在main方法里面传入的两个参数的IP地址要正确,并且端口号需要和core-site.xml里面的fs.defaultFS的端口号对应(这就是初学者的痛《;。;》):

Paste_Image.png
上一篇下一篇

猜你喜欢

热点阅读