hadoop window10环境下本地调试配置
2018-01-10 本文已影响0人
东泽
1.在myeclipse中配置新建自定义的library，将hadoop-2.7.2.tar.gz解压后的jar包导入（注：类似-test-xx.jar 和 -src-xx.jar的包分别是测试和源码包可以不导入 ）新建项目后，在build path 中添加自定义的library
image.png
image.png
2.配置hadoop的环境变量
image.png
image.png
3.检查Java环境和Hadoop环境
image.png
4.下载win10 64位环境 Hadoop-2.7.2对应的hadoop.dll和winutils.exe
(解决运行时 空指针异常问题 注意：只使用于 win10 64位 hadoop-2.7环境 )
https://pan.baidu.com/s/1jJNV0J8
将/bin目录下的文件copy到自己的安装bin目录下
5.异常问题
org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)
导入源码包后发现这一行报错
image.png
必须要修改源码，直接return true 即可
解决方法：
不需要下载hadoop-2.7.2.src.tar.gz文件，直接在项目中建立同名包和同名文件，将NativeIO.class里的代码拷贝修改即可
image.png
