Hadoop学习(二) 配置Hadoop的Eclipse的编程环
2018-12-21 本文已影响0人
禅大师
Eclipse版本,Juno (4.2) 。先去网上下载Eclipse的Plugin插件,org.apache.hadoop.eclipse.plugins.1.0.3.jar 放到eclipse/dropins下,重启eclipse会自动找到插件。
在Eclipse的偏好设定-Hadoop下设定本地的Hadoop安装路径。
在Windows->Open Perspective中,选择Other,在弹出框中选择Map/Reduce,点击OK。进入Map/Reduce视图。
点击右键,新建一个Location,在弹出框内设定名称和端口号9000。
点击Finish,完成后,在左边的Project Explore视图中,即可看到已经建立后的目录结构。
本地创建一个文件,命名为a01.dat,编辑a01.dat,输入:Hello,hadoop! 保存退出。
在Project Explore视图中,点击右键,选择Upload files to DFS,将a01.dat文件上传。
在新建项目向导中,新建一个Map/Reduce的项目。
在src路径下,新建一个普通的Java类,源代码如下:
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.security.AccessControlException;
public class test {
public static void main(String[] args) throws AccessControlException,
FileNotFoundException, IOException, URISyntaxException {
String dst = "hdfs://localhost:9000/a01.dat";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
FSDataInputStream hdfsInStream = fs.open(new Path(dst));
IOUtils.copyBytes(hdfsInStream, System.out, 4090, false);
}
}
选择Run As - Run on Hadoop
出现结果:Hello,hadoop!