win10+IDEA+Spring Boot+CDH远程连接HD

2018-08-12  本文已影响0人  PunkP

1)新建一个spring boot项目,引入jar包,pom文件内容如下

1 2 3

2)在一个controller文件中,写一个测试,用于下载hdfs中/temp目录下得一个文件

代码demo

3)引入,windows中远程调用hdfs得开发工具客户端

    (a)下载工具

        hadoop2.2版本可以在这里下载https://github.com/srccodes/hadoop-common-2.2.0-bin

        hadoop2.6版本可以在这里下载https://github.com/amihalik/hadoop-common-2.6.0-bin

    (b)指定客户端地址

        设置为:下载的zip包解压的目录,我这里解压后将其重命名为hadoop-common-2.6.0.  并且在程序中第一行指定其位置:System.setProperty("hadoop.home.dir","D:\\BBBBig Data\\hadoop\\Hadoop_2.6.0\\hadoop-common-2.6.0");

(或者可以直接在环境变量中指定?未测试

①增加系统变量HADOOP_HOME,值是下载的zip包解压的目录,我这里解压后将其重命名为hadoop-common-2.6.0

②在系统变量path里增加%HADOOP_HOME%\bin

上一篇 下一篇

猜你喜欢

热点阅读