HDP-使用-mapreduce任务
2018-03-09 本文已影响14人
yunpiao
以wordcount 为例子， 展示在hdp平台上使用mapreduce
1. 上传数据到HDFS
上传一个文本文件到hdfs 的input文件夹下
本文上传了一个http通信过程的文本文件
上传数据
2. 终端运行hadoop mapreduce
由于hdp没有mapreduce的命令终端， 所以这是进入终端执行hadoop命令
hadoop jar /usr/hdp/2.6.0.3-8/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount input output
命令解释 jar 后， 指定wordcount的jar包位置， wordcount指定运行函数
