hadoop程序执行与追踪

程序：wordcount
数据：1G文本文件---input.txt
节点：master 1个，slave 5个

1.开启hadoop

start-all.sh

1.png

2.查看进程

jps

2.png

3.hdfs创建文件夹

hadoop fs -mkdir /input

4.上传文件至hdfs

hadoop fs -put /opt/hadoop/input.txt /input

5.运行hdfs文件

hadoop jar /opt/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output

运行结束，打开192.168.190.109:9870

5.png

打开192.168.190.109:8088

55.png

6.开启JobHistory

在hadoop的sbin目录下
./mr-jobhistory-daemon.sh start historysever
//关闭JobHistory
//mr-jobhistory-daemon.sh stop historysever

jps查看进程，出现JobHistory就证明成功了

6.png

查看子节点的情况

hadoop job -list-active-trackers

6.png

7.追钟任务执行情况

打开192.168.190.109:8088

查看每个block分到哪三个节点上

7.png

打开192.168.190.109:19888查看任务分配情况

能查看程序运行的开始时间，结束时间和运行时间
点击Job ID

7（1）.png

点击Map和Reduce，可以看到任务分配情况

7（2）.png
map分了9个block，reduce分了1个block（1个block128MB）
点击每一个block，可以看到block的执行情况（3个节点中具体哪个节点执行）
7（3）.png

查看block由哪个节点执行，运行时间等信息

7（4）.png