Hadoop安装配置之本地模式安装

Hadoop安装部署方式有三种，在这里介绍其中一种安装部署方式——本地模式。Hadoop本地模式中没有HDFS，只能用来测试MapReduce程序（在该种模式下，MapReduce程序并不是运行在Yarn容器中，而是作为一个独立的Java程序运行）

1.准备环境

系统：rhel-server-7.4-x86_64
JDK：jdk-8u144-linux-x64.tar.gz
Hadoop：hadoop-2.7.3.tar.gz
在这里，假设已经在虚拟机系统里面安装好JDK，并且已经配置好JAVA_HOME环境变量

2.安装步骤

• 上传Hadoop安装包到虚拟机系统中

[root@bigdata111 tools]# ll
total 390244
-rw-r--r--. 1 root root 214092195 Jun 26 06:34 hadoop-2.7.3.tar.gz
-rw-r--r--. 1 root root 185515842 Jun 26 05:19 jdk-8u144-linux-x64.tar.gz
[root@bigdata111 tools]# 

• 解压安装包

[root@bigdata111 tools]# tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/
[root@bigdata111 tools]# cd ~/training/
[root@bigdata111 training]# ll
total 0
drwxr-xr-x. 9 root root 149 Aug 18  2016 hadoop-2.7.3
drwxr-xr-x. 8   10  143 255 Jul 22  2017 jdk1.8.0_144
[root@bigdata111 training]# 

• 配置Hadoop环境变量
  编辑~/.bash_profile文件，在末尾添加以下语句

HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

保存后，运行以下语句使配置生效

[root@bigdata111 training]# source ~/.bash_profile 
[root@bigdata111 training]#

• 修改hadoop-env.sh配置文件
  编辑/root/training/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件，将文件里参数JAVA_HOME的值设置为JDK的JAVA_HOME值，这里我虚拟机系统JDK的JAVA_HOME值为/root/training/jdk1.8.0_144
  
  保存退出，至此Hadoop本地模式已经配置完毕

3.测试Hadoop本地模式

这里通过测试Hadoop安装包里面自带的一个MapReduce程序（WordCount）来检测Hadoop本地模式是否安装部署成功

• 新建程序输入目录和输入的文件数据

[root@bigdata111 ~]# pwd
/root
[root@bigdata111 ~]# mkdir temp
[root@bigdata111 ~]# cd temp/
[root@bigdata111 temp]# mkdir input
[root@bigdata111 temp]# cd input/
[root@bigdata111 input]# pwd
/root/temp/input
[root@bigdata111 input]# 

创建文件data.txt，在文件里面写入以下内容

I love Beijing
I love China
Beijing is the capital of China

运行MapReduce程序

[root@bigdata111 tools]# cd ~/training/hadoop-2.7.3/share/hadoop/mapreduce/
[root@bigdata111 mapreduce]# ll
total 4972
-rw-r--r--. 1 root root  537521 Aug 18  2016 hadoop-mapreduce-client-app-2.7.3.jar
-rw-r--r--. 1 root root  773501 Aug 18  2016 hadoop-mapreduce-client-common-2.7.3.jar
-rw-r--r--. 1 root root 1554595 Aug 18  2016 hadoop-mapreduce-client-core-2.7.3.jar
-rw-r--r--. 1 root root  189714 Aug 18  2016 hadoop-mapreduce-client-hs-2.7.3.jar
-rw-r--r--. 1 root root   27598 Aug 18  2016 hadoop-mapreduce-client-hs-plugins-2.7.3.jar
-rw-r--r--. 1 root root   61745 Aug 18  2016 hadoop-mapreduce-client-jobclient-2.7.3.jar
-rw-r--r--. 1 root root 1551594 Aug 18  2016 hadoop-mapreduce-client-jobclient-2.7.3-tests.jar
-rw-r--r--. 1 root root   71310 Aug 18  2016 hadoop-mapreduce-client-shuffle-2.7.3.jar
-rw-r--r--. 1 root root  295812 Aug 18  2016 hadoop-mapreduce-examples-2.7.3.jar
drwxr-xr-x. 2 root root    4096 Aug 18  2016 lib
drwxr-xr-x. 2 root root      30 Aug 18  2016 lib-examples
drwxr-xr-x. 2 root root    4096 Aug 18  2016 sources
[root@bigdata111 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp/input/data.txt /root/temp/output/wc

执行结果如下：

[root@bigdata111 output]# pwd
/root/temp/output
[root@bigdata111 output]# tree
.
└── wc
    ├── part-r-00000
    └── _SUCCESS

1 directory, 2 files
[root@bigdata111 output]# 

查看part-r-00000内容

[root@bigdata111 output]# cat wc/part-r-00000 
Beijing 2
China   2
I   2
capital 1
is  1
love    2
of  1
the 1
[root@bigdata111 output]# 

由上面结果可以看出，MapReduce程序可以正常运行，即是代表Hadoop本地环境安装部署成功.