在CentOS7上搭建Hadoop开发环境
2018-05-22 本文已影响84人
slixiaohui
欢迎访问我的个人博客:https://xiaohuilee.github.io/
1、下载
镜像站点mirrors:http://mirrors.shu.edu.cn/apache/hadoop/common/
分两个版本,一个是源码src.tar.gz,一个是二进制的tar.gz,我们下载后者
wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz
2、解压
tar zxvf hadoop-2.9.1.tar.gz
3、配置java
切换使用的java版本用:
sudo alternatives --config java
java的安装路径需要小心,用whereis java
命令得到的是java的可执行文件(bin)存放的位置,不是我们想要的java-openjdk的安装路径。
java-openjdk的安装路径一般是在/usr/lib/jvm/java-1.8.0-openjdk
里。
打开/home/user/目录下的.bash_profile文件,将下列行添加其中
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
暂时不要关闭该文件,继续看下一步
4、配置hadoop
hadoop需要配置HADOOP_HOME环境变量,将下列行添加到.bash_profile文件中
export HADOOP_HOME=~/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
PATH=$PATH
的操作是将其他的环境变量($PATH)也加入到hadoop的寻址变量中
使环境变量配置生效使用
source .bash_profile
5、检查是否成功
cd ~
hadoop version
终端应当输出hadoop的版本信息如下:
Hadoop 2.9.1
Subversion https://github.com/apache/hadoop.git -r e30710aea4e6e55e69372929106cf119af06fd0e
Compiled by root on 2018-04-16T09:33Z
Compiled with protoc 2.5.0
From source with checksum 7d6d2b655115c6cc336d662cc2b919bd
This command was run using /home/aukuno/hadoop/hadoop-2.9.1/share/hadoop/common/hadoop-common-2.9.1.jar
6、跑个实验样本看看
mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar grep input output 'dfs[a-z.]+'
cat output/*
终端显示:
[aukuno@pythonDev hadoop-2.9.1]$ cat output/*
1 dfsadmin
执行ll output/
可以看到
[aukuno@pythonDev hadoop-2.9.1]$ ll output/
总用量 4
-rw-r--r--. 1 aukuno aukuno 11 5月 22 10:29 part-r-00000
-rw-r--r--. 1 aukuno aukuno 0 5月 22 10:29 _SUCCESS
说明成功。