Ubuntu安装hadoop并做单机测试

1.配置jdk

见前文

2. 下载解压hadoop

    这里以2.7.7版本为例，将文件剪切到/usr/local里面并更改名字为hadoop方便后续配置

#解压
sudo tar -zxvf hadoop-2.7.7.tar.gz

#更名
sudo mv hadoop-2.7.7.tar.gz hadoop

3. 为hadoop配置jdk版本呢

    设置hadoop目录下的env文件，hadoop/etc/hadoop-env.sh文件，注意这里的etc是在hadoop目录下的etc，大家注意命令执行的路径，在里面定义jdk目录，建议将hadoop_home和path也定义一下

vi ./etc/hadoop/hadoop-env.sh 

#做如下编辑
export JAVA_HOME=/usr/local/java/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin

#更新配置
source ./etc/hadoop/hadoop-env.sh 

4. 为hadoop设置环境变量

    这里直接设置~/.bashrc,设置相关配置即可，HADOOP_HOME是我的hadoop文件路径，大家根据个人情况更改即可，最后的PATH因为我在bashrc里面同时配置了jdk、hadoop和hbase，所以如果有和我情况相同的小伙伴建议将PATH下在一起，像注释那样

vi  ~/.bashrc

#做如下配置
#HADOOP VARIABLES START
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:${HBASE_HOME}/bin
export #PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

#更新配置
source ~/.bashrc

5. 设置ip映射

配置hosts文件，为主机增加IP映射

vi /etc/hosts

#如下编辑
127.0.0.1  maya（换成自己的主机名）

#重启网络
sudo /etc/init.d/networking restart

6. 增加用户并授权

    一般我们测试的时候都会使用hadoop或者hduser一类的用户，当测试的时候切换到对应用户并进行操作，也可以使用其他用户(主机用户)，但是记得对用户进行授权，否则当后面操作的时候会因为不能访问文件而导致错误。

#增加用户
sudo useradd -m hadoop -s /bin/bash

#设置密码
sudo passwd hadoop

#添加管理员权限(可选)
sudo adduser hadoop sudo

7. 单机测试

    进入hadoop目录，建立input文件夹，复制几个文件当作输入数据源(这里采用的是hadoop/etc/*.xml),然后执行haddop自带的关键字提取方法进行检验，将结果输出到output文件当中，注意：二次实验时需要事先删除output文件

#进入hadoop目录下，在这下面执行命令方便一些
cd /usr/local/hadoop

#建立input目录
sudo mkdir input

#将数据复制到input目录
sudo cp ./etc/*.xml ./input

#执行hadoop自带的grep操作，系统会将匹配的项写入output文件
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep ./input ./output 'dfs[a-z.]+'

8. 结果

    执行完毕后目录下会出现output文件夹，查看里面的文件的内容即可

image.png

---

image.png