contos 7 安装 hadoop (single node 模式)

下载 hadoop

1. 官网：http://hadoop.apache.org/
2. 官网下载地址：http://hadoop.apache.org/releases.html
3. 镜像地址：http://www.apache.org/dyn/closer.cgi/hadoop/common
4. 安装教程：http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SingleCluster.html
5. hadoop 文档：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

安装 ssh

sudo yum install openssh-clients

Pdsh 安装 (Parallel Distributed Shell)

sudo yum install pdsh

如果安装不成功，可以尝试以下两种方法

sudo rpm -ivh http://mirrors.hustunique.com/epel/6/x86_64/epel-release-6-8.noarch.rpm
sudo yum install pdsh -y

再不行，就用源码安装

cd /opt/
sudo yum install wget -y
sudo wget http://nchc.dl.sourceforge.net/project/pdsh/pdsh/pdsh-2.26/pdsh-2.26.tar.bz2
ls
sudo tar -xf pdsh-2.26.tar.bz2 -C /usr/src/
cd /usr/src/pdsh-2.26/
sudo yum install openssh-clients -y
sudo yum install gcc -y
./configure --with-ssh --without-rsh
sudo make
sudo make install

完成后，验证是否安装成功

pdsh -V

下载解压 hadoop

tar -xvf hadoop-3.1.1.tar.gz

把解压后的 hadoop 命名

sudo mv hadoop-3.1.1 hadoop

复制到/usr/local 下

sudo cp -r hadoop /usr/local

添加 Java,hadoop 环境变量

输入sudo vi /etc/profile文件，在文件结尾输入追加以下内容

export JAVA_HOME=/usr/java/jdk-10.0.2
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME-/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

vi 命令

1. 退出保存：先按 ESC，然后输入:qw
2. 退出不保存：先按 ESC，然后输入:q!

修改etc/hadoop/hadoop-env.sh

# set to the root of your Java installation
export JAVA_HOME=/usr/java/latest

查看 hadoop 是否安装成功

bin/hadoop

出现该指令的使用指导就说明安装成功