Hadoop 安装指南

2019-01-27 本文已影响0人 brackenbo

最近由于要学习一下大数据相关的知识，首先遇到的就是Hadoop。那么接下来就看一下如何安装Hadoop。

下载tar包
https://hadoop.apache.org/releases.html
解压tar包
```
 tar -vxf hadoop.3.1.1.gz.tar
```

设置环境变量

 export HADOOP_HOME=/home/hadoop/hadoop-3.1.1 
 export HADOOP_INSTALL=$HADOOP_HOME
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export YARN_HOME=$HADOOP_HOME
 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native         
 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

修改hadoop-env.sh
脚本文件位于*/hadoop-3.1.1/etc/hadoop

 export JAVA_HOME=/opt/jdk1.8.0_192 
 export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/hadoop/hadoop-3.1.1/etc/hadoop"}

修改core-site.xml
脚本文件位于*/hadoop-3.1.1/etc/hadoop

fs.defaultFS指出了文件系统的位置

hadoop.tmp.dir: 临时文件夹的位置

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/hadooptmpdata</value>
    </property>
  </configuration>

修改hdfs-site.xml
脚本文件位于*/hadoop-3.1.1/etc/hadoop

dfs.replication 创建文件时复制的数目
dfs.name.dir 指定名字节点的位置

dfs.data.dir 指定data节点的位置

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
          <name>dfs.name.dir</name>
          <value>file:///home/hadoop/hdfs/namenode</value>
          <name>dfs.data.dir</name>
          <value>file:///home/hadoop/hdfs/datanode</value>  
      </property>
  </configuration>

记得要创建对应的文件夹

    mkdir -p hdfs/namenode
    mkdir -p hdfs/datanode

修改mapreduce.xml

mapreduce.framework.name 执行mapreduce jobs的运行时框架，可以为local, classsic, yarn

  <configuration>
      <property>
          <name>[mapreduce.framework.name](http://mapreduce.framework.name)</name>
          <value>yarn</value>
      </property>
  </configuration>

修改yarn.xml

 <configuration>
     <property>
         <name>mapreduceyarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
    </property>
 </configuration>

启动hadoop集群
```
 hdfs namenode -format
```
启动 HDFS
```
start-dfs.sh
```

如果提示ssh: connect to host refused，安装ssh，并且cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

启动yarn
```
start-yarn.sh
```
可以通过命令jps查看hdfs运行状态
```
jps
```
可以查看hadoop的版本
```
hdfs version
```
创建hdfs目录并且显示
```
hdfs dfs -mkdir /test
hdfs dfs -ls /
```

到此，hadoop安装完成。

Hadoop 安装指南

猜你喜欢

热点阅读