Hadoop运行环境搭建

安装hadoop2.7.2

1. 解压(/opt/software -> /opt/module)
   • tar -zxvf /hadoop-2.7.2.tar.gz -C /opt/module
2. 环境变量
   • sudo vim /etc/profile

   export HADOOP_HOME=/opt/module/hadoop-2.7.2
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin
   

3. 配置立即生效
   • source /etc/profile
4. 查看hadoop版本
   • hadoop version

完全分布式运行模式

1. 集群部署规划

   
   image.png

   画横线的最好不要配置在同一台服务器上

2. 配置集群(etc/hadoop/)

   1. 配置core-site.xml(核心配置文件)

      • vi core-site.xml

        <configuration>
        <!-- 指定HDFS中NameNode的地址 -->
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://fan102:9000</value>
        </property>
        <!-- 指定Hadoop运行时产生文件的存储目录 -->
        <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>
        </configuration>
        

   2. 配置hadoop-env.sh(HDFS配置文件)

      • vi hadoop-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144
        

   3. 配置hdfs-site.xml(HDFS配置文件)

      • vi hdfs-site.xml

        <configuration>
        <!-- 指定HDFS副本的数量 -->
        <property>
        <name>dfs.replication</name>
        <value>1</value>
        </property>
        <!-- 指定Hadoop辅助名称节点主机配置 -->
        <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>fan104:50090</value>
        </property>
        <!-- 开启浏览器访问HDFS -->
        <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
        </property>
        </configuration>
        

   4. 配置yarn-env.sh(YARN配置文件)

      • vi yarn-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144
        

   5. 配置yarn-site.xml(YARN配置文件)

      • vi yarn-site.xml

        <configuration>
        <!-- Reducer获取数据的方式 -->
        <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>fan103</value>
        </property>
        <!-- 历史服务器端地址 -->
        <!-- 历史服务器web端地址 -->
        <!-- 日志聚集功能使能 -->
        <!-- 日志保留时间设置7天 -->
        </configuration>
        

   6. 配置mapred-env.sh(MapReduce配置文件)

      • vi mapred-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144
        

   7. 配置mapred-site.xml(MapReduce配置文件)

      • cp mapred-site.xml.template mapred-site.xml
      • vi mapred-site.xml

        <configuration>
        <!-- 指定MR运行在Yarn上 -->
        <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>
        </configuration>
        

   8. 配置slaves(服务器注册表)

      • vi slaves

        fan102
        fan103
        fan104
        

   • 补充：配置HDFS存储多目录
     • df -h
       查看磁盘使用情况
     • vi hdfs-site.xml

       <property><name>dfs.datanode.data.dir</name><value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
       </property>
       

3. 启动<u style="line-height: 22.399999618530273px; box-sizing: content-box;">分发脚本</u>(pwd /opt/module/)

   • xsync hadoop-2.7.2/

4. 同步配置文件（/etc/profile）

   • scp /etc/profile root@fan103:/etc/profile

启动集群

1. 如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
   • bin/hdfs namenode -format
2. 启动HDFS
   • sbin/start-dfs.sh
3. 启动YARN
   • sbin/start-yarn.sh
     注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。
4. 查看
   1. Web端查看
      • http://fan102:50070/
   2. Web端查看SecondaryNameNode
      • 浏览器中输入：http://fan104:50090/status.html
   3. 查看各个节点状态
      • jps
   4. 当启动发生错误的时候
      1. 查看日志：/home/fan/module/hadoop-2.7.2/logs
      2. 如果进入安全模式，可以通过hdfs dfsadmin -safemode leave
      3. 停止所有进程，删除data和log文件夹，然后hdfs namenode -format 来格式化