配置hadoop环境

2019-11-22 本文已影响0人灬蜂蜜柚子

准备Linux环境

修改主机名

 vi /etc/sysconfig/network
 NETWORKKING = yes
 HOSTNAME = master01

修改IP
a. 通过Linux图形界面进行修改
b. 修改配置文件

 vim /etc/sysconfig/network-scripts/ifcfg-eth0
 DEVICE="eth0"
 BOOTPROTO="static"         
 HWADDR="00:0C:29:3C:BF:E7"
 IPV6INIT="yes"
 NM_CONTROLLED="yes"
 ONBOOT="yes"
 TYPE="Ethernet"
 UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
 IPADDR="192.168.1.101"
 NETMASK="255.255.255.0"
         GATEWAY="192.168.1.1"

修改host文件

   vim  /etc/hosts
   192.168.1.100   master01
   192.168.1.101   slave01
   192.168.1.102   slave02

关闭防火墙

   a. 查看防火墙状态：service iptables status
   b. 关闭防火墙：service iptables stop
   c. 查看防火墙开机启动状态：chkconfig iptables --list
   d. 关闭防火墙开机启动：chkconfig iptables off

给hadoop用户添加执行权限
```
    sudo vi /etc/sudoers
```

关闭linux图形界面

   vi /etc/inittab
   startx    开启图形界面

重启linux
```
  reboot 
```

安装JDK

上传并解压jdk

      alt+p后出现sftp窗口，put …/jdk-8u…tar.gz.(secoreCRT)
      tar -zxvf jdk……tar.gz -C

添加环境变量

   vim /etc/profile
   export JAVA_HOME=….
   export PATH=$PATH:JAVE_HOME/bin

   source /etc/profile

安装hadoop

上传并解压hadoop（同jdk）

配置hadoop（文件目录：$HADOOP_HOME/etc/hadoop）

  a. hadoop-env.sh    
      export JAVE_HOME=…../jdk….
  b. core-site.xml
  <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
      <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master01:9000</value>
      </property>
      <!-- 指定hadoop运行时产生文件的存储目录 -->
      <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/hadoop-2.6.4/tmp</value>
      </property>
  c. hdfs-site.xml
  <!-- 指定HDFS副本的数量 -->
      <property>
      <name>dfs.replication</name>
      <value>1</value>
      </property>
 d. mapred-site.xml（mv mapred-site.xml.template mapred-site.xml）
 <!-- 指定mr运行在yarn上 -->
     <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
     </property>
 e. yarn-site.xml 
 <!-- 指定YARN的老大（ResourceManager）的地址 -->
     <property>
     <name>yarn.resourcemanager.hostname</name>          
     <value>master01</value>
     </property>
     <!-- reducer获取数据的方式 -->
     <property>
     <name>yarn.nodemanager.aux-services</name>                  
     <value>mapreduce_shuffle</value>
     </property>
 f. slaves（添加datanode结点）
     slave01
     slave02

添加环境变量

     vi /etc/profile
     export HADOOP_HOME=…/hadoop-2.8.5
     export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

     source /etc/profile

配置SSH免登录

    ssh-keygen -t rsa（四个回车）
    cd ~/.ssh（查看生成秘钥情况）
    ssh-copy-id slave01（目标机器）
    ssh slave01
    生成key->复制key到目标机器->验证

启动hadoop

格式化NameNode
```
     hdfs namenode -format
```
启动
```
    start-dfs.sh && start-yarn.sh
```

3、验证

      jps

      Jps
      NameNode（hdfs）
      DataNode（hdfs）
      SecondaryNameNode（hdfs）
      ResourceManager (yarn)
      NodeManager (yarn)

HDFS管理界面 master01：50070
MR管理界面 master01：8088

配置hadoop环境

猜你喜欢

热点阅读