我爱编程

Hadoop高可用环境搭建

2017-04-28  本文已影响159人  忘净空

在Hadoop环境搭建中，我们配置多个DataNode保证了DataNode的高可用，但是NameNode是单点的，在生产环境存在风险。接下来配置Hadoop的高可用，其实就是NameNode的高可用。

配置文件修改

<configuration>
<!-- 注意fs.defaultFS、ha.zookeeper.quorum配置项 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/bigdata/software/hadoop-2.7.3/data/temp</value>
</property>
<property> 
    <name>ha.zookeeper.quorum</name>  
    <value>master,slave01,slave02</value> 
</property> 
</configuration>

<configuration>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slave01:50090</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<!-- HA配置开始 -->
<property> 
    <name>dfs.nameservices</name>  
    <value>mycluster</value> 
</property>  
<property> 
    <name>dfs.ha.namenodes.mycluster</name>  
    <value>nn1,nn2</value> 
</property>  
<property> 
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>  
    <value>master:9000</value> 
</property>  
<property> 
    <name>dfs.namenode.http-address.mycluster.nn1</name>  
    <value>master:50070</value> 
</property>  
<property> 
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>  
    <value>slave01:9000</value> 
</property>  
<property> 
    <name>dfs.namenode.http-address.mycluster.nn2</name>  
    <value>slave01:50070</value> 
</property>  
<property> 
    <name>dfs.namenode.shared.edits.dir</name>  
    <value>qjournal://master:8485;slave01:8485;slave02:8485/mycluster</value> 
</property>  
<property> 
    <name>dfs.journalnode.edits.dir</name>  
    <value>/usr/local/bigdata/software/hadoop-2.7.3/data/journal</value> 
</property>  
<property> 
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value> 
</property>  
<property> 
    <name>dfs.client.failover.proxy.provider.mycluster</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property>  
<property> 
    <name>dfs.ha.fencing.methods</name>  
    <value>sshfence</value> 
</property>  
<property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name>  
    <value>/home/hadoop/.ssh/id_rsa</value> 
</property>  
<property> 
    <name>dfs.ha.fencing.ssh.connect-timeout</name>  
    <value>30000</value> 
</property>  
<!-- HA配置结束 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/bigdata/software/hadoop-2.7.3/data/temp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/bigdata/software/hadoop-2.7.3/data/temp/dfs/data</value>
</property> 
</configuration>

启动集群

当前机器的配置为master、slave01、slave02，master和slave01为NameNode

  1. 启动zookeeper集群

  2. 启动journalnode集群
    hadoop-daemons.sh start journalnode

  3. 格式化zkfc,让在zookeeper中生成ha节点
    hdfs zkfc -formatZK

  4. 格式化hdfs
    hadoop namenode –format

  5. 启动NameNode
    在master节点执行
    hadoop-daemon.sh start namenode

    把NameNode的数据同步到slave01上
    hdfs namenode –bootstrapStandby
    启动slave02上的namenode作为standby
    sbin/hadoop-daemon.sh start namenode

  6. 启动启动datanode
    hadoop-daemons.sh start datanode

  7. 启动yarn
    start-yarn.sh

  8. 启动ZKFC
    hadoop-daemons.sh start zkfc

遇到的问题

配置如下：
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

fs.ha.fencing.methods参数解释:

系统在任何时候只有一个namenode节点处于active状态。在主备切换的时候，standby namenode会变成active状态，原来的active namenode就不能再处于active状态了，否则两个namenode同时处于active状态会有问题。所以在failover的时候要设置防止2个namenode都处于active状态的方法，可以是Java类或者脚本。

fencing的方法目前有两种，sshfence和shell

sshfence方法是指通过ssh登陆到active namenode节点杀掉namenode进程，所以你需要设置ssh无密码登陆，还要保证有杀掉namenode进程的权限。

启动后发现namenode日志：org.apache.hadoop.ha.ActiveStandbyElector: Exception handling the winning of election

解决：
namenode节点执行：yum -y install psmisc

注意点

上一篇 下一篇

猜你喜欢

热点阅读