hadoop HA（high available）集群搭建
2017-08-05 本文已影响0人
pamperxg
这篇文章重现了我自己用七台centos6.7mnimal虚拟机搭建一个ha hadoop集群的过程。（之前配置虚拟机和搭建hadoop集群的文章：虚拟机的配置和Hadoop集群的配置）
环境准备
从以前安装的虚拟机克隆7台（已经装好jdk，hadoop）。
-
vi /etc/udev/rules.d/70-persistent-net.rules(把eth1改为eth0，删除eth0所在行) -
vi /etc/sysconfig/network（修改主机名） -
vi /etc/sysconfig/network-scripts/ifcfg-eth0（配置ip） -
service iptables status（确认防火墙关闭） reboot-
vi /etc/hosts配置hosts - ssh免密登陆配置（
ssh-keygen,ssh-copy-id xxx） - 确定安装好jdk，配置好环境变量
集群规划
| 主机名 | IP | 安装的软件 | 运行的进程 |
|---|---|---|---|
| ha1 | 192.168.23.205 | jdk、hadoop | NameNode、DFSZKFailoverController(zkfc) |
| ha2 | 192.168.23.206 | jdk、hadoop | NameNode、DFSZKFailoverController(zkfc) |
| ha3 | 192.168.23.207 | jdk、hadoop | ResourceManager |
| ha4 | 192.168.23.208 | jdk、hadoop | ResourceManager |
| ha5 | 192.168.23.209 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| ha6 | 192.168.23.210 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| ha7 | 192.168.23.211 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
- 这里有两个NameNode，一个处于active状态，一个处于standby状态。ActiveNamenode对外提供服务，而StandbyNamenode则不对外提供服务，仅同步active namenode的状态，以便在故障时快速进行切换。hadoop2.0提供了两种HDFS HA的解决方案，NFS和QJM，这里我们使用QJM。在该方案中两个namenode间通过JournalNode同步元数据信息，一条数据只要写入JournalNode即认为写入成功。通常配置奇数个JournalNode，依靠zookeeper来协调。这里还配置了一个zookeeper集群，用于ZKFC故障转移。ResourceManager也是有一个Active，一个Standby，状态由zookeeper进行协调。
安装
zookeeper集群和简单的hadoop集群搭建前面已经介绍过
关于zookeeper：配置的要点是zoo.cfg（配置dataDir，server）和myid（在dataDir中），然后拷贝分发到奇数个节点（加上这个）上（mkdir datadir，修改myid）。
关于hadoop，添加环境变量，然后配置$HADOOP_HOME/etc/hadoop下的文件：
- hadoop-env.sh
export JAVA_HOME=/apps/jdk1.7.0_45 - core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为bigdata，两个namenode的逻辑名称 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata/</value>
</property>
<!-- 指定zookeeper地址，ha机制依赖于zookeeper -->
<property>
<name>ha.zookeeper.quorum</name>
<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
</configuration>
- hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为bigdata，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>bigdata</value>
</property>
<!-- bi下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.bigdata</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bigdata.nn1</name>
<value>ha1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bigdata.nn1</name>
<value>ha1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bigdata.nn2</name>
<value>ha2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bigdata.nn2</name>
<value>ha2:50070</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://ha5:8485;ha6:8485;ha7:8485/bigdata</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.bigdata</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行，防止脑裂-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间，超时则执行shell脚本 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
- mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>ha3</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>ha4</value>
</property>
<!-- 指定zk集群地址，yarn的高可用借助zookeeper实现 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- slaves（datanode，nodemanager的主机）
ha5
ha6
ha7
- 配置文件改好后，将hadoop拷贝到其他节点
scp -r /hadoop ha2:/
……
启动（按照顺序）
- 启动zookeeper集群
cd /hadoop/apps/zookeeper-3.4.5/bin/
./zkServer.sh start
./zkServer.sh status
- 启动JournalNode
cd /hadoop/hadoop-2.6.4
sbin/hadoop-daemon.sh start journalnode
- 格式化hdfs
hdfs namenode -format
然后拷到另一个namenode下
scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.6.4/
（hdfs namenode -bootstrapStandby）
生成了hdpdata的数据
- 格式化zkfc（在ha1上执行一次即可）
hdfs zkfc -formatZK
可以/zookeeper/bin/zkCli.sh连上去查看
- 启动hdfs
start-dfs.sh
- 启动yarn
start-yarn.sh
启动hdfs的过程
启动yarn的过程
启动yarn时还需要手动起ha4主机上的resourcemanager（可能那个脚本没写好）：
yarn-daemon.sh start resourcemanager高可用的hadoop集群在这里配置完毕！
ha解决了hadoop 1namenode的单点故障问题，federation解决了扩容问题，namenode容量可以水平拓展。
