13-Hadoop高级
2018-08-30 本文已影响0人
CrUelAnGElPG
Hadoop的HDFS HA、Yarn HA集群部署
1.HDFS
NN SNN(secondary)
热备
NN(active) 挂了
NN(standby)--》active
Zookeeper选举的 奇数 2n+1 至少3
<= 10 3台
10~100 7台
>100 9/11台
HDFS HA
hdfs dfs -ls /
hdfs://ip:9000/
代码或者shell脚本:
命名服务: nameservice1(CDH)
mycluster 配置文件 192.168.0.5 192.168.0.6
hdfs dfs -ls hdfs://mycluster/
core-site.xml
hdfs-site.xml
yarn-site.xml
slaves
Yarn HA
存储 HDFS HIVE HBase
计算 hive sql、MR、Spark
资源调度 Yarn
HBase读写
青云: https://ke.qq.com/course/302442?tuin=11cffd50
https://console.qingcloud.com
3台 3个外网IP
青云控制1个用户
1个外网IP+3台机器
1.VPC环境准备和集群机器准备
2.hosts修改
3.ssh多台机器信任关系 http://blog.itpub.net/30089851/viewspace-1992210/
4.
hadoop001:
ZK1
DN1
JN1
ZKFC
NN
NM
RM
hadoop002:
ZK1
DN1
JN1
ZKFC
NN
NM
RM
hadoop003:
ZK1
DN1
JN1
NM
