Yarn HA
2019-04-16 本文已影响0人
喵星人ZC
一、架构图
image.png
二、架构剖析
| 机器名 | 进程 | 进程 | 进程 |
|---|---|---|---|
| hadoop001 | ZK | RM[ZKFS] | NM |
| hadoop002 | ZK | RM[ZKFS] | NM |
| hadoop003 | ZK | NM |
1、此处ZKFS为线程，只作为RM进程的一个线程而非独立的进程存在
2、RM
a、启动时候会向ZK的/rmstore目录写lock文件，写成功就为active，否则standby
b、接收client的请求，接收和监控NM的资源状况的汇报，负载资源的分配和调度。
c、启动和监控APPMASTER on NM节点的container
3、NM节点资源的管理 启动容器运行task计算 上报资源
4、RMStateStore
a、存储在zk的/rmstore目录下
b、activeRM会向这个目录写APP信息
c、当activeRM挂了，另外一个standby RM通过
ZKFC选举成功为active，会从/rmstore读取相应的作业信息。重新构建作业的内存信息，启动内部的服务，
开始接收NM的心跳，构建集群的资源信息，并且接收客户端的作业提交请求
