大数据

CDH 高可用

2020-12-08  本文已影响0人  只是甲

备注:测试版本 6.3.1

一.HDFS HA

HDFS的NameNode是一个单点,一个集群里面一般只有一个NameNode,当NameNode出现故障,Secondary NameNode并不会直接进行failover切换成为新的NameNode。

为了解决这个问题,HDFS在同一个集群里面运行两个NameNode,区别于Secondary NameNode,第二个NameNode被成为standby NameNode,可以提供自动的failover功能,一个集群里面最多只能有2个NameNode。同一时间,一个集群里面只有一个运行的NameNode。

CDH里面已经把这个做成了图形化界面操作,太方便了

1.1 启用HA

image.png

1.2 设置备用的NameService

image.png

1.3 选择备用的主机

image.png image.png image.png

1.4 审核更改

默认配置即可,录入 JournalNode目录

image.png

1.5 命令详细信息

等待命令执行完成


image.png

1.6 最后步骤

需要手工配置hue和hive,按照操作指导来即可

image.png

1.7 重启后

image.png

1.8 Hue 设置

Hue -> 配置 -> HDFS web界面角色 -> 选择httpfs,没有则在hdfs里添加角色。


image.png

1.9 Hive 设置

image.png image.png image.png

1.10 重启Impala

image.png

二.YARN HA

可以跟HDFS一样添加HA,如果HDFS已经启用HA,那更简单,添加一个ResourceManager,重启即可,CDH会自动部署高可用。

2.1 添加ResourceManager

image.png

2.2 选择ResourceManager 所在主机

image.png image.png

2.3 启动新增的ResourceManager

image.png image.png

2.4 重启YARN

image.png image.png

三.Hive HA

同YARN。添加MataStore Server和HiveServer2,重启自动部署。

3.1 添加MataStore Server和HiveServer2

image.png image.png

3.2 重启hive

image.png image.png

参考

1.https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_ha.html
2.https://blog.csdn.net/lingeio/article/details/97753136

上一篇 下一篇

猜你喜欢

热点阅读