hadoop 基本概念
2020-03-01 本文已影响0人
d9e7e8498548
- Hadoop架构
Hadoop由两个主要组件组成：HDFS、YARN- master节点
为worker节点提供协调服务，是用户访问集群的入口点 - worker节点
worker节点运行的服务从master节点接受任务——存储或检索数据、运行特定应用程序。通过并行分析运行分布式计算
- master节点
- HDFS
NameNode（master服务）：存储文件系统的目录树、文件元数据、集群中每个文件的位置
Secondary NameNode（master服务）：代表NameNode执行内务任务并记录检查点
DataNode（worker服务）：存储、管理本地磁盘上的HDFS块 - YARN
ResourceManager（master服务）：为应用程序分配和监视可用的集群资源
ApplicationMaster（master服务）：根据ResourceManager调度，协调在集群上运行的特定应用程序
NodeManager（worker服务）：在单个节点上运行和管理处理任务，报告任务运行时的健康状况和状态
