Hadoop(二)：Hadoop组成

Hadoop组成

2.0 Hadoop组成.jpg

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性比较大。
在Hadoop2.x时代，增加了Yarn。MapReduce只负责运算，Yarn负责资源的调度。
Hadoop3.x在组成上和Hadoop2.x没有变化。

Hadoop的三大核心组件

• HDFS（Hadoop Distribute File System）：hadoop的数据存储工具
• MapReduce：分布式计算框架
• YARN（Yet Another Resource Negotiator）：Hadoop的资源管理器
  后续文章围绕基于Hadoop3.x版本三大组件展开，首先先了解下相关概念。

HDFS

HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部署在廉价的机器上的，适合存储海量数据的分布式文件系统。
在HDFS中，1个文件会被拆分成多个Block每个Block默认大小为128M。这写Block被复制为多个副本，被存放在不同的主机上，这也保证了HDFS的高容错性。

2.6 hdfs.gif

• NameNode(nn): 数据存储在什么位置；存储文件的元数据，如文件名、文件目录、文件属性以及每个文件的块列表和块所在的DataNode等。
• DataNode(dn):具体存储数据的位置；在本地文件系统存储文件块的数据，以及块数据的校验和。
• Secondary NameNode(nn):辅助NameNode工作；每隔一段时间对NameNode数据备份。

MapReduce

Hadoop的MapReduce是对google三大论文的MapReduce开源实现，实际上是一种编程模型，用于处理海量数据的运算。

2.7 mapreduce.jpg

MapReduce将计算过程分为两个阶段：map和reduce

• map阶段并行处理输入数据
• reduce阶段对map结果进行汇总

YARN

Apache Hadoop YARN是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供同一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据通向等方面带来了巨大的好处。通过YARN，不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度。

2.2.1 yarn组成.jpg

• ResourceManager(RM):整个集群资源（内存、cpu）的老大
• NodeManager(NM):单节点服务器资源的老大
• ApplicationMaster(AM):单任务运行的老大
• Container:容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。
• Client:客户端，可以有多个
  说明：
• 客户端可以有多个
• 集群上可以运行多个ApplicationMaster
• 每个NodeManager可以有多个Container
• Container默认开启1～8G内存，至少分配一个CPU

HDFS、MR、YARN关系

2.3.1 hdfs、mr、yarn三者关系.jpg

大数据生态体系

2.4 大数据技术生态体系.jpg

小结

• 了解Hadoop三大核心组件，简述HDFS、MR、YARN，后续将详细介绍三大组件
• 熟悉大数据生态体系