题记

本文资料来源于拉钩大数据开发高薪训练营。

Hadoop 由四部分组成

• Hadoop HDFS：（hadoop distribute File System）一个高可靠、高吞吐量的分布式文件存储系统。
• Hadoop MapReduce：分布式离线计算框架
• Hadoop Yarn：任务调度和集群资源管理的框架
• Hadoop common：⽀持其他模块的⼯具模块（Configuration、RPC、序列化机制、⽇志操作）

HDFS

HDFS如名所示，Hadoop的分布式文件系统，但是已经可以说是整个大数据环境下的文件存储系统。
Hadoop存储文件采用分治的思想，即将一个大文件分成许多的块分别备份存储，默认的存储块大小是128mb。
总的来说，存储一个文件的过程分三步：数据切割、制作副本、分散存储
HDFS有三个后台线程：

HDFS.png

图中涉及几个角色，这里一一介绍：

• NameNode（nn）：存储⽂件的元数据，⽐如⽂件名、⽂件⽬录结构、⽂件属性（⽣成时间、副本
  数、⽂件权限），以及每个⽂件的块列表和块所在的DataNode等。
• SecondaryNameNode（2nn）：辅助NameNode更好的⼯作，⽤来监控HDFS状态的辅助后台程
  序，每隔⼀段时间获取HDFS元数据快照。
• DataNode（dn）：在本地⽂件系统存储⽂件块数据，以及块数据的校验。

MapReduce

Hadoop的分布式离线计算框架
MapReduce = Map + Reduce
如上等价公式所示，MapReduce分工明确。Map阶段并行地计算分片上的数据，再将结果发送给进行Reduce的节点，进行结果汇总输出的阶段。

MapReduce.png

Yarn

任务调度和集群资源管理框架
Yarn中有如下⼏个主要⻆⾊，同样，既是⻆⾊名、也是进程名，也指代所在计算机节点名称。

• ResourceManager(rm)：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资
  源分配与调度；
• NodeManager(nm)：单个节点上的资源管理、处理来⾃ResourceManager的命令、处理来⾃
  ApplicationMaster的命令；
• ApplicationMaster(am)：为应⽤程序申请资源，并分配给内部任务、负责任务的监控与容错。
  申请资源是一个动态的过程，并不是在任务开始的时候申请资源便不再改变。
• Container：对任务运⾏环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运
  ⾏相关的信息。
  ResourceManager是⽼⼤，NodeManager是⼩弟，ApplicationMaster是应用的抽象集合。

Yarn资源调度.png