Hadoop-MapReduce的工作原理

简介

MapReduce是工作于Hadoop之上的计算模型，可以将一个大型计算任务拆分为多个小的，可以在服务集群运行和计算的小任务，并将各个小任务计算结果汇总为一个计算结果；其过程主要分为Map阶段和Reduce阶段，MapReduce有1.0版本和2.0版本；
MapReduceV1主要概念:

• JobTracker: 作用是接受任务，计算资源，分配资源与DataNode通信，同时还需要分解作业以及作业状态监控，其中作业监控还包括：TaskTracker状态监控，作业状态监控和任务状态监控，以便为容错和决策提供依据；
• TaskTracker:作用是连接JobTracker和Task，可以执行JobTask的指令如：运行任务，提交任务，杀死任务等，也可以对任务状态进行监控，然后将任务信息通过心跳的方式发送给JobTracker;它们之间通过Avro实现的RPC进行通信；
• Task: 分为MapTask和ReduceTask；
• slots:是Hadoop节点资源管理的单位，表示具备的计算或者内存等资源的容量或者能力；根据Map或者Reduce划分为Map Slots和Reduce Slots，分别用来运行Map或者Reduce 任务；

MapReduceV2主要概念:

• job:由客户端向服务集群提交的一个计算作业；
• task:集群的最小可执行单位，一个job可以拆分为多个task；
• ResourceManager:集群计算资源管理器，用于管理整个集群的计算资源，一个集群只有一个ResourceManager，其主要任务是负责应用资源管理(AppicationManager)和作业的调度(Scheduler)，接收jobSubmitter提交的作业，根据作业上下文和从NodeManager收集来的状态，启动调度过程，为每一个ApplicationMaster分配一个Container,同时会根据ApplicationMaster申请的map和reduce任务资源，分配合适的nodemanager;
• NodeManager： 节点管理器，管理单台服务器的计算资源，并会向ResourceManager汇报服务器状态,有点类似于V1版本中的TaskTracker；
• ApplicationMaster:负责一个job生命周期的所有工作，监控job的执行情况，包括资源申请和task调度等；
• Container:资源分配单位(slots的升级版，不需要根据map和reduce进行划分，灵活分配)，包括一些cpu和内存资源；可以理解为一个jvm；

其新老版本架构图如下：

MRV1&MRV2.jpg

工作原理

MRV1工作流程

MapReduceV1版本执行流程图如下：

MapReduceV1执行过程.png

1. jobClient运行一个Job;
2. 向JobTracker申请一个Job Id；
3. JobClient向HDFS上以JobId为名的文件夹上复制运行作业需要的资源文件，该资源文件包括MapReduce程序打包的.jar程序文件，配置文件以及客户端计算所得的计算输入划分；jar程序一般会有10个备份，同时输入划分信息会告诉JobTracker为其创建多少个Map任务；
4. JobTracker接收一个job作业后，会将其放入一个作业队列，等待作业调度器进行调度；当调度器调度该作业时会获取作业的资源文件，然后根据输入划分信息为每个划分创建一个Map任务，交个一个TaskTracker进行执行，同时TaskTracker会复制jar文件进行运行；对于Map任务和Reduce任务，TaskTracker会根据主机核数量和内存大小分成固定数量的map槽和reduce槽，同时分配的TaskTracker必须包含该Map任务所需要处理的数据块，这叫数据本地化，而Reduce任务无需考虑数据本地化；
   5.TaskTracker运行jar程序后，会每个一段时间向JobTracker发送一个心跳，同时告诉JobTracker任务完成情况；当JobTracker收到最后一个JobTracker发送来的作业完成时，它会将该作业设置为成功，同时展示给用户；

Yarn执行流程

Yarn执行job流程如下图:

Yarn执行流程.png

其主要流程有以下几个步骤组成：

1. 作业提交

   • 第一步： 客户端通过调用job.waitForCompletion()方法向整个集群提交MapReduces任务；
   • 第二步： 客户端通过getNewApplication方法向ResouceManager申请新应用，成功的话，ResourceManager会返回一个ApplicationId；
   • 第三步：客户端根据ApplicationId在HDFS上创建一个文件夹用于复制作业需要的资源文件，包括jar程序包，配置文件，以及输入split；
   • 第四步：客户端通过submitApplications方法向ResourceManager提交作业；

2. 作业初始化：

   • 第五步：ResourceManager在收到submitApplications请求后，会将该请求发送给scheduler(调度器)，调度器会分配一个container，用来运行MRAppMaster应用程序，该应用管理器由所在的nodeManager负责监控；
   • 第六步： MRAppMaster会对作业进行初始化，创建一些bookkeeping对象来监控作业的进度，获得任务进度和完成报告
   • 第七步：MRAppMaster会从HDFS上获取输入split，然后为每个split分配创建一个map任务；

3. 资源分配

   • 第八步： MRAppMaster会根据Map和Reduce任务向ResorceManager申请container资源来运行这些任务；这些请求是通过心跳传输的，请求信息中包含Map和Reduce运行的数据块位置信息(如host和rack)，资源调度器收到请求后，会尽量将Map/Reduce任务分配到存储数据块的节点或者分配到存有输入split节点的机架上的其他节点；

4. 任务执行

   • 第九步：MRAppMaster会在资源调度器分配container后，联系对应的NodeManager启动container，运行一个YarnChlid的java应用程序；
   • 第十步：YarnChild应用程序会从HDFS上获取jar文件，作业配置以及相应的资源文件；
   • 第十一步： YarnChild通过.jar程序运行对应的Map或者Reduce任务；

5. 任务执行情况上报：Yarn将任务的执行情况和状态(包括container)上报给MRAppMaster,客户端定时刷新任务状态；

6. 作业完成：作业完成后，会将作业状态进行清理包括MRAppMaster和Container，以及OutputCommiter上的作业清理方法也将会被调用，最后作业的历史信息将会被存储以备查询；