三、Hadoop核心MapReduce

2019-07-25  本文已影响0人  骑猴摘月亮

1、基本概念:分而治之

Job&Task

JobTacker

TaskTracker

一个job会被拆成多个task,会有maptask和reducetask

mapreduce作业执行过程

MapReduce容错机制

1、重复执行   4次

2、推测执行:有一个TaskTracker执行很慢,会推测遇到问题,并且重新开启一个TaskTracker来执行同样的任务,谁先完成则关闭另外一个。

2、yarn--资源管理器

ResourceMangager

                分配调度资源

                启动并监控ApplicationMaster

                监控NodeManager

ApplicationMaster

                为MR类型的程序申请资源,并分配给内部任务

                负责数据切分

                监控任务的执行及容错                

NodeManager

                管理单个节点的资源

                处理来自ResourceManager的命令

                处理来自ApplicationMaster的命令           

上一篇 下一篇

猜你喜欢

热点阅读