MapReduce-分布式计算引擎

2018-09-16  本文已影响61人  一个喜欢烧砖的人

MepReduce背景

mepreduce的特点

mepreduce应用场景

mepreduce的缺点

mepreduce的编程模型(基于wordcount)

image.png

mepreduce的作业运行流程-wordcount

mapreduce将作业的整个运行过程分为两个阶段

mepeduce的编程模型(数据流向)

image.png

mepreduce 优化

mepreduce的架构(在yarn基础上)

image.png

过程:
1、client向yarn提交mepreduce任务(直接指向的是resourceManager)
2、resourceManage找一台空闲的nodeManager,
3、在这台nodeMenage来启动appMaster
4、appMaster会向resourceManage申请资源
5、appMaster申请到资源后会向nodeManager分配任务,并启动起来
存在问题:

上一篇下一篇

猜你喜欢

热点阅读