MapReduce设计模式--元模式

2017-08-17  本文已影响0人  日落西风碎

一、含义

元模式不是用于解决某个具体问题的,而是处理模式之间关系的,可以理解为“模式的模式”。

二、实现方法

元模式主要有二种实现方法:作业链、作业归并。
    作业链:该方法是将多种模式结合起来以解决复杂的、多级的问题。作业链是众多比较难处理的过程中的一种,因为它并不是大多数MapReduce框架中包含的特性,MapReduce可以很好的处理单个MapReduce作业,但在处理多级作业时则需要加入许多手工编码,而且在操作上还需要考虑作业的各个阶段如何处理任务失败以及清理中间结果输出的问题。
    作业归并:该方法是针对同一个MapReduce作业中执行多个分析任务这类作业进行优化,已达到一石多鸟的目的。

上一篇下一篇

猜你喜欢

热点阅读