大数据

(02)MapReduce与Spark的异同和优势比较

2019-04-06  本文已影响0人  KyleHai

MapReduce与Spark相比,有哪些异同点

    1、基本原理上:

        a) MapReduce:基于磁盘的大数据批量处理系统。

        b) Spark:基于RDD(Resilient Distributed Datasets,弹性分布式数据集)数据处理,显式的将RDD数据存储到磁盘和内存中。

   2、模型上:

        a) MapReduce:可以处理超大规模的数据,适合日志分析挖掘等较少的迭代的长任务需求;结合了数据的分布式的计算。

        b) Spark:适合数据的挖掘,机器学习等多轮迭代式计算任务。

    3、容错性上:

        a) 数据容错性

        b) 节点容错性

        Spark Lineage,在数据发生丢失时,可以从Lineage上重构数据结构。

上一篇 下一篇

猜你喜欢

热点阅读