Spark core源码分析--shuffle管理器
2019-08-19 本文已影响0人
倾听内心的声音
1、shuffleManager其实本身就依赖于存储体系，但是功能与计算非常紧密，姑且认为它是计算引擎的一部分。
ShuffleManager的实现类目前只有SortShuffleManager，因此现对它进行分析：
spark2.4-490
1.1 ShuffleWriter详解
ShuffleWriter 是一个抽象类，包含一个write和stop方法，定义了map阶段的中间结果写到磁盘的规范。他包含了如下三个子类的实现。
123
1.2 MapStatus
未完。。。。蛋疼的编辑器
