列举会引起shuffle的spark算子
2019-09-30 本文已影响0人
scott_alpha
reduceByKey
groupByKey
aggregateByKey
combineByKey
foldByKey
注意:sortByKey不会引起shuffle,因为是在分区内排序,不涉及分区间传输。
reduceByKey
groupByKey
aggregateByKey
combineByKey
foldByKey
注意:sortByKey不会引起shuffle,因为是在分区内排序,不涉及分区间传输。