列举会引起shuffle的spark算子

2019-09-30  本文已影响0人  scott_alpha

reduceByKey
groupByKey
aggregateByKey
combineByKey
foldByKey

注意:sortByKey不会引起shuffle,因为是在分区内排序,不涉及分区间传输。

上一篇 下一篇

猜你喜欢

热点阅读