shuffer

2019-07-30  本文已影响0人  yayooo

当一个文件过大,需要分一些出去。打乱重组


shuffer

shuffer中,一个分区不是一个任务,原因:需要等待其他分区处理完。
如上图中:有6个任务。(shuffer read 和 shuffer write各3个)
shuffle一定溢写磁盘。
spark计算结果基于内存。

上一篇下一篇

猜你喜欢

热点阅读