shuffer
2019-07-30 本文已影响0人
yayooo
当一个文件过大,需要分一些出去。打乱重组
shuffer
shuffer中,一个分区不是一个任务,原因:需要等待其他分区处理完。
如上图中:有6个任务。(shuffer read 和 shuffer write各3个)
shuffle一定溢写磁盘。
spark计算结果基于内存。
当一个文件过大,需要分一些出去。打乱重组
shuffer中,一个分区不是一个任务,原因:需要等待其他分区处理完。
如上图中:有6个任务。(shuffer read 和 shuffer write各3个)
shuffle一定溢写磁盘。
spark计算结果基于内存。