spark shuffle 的bypass机制和consolid
2021-12-12 本文已影响0人
程序员的隐秘角落
hashshuffle 中的 consolidate机制：https://blog.51cto.com/u_15015181/2556472
sortshuffle 中的 bypass机制 ：https://blog.csdn.net/qichangjian/article/details/88039576
本质上都是为了减少shuffle过程中的性能开销：不排序？减少shuffle中小文件的个数？减少磁盘IO？
