spark hashshuffle流程分析

2019-08-02  本文已影响0人  phoenixalex

弊端:随着Task数量增多,ShuffleMapTask会创建许多ShuffleBlockFile小文件,增大了磁盘IO

优化:开启consolidation机制,复用缓冲区Bucket及ShuffleBlockFile

上一篇 下一篇

猜你喜欢

热点阅读