spark hashshuffle流程分析
2019-08-02 本文已影响0人
phoenixalex


弊端:随着Task数量增多,ShuffleMapTask会创建许多ShuffleBlockFile小文件,增大了磁盘IO
优化:开启consolidation机制,复用缓冲区Bucket及ShuffleBlockFile
弊端:随着Task数量增多,ShuffleMapTask会创建许多ShuffleBlockFile小文件,增大了磁盘IO
优化:开启consolidation机制,复用缓冲区Bucket及ShuffleBlockFile