groubyKey和reduceBykey的区别
2019-07-31 本文已影响0人
yayooo
groupByKey
reduceByKey
groupBykey:不会预聚合数据,也就是直接将数据经过shuffle给下一个阶段,性能较慢
reduceByKey:会预聚合数据,也就是将聚合的数据通过shuffle给下一个阶段,传递的数据少了。性能较快,但是要考虑应用场景。
譬如:不需要聚合的场景