Spark知识点

reduceByKey和countByKey区别

2018-01-02  本文已影响0人  0_9f3a

相同点:

两者都会根据key来分组

不同点:
reduceByKey会根据用户传入的聚合逻辑对数组内的数据进行聚合,countByKey不需要用户传入聚合逻辑,他是直接对数组内的数据进行统计记录数

reduceByKey是transormation类算子 countByKey是Action类算子

上一篇下一篇

猜你喜欢

热点阅读