157、Spark内核原理进阶之join算子内部实现原理

2019-01-24  本文已影响0人  ZFH__ZJ
join.png

join算子的原理

  1. cogroup，聚合两个rdd的key
  2. flatMap，聚合后的每条数据，都可能返回多条数据
    将每个key对应的两个集合的所有元素，做了一个笛卡尔积
上一篇下一篇

猜你喜欢

热点阅读