宽窄依赖与Spark开发流程
2019-03-09 本文已影响0人
436048bfc6a1
- 窄依赖(narrow dependency)
1.1 定义
一个父RDD的partition至少被子RDD的某个partition使用一次
1.2 Example
map.png
union.png
joinWithInputCo-partition.png
1.3 窄依赖优点
没有data re-distribution, 窄依赖错误恢复更容易
- 宽依赖
2.1 宽依赖定义
一个父RDD的partitiom会被子RDD的partition使用多次
groupByKey.png
