spark rdd 爬坑集

2018-07-31  本文已影响0人  取个帅气的昵称吧213

对于在调用rdd.checkpoint()之前就做过action的rdd ,checkpoint是无效的,不会产生checkpoint文件

必须在checkpoint之前紧接再来一个map(空操作也可)

rdd2 = rdd.map {....};

rdd2.count();

rdd2.checkpoint();

rdd2.count() (无效)

rdd2 = rdd.map {....};

rdd2.checkpoint();

rdd2.count() (有效)

rdd2 = rdd.map {....};

rdd2.count();

rdd2 = rdd2.map(a=>a)

rdd2.checkpoint();

rdd2.count() (有效)

上一篇下一篇

猜你喜欢

热点阅读