Spark cache 和 checkpoint

2016-07-15 本文已影响90人曹振华

checkpoint 相当于 cache的备胎;
checkpoint的数据一般都会放在容错的文件系统当中，比如hdfs．
一般在做checkpoint之前都需要进行cache, 因为checkpoint会触发一个job;
checkpoint操作会生成checkpointRDD，checkpointRDD会作为父RDD参与后续的运算.