Spark算子：统计RDD分区中的元素及数量
2016-05-06 本文已影响369人
ZyZhu
Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。
具体看例子：
//创建一个RDD，默认分区15个，因为我的spark-shell指定了一共使用15个CPU资源//–total-executor-cores 15
//统计rdd1每个分区中元素数量
//统计rdd1每个分区中有哪些元素
//从HDFS文件创建的RDD，包含65个分区，因为该文件由65个Block
//rdd2每个分区的元素数量
