Spark RDD 函数大全（11-20）
2019-03-22 本文已影响0人
起个什么呢称呢
- glom
defglom():RDD[Array[T]] 该函数是将 RDD 中每一个分区中类型为 T 的元素转换成 Array[T]，这样每一个分 区就只有一个数组元素。
scala>varrdd=sc.makeRDD(1to10,3) rdd:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[38]atmakeRDDat:21 scala>rdd.partitions.size res33:Int=3 //该 RDD 有 3 个分区 scala>rdd.glom().collect res35:Array[Array[Int]]=Array(Array(1,2,3),Array(4,5,6),Array(7,8,9,10)) //glom 将每个分区中的元素放到一个数组中，这样，结果就变成了 3 个数组 - union 并集
valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求并集 valrdd3=rdd1.union(rdd2) rdd3.collect - distinct
去重 valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求并集 valrdd3=rdd1.union(rdd2) //去重输出 rdd3.distinct.collect - intersection 交集
valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求交集 valrdd4=rdd1.intersection(rdd2) rdd4.collect - subtract
defsubtract(other:RDD[T]):RDD[T] defsubtract(other:RDD[T],numPartitions:Int):RDD[T] def subtract(other: RDD[T], partitioner: Partitioner)(implicit ord: Ordering[T] = null): RDD[T] 该函数返回在 RDD 中出现，并且不在 otherRDD 中出现的元素，不去重。
valrdd1=sc.parallelize(List(5,6,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求差集 valrdd4=rdd1.subtract(rdd2) rdd4.collect - subtractByKey
defsubtractByKeyW(implicitarg0:ClassTag[W]):RDD[(K,V)] def subtractByKey[W](other: RDD[(K, W)], numPartitions: Int)(implicit arg0: ClassTag[W]):RDD[(K,V)] def subtractByKey[W](other: RDD[(K, W)], p: Partitioner)(implicit arg0: ClassTag[W]): RDD[(K,V)]
subtractByKey 和基本转换操作中的 subtract 类似，只不过这里是针对 K 的，返回 在主 RDD 中出现，并且不在 otherRDD 中出现的元素。 参数 numPartitions 用于指定结果的分区数 参数 partitioner 用于指定分区函数
varrdd1=sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2) varrdd2=sc.makeRDD(Array(("A","a"),("C","c"),("D","d")),2) scala>rdd1.subtractByKey(rdd2).collect res13:Array[(String,String)]=Array((B,2)) - groupbyKey
valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2))) valrdd2=sc.parallelize(List(("jerry",2),("tom",1),("shuke",2))) //求并集 valrdd4=rdd1unionrdd2 //按 key 进行分组 valrdd5=rdd4.groupByKey rdd5.collect - reduceByKey
顾名思义，reduceByKey 就是对元素为 KV 对的 RDD 中 Key 相同的元素的 Value 进行 reduce，因此，Key 相同的多个元素的值被 reduce 为一个值，然后与原 RDD 中的 Key 组成一个新的 KV 对。 举例: valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2))) valrdd2=sc.parallelize(List(("jerry",2),("tom",1),("shuke",2))) //求并集 valrdd4=rdd1unionrdd2 //按 key 进行分组 valrdd6=rdd4.reduceByKey(+) rdd6.collect() - sortByKey
将 List(("tom",1),("jerry",3),("kitty",2), ("shuke",1))和 List(("jerry",2),("tom",3), ("shuke",2),("kitty",5))做 wordcount，并按名称排序 valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("shuke",1))) valrdd2=sc.parallelize(List(("jerry",2),("tom",3),("shuke",2),("kitty",5))) valrdd3=rdd1.union(rdd2) //按 key 进行聚合 valrdd4=rdd3.reduceByKey(+) //false 降序 valrdd5=rdd4.sortByKey(false) rdd5.collect - sortBy
将 List(("tom",1),("jerry",3),("kitty",2), ("shuke",1))和 List(("jerry",2),("tom",3), ("shuke",2),("kitty",5))做 wordcount，并按数值排序 valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("shuke",1))) valrdd2=sc.parallelize(List(("jerry",2),("tom",3),("shuke",2),("kitty",5))) valrdd3=rdd1.union(rdd2) //按 key 进行聚合 valrdd4=rdd3.reduceByKey(+)
//false 降序 valrdd5=rdd4.sortBy(_._2,false) rdd5.collect
