【Spark学习笔记】Scala基础(二)之Aciton介绍

2019-07-26  本文已影响0人  不可能打工

Action介绍

在RDD上计算出来一个结果,把结果返回给driver program或保存在文件系统,例如:count(),save


常用action

reduce()

接收一个函数,作用在RDD两个类型相同的元素上,返回新元素。
可以实现,RDD中元素的累加,计数和其他类型的聚集操作。

val rdd=sc.parallelize(Array(1,2,3,3))
rdd.reduce((x,y)=>x+y)
---Int =9

collect()

遍历整个RDD,向driver program返回RDD的内容
需要单机内存能够容纳下(因为数据要拷贝给driver,测试使用)大数据的时候,使用saveAsTextFile() action等。

take(n)

返回RDD的n个元素(同时尝试访问最少的partitions)。返回结果是无序的,测试使用。

top(n)

排序(根据RDD中数据的比较器)

rdd.top(3)

foreach()

计算RDD中的每个元素,但不保存到本地,配合println,打印元素。

rdd.foreach(println)

上一篇下一篇

猜你喜欢

热点阅读