138、Spark核心编程进阶之mapPartitions以及学

mapPartitions,类似map，不同之处在于，map算子，一次就处理一个partition中的一条数据,mapPartitions算子，一次处理一个partition中所有的数据

推荐的使用场景
如果你的RDD的数据量不是特别大，那么建议采用mapPartitions算子替代map算子，可以加快处理速度
但是如果你的RDD的数据量特别大，比如说10亿，不建议用mapPartitions，可能会内存溢出

public class MapPartitions {
    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setAppName("MapPartitionsJava").setMaster("local");

        JavaSparkContext sparkContext = new JavaSparkContext(conf);
        // 准备一下模拟数据
        List<String> studentNames = Arrays.asList("张三", "李四", "王二", "麻子");

        JavaRDD<String> studentNamesRDD = sparkContext.parallelize(studentNames, 2);


        final Map<String, Double> studentScoreMap = new HashMap<String, Double>();
        studentScoreMap.put("张三", 278.5);
        studentScoreMap.put("李四", 290.0);
        studentScoreMap.put("王二", 301.0);
        studentScoreMap.put("麻子", 205.0);

        JavaRDD<Double> scoreRDD = studentNamesRDD.mapPartitions(new FlatMapFunction<Iterator<String>, Double>() {
            @Override
            public Iterator<Double> call(Iterator<String> stringIterator) throws Exception {
                // 因为算子一次处理一个partition的所有数据
                // call函数接收的参数，是iterator类型，代表了partition中所有数据的迭代器
                // 返回的是一个iterable类型，代表了返回多条记录，通常使用List类型

                List<Double> scores = new ArrayList<Double>();

                while (stringIterator.hasNext()) {
                    String studentName = stringIterator.next();
                    Double score = studentScoreMap.get(studentName);
                    scores.add(score);
                }
                return scores.iterator();
            }
        });

        scoreRDD.foreach(new VoidFunction<Double>() {
            @Override
            public void call(Double aDouble) throws Exception {
                System.out.println("aDouble = " + aDouble);
            }
        });
    }
}