JAVA flink小试——单词计数

本文用java来实现一个简单的fink计数单词。

本文写了两个flink版本，一个普通版本，一个lambda版本。有以下注意点：

• 写法差异，lambda需要调用return方法，而普通版本是不需要的。
• 在导包时，注意不要导成Scala中包，很多类名在flink和Scala中都有同名。会衍生出不必要的错误。比如Tuple2这个类。

在本地执行命令：

curl https://flink.apache.org/q/quickstart.sh | bash

会下载一个官网的示例，主要看中了他的pom文件。可以将他的项目导入IDEA中，编写自己的示例程序。

package org.myorg.test;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;

import java.util.stream.Stream;

/**
 * @author lingbao08
 * @DESCRIPTION
 * @create 2019-09-15 13:23
 **/

public class WordCount {

    public static void main(String[] args) throws Exception {

        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        DataSet<String> text = env.fromElements("我是中国人，我爱中国");

//普通版本
        DataSet<Tuple2<String, Integer>> counts =
                text.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {

                    @Override
                    public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                        String[] split = s.split("");
                        for (String s1 : split) {
                            if (s1.length() > 0)
                                collector.collect(new Tuple2<String, Integer>(s1, 1));
                        }
                    }
                }).groupBy(0)
                        .sum(1);

        counts.print();

    }
}

lambda版本：

DataSet<Tuple2<String, Integer>> counts =
                text.flatMap((FlatMapFunction<String, Tuple2<String, Integer>>) (s, collector) -> {
                    Stream.of(s.split("")).forEach(v -> collector.collect(new Tuple2<>(v, 1)));
                }).returns(Types.TUPLE(Types.STRING, Types.INT)).groupBy(0)
                        .sum(1);


        counts.print();

参考：https://blog.csdn.net/RUIMENG061511332/article/details/91873570.