前面3篇文章使用Flink批处理完成数据比对（对账）三都是介绍Flink批处理的，有些业务场景可能需要实时对账，这个需要借助流处理来完成。

流处理中connect方法可以将两个流合并在一起处理。

流处理的业务场景需要考虑得比较多，因为数据是源源不断的产生的，当你拿到一方数据的时候，你需要思考多久后另一方数据流未到达就算超时呢？通俗一点讲，你从支付机构和银行同时获取数据，当你从支付机构获取到orderNo=1的数据的时候，等待多久后还没有从银行获取到orderNo=1的数据时，你就判断数据存在差异？一分钟、一小时、一天？这个需要读者自己去思考。

但是flink要实现这样的业务场景非常简单，利用timerService和ValueState即可。当其中一方数据到达以后，将自己的数据保存，然后注册一个定时器，定时器到达后，判断对端数据还没到，则输出差异。

在写代码前需要说明的是，Flink的时间概念很重要，Flink有三个时间：Event Time、Processing Time、Ingestion Time。如果读者已经了解了Flink，一定知道这几个时间的概念。不了解也没关系，简单说下Event Time，就是事件本身的时间，通俗点，就是数据自己携带的时间，如：

这里，我们可以选取createTime作为我们的事件时间，那么对于order_1这条数据来说，它的数据事件时间就是2020-01-01 00:00:00，这就是数据自己携带的时间。

编写代码

说了这么多，还是直接看看代码吧：

import com.flink.vo.BankVo;
import com.flink.vo.DiffType;
import com.flink.vo.MergeVo;
import com.flink.vo.PayOrgVo;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.CoProcessFunction;
import org.apache.flink.util.Collector;

/**
 * Skeleton for a Flink Streaming Job.
 *
 * <p>For a tutorial how to write a Flink streaming application, check the
 * tutorials and examples on the <a href="http://flink.apache.org/docs/stable/">Flink Website</a>.
 *
 * <p>To package your application into a JAR file for execution, run
 * 'mvn clean package' on the command line.
 *
 * <p>If you change the name of the main class (with the public static void main(String[] args))
 * method, change the respective entry in the POM.xml file (simply search for 'mainClass').
 */
public class StreamingJob {

    public static void main(String[] args) throws Exception {
        // set up the streaming execution environment
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 将时间设置为Event Time
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        DataStreamSource<PayOrgVo> source1 = env.fromElements(new PayOrgVo("113", 1), new PayOrgVo("000", 2), new PayOrgVo("115", 33));
        DataStreamSource<BankVo> source2 = env.fromElements(new BankVo("000", 2), new BankVo("115", 333), new BankVo("114", 4));

        SingleOutputStreamOperator<MergeVo> res = source1.connect(source2)
                .keyBy(PayOrgVo::getOrderNo, BankVo::getOrderNo)
                .process(new CoProcessFunction<PayOrgVo, BankVo, MergeVo>() {

            ValueState<PayOrgVo> payState;
            ValueState<BankVo> bankState;
            ValueState<Long> timerState;

            @Override
            public void open(Configuration parameters) throws Exception {
                super.open(parameters);
                payState = getRuntimeContext().getState(
                        new ValueStateDescriptor<PayOrgVo>("payState", PayOrgVo.class));
                bankState = getRuntimeContext().getState(
                        new ValueStateDescriptor<BankVo>("bankState", BankVo.class));
                timerState = getRuntimeContext().getState(
                        new ValueStateDescriptor<Long>("timerState", Long.class));
            }

            @Override
            public void processElement1(PayOrgVo value, Context ctx, Collector<MergeVo> out) throws Exception {
                BankVo bankVo = bankState.value();// 看看银行端的数据是否到达
                if (bankVo == null) {// 银行端的时间未到达
                    payState.update(value);// 将支付机构端的数据保存起来
                    long timer = value.getEventTime() + 10_000;// 获取到支付机构端时间的事件时间，加上10秒
                    // 注册一个定时器，即支付机构端的事件时间加10秒
                    ctx.timerService().registerEventTimeTimer(timer);
                    // 保存下这个时间，在deleteEventTimeTimer中需要
                    timerState.update(timer);
                } else {
                    // 业务逻辑，不解释了
                    DiffType diffType = null;
                    if (value.getPayment().equals(bankVo.getPayment())) {
                        diffType = DiffType.F000;
                    } else {
                        diffType = DiffType.F115;
                    }
                    // 数据输出
                    out.collect(new MergeVo(diffType, value, bankVo));

                    // 两端的数据都到齐了，把定时器删掉，避免定时器被触发
                    // 至于deleteEventTimeTimer为什么需要传入刚才注册时的时间，看看源码就知道：
                    // org.apache.flink.streaming.api.operators.InternalTimerServiceImpl#deleteEventTimeTimer
                    // 里面调用了队列的remove方法，remove对象是TimerHeapInternalTimer
                    // 看看TimerHeapInternalTimer的equals方法知道
                    ctx.timerService().deleteEventTimeTimer(timerState.value());
                    // 清空状态
                    timerState.clear();
                }
            }

            @Override
            public void processElement2(BankVo value, Context ctx, Collector<MergeVo> out) throws Exception {
                // 跟processElement1逻辑一样
                PayOrgVo payOrgVo = payState.value();
                if (payOrgVo != null) {
                    DiffType diffType = null;
                    if (value.getPayment().equals(payOrgVo.getPayment())) {
                        diffType = DiffType.F000;
                    } else {
                        diffType = DiffType.F115;
                    }
                    out.collect(new MergeVo(diffType, payOrgVo, value));
                    ctx.timerService().deleteEventTimeTimer(timerState.value());
                    timerState.clear();
                } else {
                    bankState.update(value);
                    long timer = value.getEventTime() + 10_000;
                    ctx.timerService().registerEventTimeTimer(timer);
                    timerState.update(timer);
                }
            }

            @Override
            public void onTimer(long timestamp, OnTimerContext ctx, Collector<MergeVo> out) throws Exception {
                // 定时器触发后，肯定有一端的数据在指定时间没有到达
                PayOrgVo payOrgVo = payState.value();
                BankVo bankVo = bankState.value();
                DiffType diffType = null;
                if (payOrgVo != null) {// 支付机构有数据，银行没有
                    diffType = DiffType.F113;
                }
                if (bankVo != null) {
                    diffType = DiffType.F114;
                }
                out.collect(new MergeVo(diffType, payOrgVo, bankVo));

                // 清空状态数据
                payState.clear();
                bankState.clear();
            }
        });

        res.print();
        

        // 流处理需要自己显示调用，不然不会触发
        env.execute("Flink Streaming Java API Skeleton");
    }
}

代码里注释挺清楚了，如果未表达清楚的，留言交流吧。

源码

源码

总结

这几篇文章是自己刚学习时写的一些demo，暂时记录这么多，待后续深入学习后再完善。
转载请注明出处