引入问题:

2019-08-25  本文已影响0人  yayooo

读文件每一行,sink输出的顺序和原文件不一致原因是什么?
原因是:我们在keyBy操作会进行rebalance操作并且是并行计算,所以顺序就乱了。
有什么办法呢?
将全局并行度设置为1

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(1)
上一篇 下一篇

猜你喜欢

热点阅读