引入问题:
2019-08-25 本文已影响0人
yayooo
读文件每一行,sink输出的顺序和原文件不一致原因是什么?
原因是:我们在keyBy操作会进行rebalance操作并且是并行计算,所以顺序就乱了。
有什么办法呢?
将全局并行度设置为1
val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(1)
读文件每一行,sink输出的顺序和原文件不一致原因是什么?
原因是:我们在keyBy操作会进行rebalance操作并且是并行计算,所以顺序就乱了。
有什么办法呢?
将全局并行度设置为1
val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(1)