flink写入hdfs文件大小和时间间隔

2021-04-05  本文已影响0人  bigdata张凯翔
sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB,
sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins

注意:batchSize和BatchRolloverInterval一定要加L,虽然不加L也不会报错,
但笔者遇到一个坑设置102410241024*50 (50G)程序也不报错,但是把int类型转换为long类型,值变成了-2147483648。
batchsize就失效了。

上一篇 下一篇

猜你喜欢

热点阅读