spark流式计算读取kafka的速度限制
2019-05-09 本文已影响0人
王金松
structed streaming
maxOffsetsPerTrigger
maxOffsetsPerTrigger
long
none
streaming and batch
每次触发间隔处理的最大偏移量的速率限制。指定的偏移量总数将按不同卷的topicPartition成比例地分割。
spark streaming
spark.streaming.backpressure.enabled=true
