玩转Spark

KafkaReceiver 之timeout

2016-06-07  本文已影响14人  曹振华

zookeeper.session.timeout.ms:
该值超时的话, spark的当前kafkaReceiver会被断掉, 而且所有的kafkaReceiver会被重新调度分配任务. 线上可以调整为10s左右.

zookeeper.connection.timeout.ms:
该设置的值超时可能出现的情况比如发生GC的时候会可能导致超时,网络原有也可能超时, 机器宕机等.

上一篇下一篇

猜你喜欢

热点阅读