sparkStreaming2.2.1+spark-stream

现象一：

当zk连接数特别大的时候，topic的partition不断做重新选举leader或者broker与zk连接超时，kafka0.8版本的消费如果将offset放到zk里，就可能会不定期出现找不到topic-leader的情况，然后整个程序挂掉。
解决方式：升级spark-streaming-kafka的版本，将他提高到spark-streaming-kafka-0-10_2.11，官方已经不再维护8的版本了。

现象二：

在用--conf spark.streaming.backpressure.initialRate=1500 和 --conf spark.streaming.backpressure.initialRate=3000 进行限速的时候，指的是每一个partition每秒消费的条数，如果kafka的partition不均衡，那么最好以最高的一个partition的速率来进行限速，否则会有某些partition的数据一直延时。