kafka 中 zookeeper 具体是做什么的？

2019-12-07 本文已影响0人 SlowGO

zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。

而且，这也是面试时经常问的。

zookeeper 存储了一些关于 consumer 和 broker 的信息，那么就从这两方面说明 zookeeper 的作用。

1. broker

zookeeper 记录了所有 broker 的存活状态，broker 会向 zookeeper 发送心跳请求来上报自己的状态。

zookeeper 维护了一个正在运行并且属于集群的 broker 列表。

kafka 集群中有多个 broker，其中有一个会被选举为控制器。

控制器负责管理整个集群所有分区和副本的状态，例如某个分区的 leader 故障了，控制器会选举新的 leader。

从多个 broker 中选出控制器，这个工作就是 zookeeper 负责的。

kafka 允许一些 client 有不同的生产和消费的限额。

这些限额配置信息是保存在 zookeeper 里面的。

所有 topic 的访问控制信息也是由 zookeeper 维护的。

ISR（in-sync replica）是 partition 的一组同步集合，就是所有 follower 里面同步最积极的那部分。

一条消息只有被 ISR 中的成员都接收到，才被视为“已同步”状态。

只有处于 ISR 集合中的副本才有资格被选举为 leader。

zookeeper 记录着 ISR 的信息，而且是实时更新的，只要发现其中有成员不正常，马上移除。

zookeeper 保存了所有 node 和 topic 的注册信息，可以方便的找到每个 broker 持有哪些 topic。

node 和 topic 在 zookeeper 中是以临时节点的形式存在的，只要与 zookeeper 的 session 一关闭，他们的信息就没有了。

zookeeper 保存了 topic 相关配置，例如 topic 列表、每个 topic 的 partition 数量、副本的位置等等。

kafka 老版本中，consumer 的消费偏移量是默认存储在 zookeeper 中的。

新版本中，这个工作由 kafka 自己做了，kafka 专门做了一个 offset manager。

和 broker 一样，consumer 也需要注册。

consumer 会自动注册，注册的方式也是创建一个临时节点，consumer down 了之后就会自动销毁。

kafka 的每个 partition 只能被消费组中的一个 consumer 消费，kafka 必须知道所有 partition 与 consumer 的关系。

性能与架构