kafka

2019-07-06  本文已影响0人  小鑫_2bc0

consumer_offsets的高可用

--对应消费时候的coordinater线程存储offset

--设置 /opt/kafka/config/server.properties,增加以下参数

num.partitions=3

auto.create.topics.enable=true

default.replication.factor=3

controller角色

--broker启动时候,会在zookeeper上注册,第一个注册的。作为controller

--新建一个topic的时候,会分配副本和patition。并且选出每一个partition 的leader。

--监控broker/ids节点,当broker宕机,会在对应的ISR队列中,重新分配leader

coordinator角色

--每一个消费者组都有一个coordinator

--对应消费者组的offset在哪一台broker上,这个broker就作为coordinator。

--在rebalance的时候,coordinator会重新选择一个leader,并返回其他fllower的offset。

上一篇下一篇

猜你喜欢

热点阅读