kafka
2019-07-06 本文已影响0人
小鑫_2bc0
consumer_offsets的高可用
--对应消费时候的coordinater线程存储offset
--设置 /opt/kafka/config/server.properties,增加以下参数
num.partitions=3
auto.create.topics.enable=true
default.replication.factor=3
controller角色
--broker启动时候,会在zookeeper上注册,第一个注册的。作为controller
--新建一个topic的时候,会分配副本和patition。并且选出每一个partition 的leader。
--监控broker/ids节点,当broker宕机,会在对应的ISR队列中,重新分配leader
coordinator角色
--每一个消费者组都有一个coordinator
--对应消费者组的offset在哪一台broker上,这个broker就作为coordinator。
--在rebalance的时候,coordinator会重新选择一个leader,并返回其他fllower的offset。