Kafka-角色介绍

2019-11-06  本文已影响0人  洛神灬殇

1.生产者(productor)

   创建生成消息信息数据,发送到对于的topic数据信息。分区由broker自己分配分区存储(leader/follower)。

2.消费者(consumer)

2.1 消费组(Group)

提高消费能力和吞吐量  

最好是:消费组组中的消费者数目= 分区数

一个分区的数据只允许被同一个消费组里面的一个消费组消费,一个消费组里面的不同消费者不允许消费同一个分区的数据。

如果消费组中的消费组数量超过了分区的数量 就没有意义了!

拉取模式(非推送模式),只面向与leader分区进行消费

3.服务集群(brokers)

3.1:topic(主题)

   指定业务的订阅主题操作,业务分层使用,从属于在某N个分区下面

3.2:partion(分区:有序队列)

   负载均衡topic数据

   提供负载均衡,利用了服务之间的服务器之间的同topic中进行负载均衡

 3.3 leader/follower(分区)(failover机制)

         作为主备使用,不可以同一个服务器上,一个follower和一个leader不允许在一台服务器上。

         发送和消费的对象都是leader。分为主备机制,面向于partion分区。

4.zookeeper(注册中心)

        进行管理整个消息中心集群的节点配置信息。(集群节点配置信息、集群信息配置) 

        0.9版本之前保留消费者的消费配置信息(offset消费偏移量)

        0.9之后再kafka之后存储到本地。(存在7天的磁盘offset)(168个小时)

上一篇 下一篇

猜你喜欢

热点阅读