kafka

一、kafka基本概念

1、producer：消息和数据的生产者，向kafka的一个topic发布消息的进程/服务/代码。

2、consumer：消息和数据的消费者，订阅数据（topic）并且处理其发布的消息的进程/服务/代码。

3、consumer group： 对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息。

4、broker: kafka集群中的每个kafka节点。

5、topic: kafka消息的类别，对数据进行区分、隔离。

6、partition: kafka下数据存储的基本单元。一个topic数据，会被分散存储到多个partition，每一个partition是有序的。

7、replication：同一个partition可能会有多个replica,多个replica之间数据是一样的。

8、replication leader: 一个partition的多个replica，需要一个leader负责该partition上与producer和consumer交互。

9、replica manager: 负责管理当前broker所有分区和副本的信息，处理kafkaController发起的一些请求，副本状态的切换、添加/读取消息等。

二、kafka基本结构

kafka基本结构 kafka消息结构

三、kafka特点

- 多分区