面试精选

kafka详解

2021-05-13  本文已影响0人  不怕天黑_0819

目录

Kafka 是什么

Kafka 核心组件

Zookeeper:zookeeper集群不属于kafka内的组件,但kafka依赖zookeeper集群保存meta信息,所以在此做声明其重要性。

Kafka 整体架构以及解析

Kafka数据处理步骤

Kafka名词解释和工作方式

Consumer与topic关系

kafka只支持Topic

一个Topic中的每个partions,只会被一个"订阅者"中的一个consumer消费,不过一个consumer可以同时消费多个partitions中的消息。

kafka只能保证一个partition中的消息被某个consumer消费时是顺序的;事实上,从Topic角度来说,当有多个partitions时,消息仍不是全局有序的。

Kafka消息的分发

如果一个topic中有多个partitions,那么在producer端实现"消息均衡分发"是必要的。

设置发送数据是否需要服务端的反馈,有三个值0,1,-1

0: producer不会等待broker发送ack
1: 当leader接收到消息之后发送ack
-1: 当所有的follower都同步消息成功后发送ack
request.required.acks=0

Consumer的负载均衡

当一个group中,有consumer加入或者离开时,会触发partitions均衡.均衡的最终目的,是提升topic的并发消费能力,步骤如下:

参考链接:https://www.jianshu.com/p/1b657ac52f89

上一篇 下一篇

猜你喜欢

热点阅读