kafka-面试题

Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
概念是在分区的副本里面，一个分区有leader副本，和其他多个副本。
leader副本与其他副本之间需要同步，这个过程会有同步完成和未同步完成2个状态。 AR-代表所有的副本集。 ISR：代表已同步的副本集。 当一个follow副本与leader副本同步滞后或者失效是，会从ISR副本集移除。

Kafka中的HW、LEO、分别代表什么？
kafka中每个消息都有offset，
HW代表消费者可消费的offset位置。
LEO：当前写入的最新消息的offset

Kafka中是怎么体现消息顺序性的？
每个分区内消息是按offset排序。

Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？
拦截器-》序列化器-》分区器
序列化器：对msg的key、value进行序列化。
拦截器： 生产者拦截器、消费者拦截器。主要处理一些预备工作。
分区器： 如果没有指定分区，根据key计算消息发往的分区。

Kafka生产者客户端中使用了几个线程来处理？分别是什么？
主线程、sender线程。 主线程主要完成消息的拦截器、序列化、分区器，并将消息存放到消息累加器。
sender线程： 将消息发送到broker集群。 主要流程是将消息由分区转化为适合在网络上传输的数据格式，并将未返回成功的request保存到InflightLights。

“消费组中的消费者个数如果超过topic的分区，那么就会有消费者消费不到数据”这句话是否正确？如果正确，那么有没有什么hack的手段？
正确， 可以通过设置partition.assignment.strategy分区分配策略。

消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1?
offset+1 ，表示的是下一条要拉取的消息。

有哪些情形会造成重复消费？
拉取一批消息【x,x+5】，消费逻辑处理完才提交offset，消费过程（x+3）出现异常，则下次继续从x拉取。
消费者再均衡：再均衡是指的分区的所有权从一个消费者转移到另外一个消费者，如果之前的消费者还未来得及提交位移，则会造成重复消费。
ps: 一般默认是自动提交，每隔5秒提交一次。

那些情景下会造成消息漏消费？
手动提交：拉取一批消息，立马提交offset，消费过程中出现异常。

KafkaConsumer是非线程安全的，那么怎么样实现多线程消费？
一个消费者对应一个消费线程
一个消费线程对应多个业务处理线程。

简述消费者与消费组之间的关系
一个消费者组有多个消费者，每个消费者对应一个或者多个分区。（消费者数量不超过分区数量的情况下）

当你使用kafka-topics.sh创建（删除）了一个topic之后，Kafka背后会执行什么逻辑？
根据分区数、副本因子，然后保证不同的分区副本在不同的broker中。

Kafka目前有哪些内部topic，它们都有什么特征？各自的作用又是什么？

优先副本是什么？它有什么特殊的作用？
对生产者与消费者提供读写服务。

Kafka有哪几处地方有分区分配的概念？简述大致的过程及原理。

简述Kafka的日志目录结构
一个topic对应对个分区文件夹，每个分区文件内有三类文件.log、offset索引文件、时间戳索引文件。 这三类文件明是以offset值命名。

Kafka中有那些索引文件？
位移索引
时间戳索引

如果我指定了一个offset，Kafka怎么查找到对应的消息？
先查找baseOffset找到对应的日志段，在对应的位移索引文件中通过二分查找，查找对应的offset的位移，找不到的话返回最近的位移区间，然后根据对应的物理地址到log日志段中查找对应的数据。

如果我指定了一个timestamp，Kafka怎么查找到对应的消息？
先在timestamp索引中查询offset，剩余过程同上。

聊一聊你对Kafka的Log Retention的理解
按照一定的保留策略直接删除不符合条件的日志分段。有三种策略基于时间的保留策略、基于日志大小的保留策略和基于日志起始偏移量的保留策略。

聊一聊你对Kafka的Log Compaction的理解
针对每个消息的 key 进行整合，对于有相同 key 的不同 value 值，只保留最后一个版本。

聊一聊你对Kafka底层存储的理解（页缓存、内核层、块层、设备层）
保存在磁盘，基于磁盘的顺序写。 采用页缓存、零拷贝技术。

聊一聊Kafka的延时操作的原理
延迟操作包括延迟拉取、延迟数据删除、延迟生产等。 每个延迟操作会被放到一个延迟操作管理器当中，每一个延迟操作管理器会配备一个定时器，定时器底层数据是基于时间轮实现。

聊一聊Kafka控制器的作用
它负责管理整个集群中所有分区和副本的状态。当某个分区的 leader 副本出现故障时，由控制器负责为该分区选举新的 leader 副本。当检测到某个分区的 ISR 集合发生变化时，由控制器负责通知所有broker更新其元数据信息。当使用 kafka-topics.sh 脚本为某个 topic 增加分区数量时，同样还是由控制器负责分区的重新分配。

消费再均衡的原理是什么？（提示：消费者协调器和消费组协调器）

Kafka中的幂等是怎么实现的？

Kafka中的事务是怎么实现的？

Kafka中有那些地方需要选举？这些地方的选举策略又有哪些？

失效副本是指什么？有那些应对措施？

多副本下，各个副本中的HW和LEO的演变过程

为什么Kafka不支持读写分离？

Kafka在可靠性方面做了哪些改进？（HW, LeaderEpoch）

Kafka中怎么实现死信队列和重试队列？

Kafka中的延迟队列怎么实现

Kafka中怎么做消息审计？

Kafka中怎么做消息轨迹？

Kafka有哪些指标需要着重关注？

怎么计算Lag？(注意read_uncommitted和read_committed状态下的不同)

Kafka的那些设计让它有如此高的性能？

Kafka有什么优缺点？

还用过什么同质类的其它产品，与Kafka相比有什么优缺点？

为什么选择Kafka?
在使用Kafka的过程中遇到过什么困难？怎么解决的？
怎么样才能确保Kafka极大程度上的可靠性？
聊一聊你对Kafka生态的理解