Kafka中的消费者和分区再平衡
两种常用的消息模型
队列模型和发布-订阅模型
队列模型：处理方式是一组消费者从服务器读取消息，一条消息只由其中的一个消费者来处理。
发布-订阅模型：消息被广播给所有的消费者，接收到消息的消费者都可以处理此消息。
消费者和消费者组
消费者用一个消费者组名标记自己。 一个发布在Topic上消息被分发给此消费者组中的一个消费者。 假如所有的消费者都在一个组中，那么这就变成了队列模型。 假如所有的消费者都在不同的组中，那么就完全变成了发布-订阅模型。
消费者组是Kafka实现单播和广播两种消息模型的基础和手段。对于同一个Topic来说，消费者接收数据的时候是按照消费者组来接收数据的，每个消费者组都可以拿到这个Topic中的全部数据。消费者组内的所有消费者协调在一起来订阅并消费Kafka Topic中的所有分区。Kafka确保每个分区的消息只能被同一个消费者组中的同一个消费者消费，如果想要重复消费，那么需要其他的消费者组来消费。
同一个消费者可以去消费多个分区中的数据，但是每个分区只能由同一个消费者组内的一个消费者来消费，当消费者的数量大于了分区的数量时，多余的消费者将会处于空闲。也就是说如果只有一个分区的话，在同一个消费者组中启动多少个消费者都没有用。
所以说，同组中的消费者不能大于Topic中的分区数量。假如partition为4，订阅改Topic的同组中的消费者最多只能为4个。
在不同情况下消费的分配
一个消费者订阅一个主题进行消费，Consumer1将消费Topic01中的所有partition的消息。
生产者向Topic01中发送消息： m1 m2 m3 m4 m5 m6 m7
Consumer1消费： m1 m2 m3 m4 m5 m6 m7
一个消费者订阅一个主题进行消费.png
多个消费者订阅一个主题进行消费，Consumer1将消费Topic01中的Partition0、Partition2的消息，Consumer2将消费Topic01中的Partition1、Partition3的消息。
往群组里增加消费者是横向伸缩消费能力的主要方式。Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS，或者使用数据进行比较耗时的计算。在这些情况下，单个消费者无法跟上数据生成的速度，所以可以增加更多的消费者，让它们分担负载，每个消费者只处理部分分区的消息，这就是横向伸缩的主要手段。
生产者向Topic01中发送消息： m1 m2 m3 m4 m5 m6 m7
Consumer1消费：m1 m3 m5 m7
Consumer2消费：m2 m4 m6
多个消费者订阅一个主题进行消费.png
消费者数量大于订阅的主题的分区数量，造成部分消费者处于空闲。
生产者向Topic01中发送消息： m1 m2 m3 m4 m5 m6 m7
Consumer1消费：m1 m5
Consumer2消费：m2 m6
Consumer3消费：m3 m7
Consumer4消费：m4
Consumer5消费：空闲，不会接收到任何消息
消费者数量大于订阅的主题的分区数量.png
多个消费者组订阅同一个Topic，多个消费者同时消费同一条消息
生产者向Topic01中发送消息： m1 m2 m3 m4 m5 m6 m7
ConsumerGroup01的Consumer1消费：m1 m3 m5 m7
ConsumerGroup01的Consumer2消费：m2 m4 m6
ConsumerGroup02的Consumer1消费：m1 m2 m3 m4 m5 m6 m7
多个消费者组订阅同一个Topic.png
分配策略
Range：该策略会把主题的若干个连续的分区分配给消费者。
RoundRobin：该策略把主题的所有分区逐个分配给消费者。
消费者群组分区再均衡（Rebalance）
什么是分区再均衡？
群组里的消费者共同读取主题的分区。一个新的消费者加入群组时，它读取的是原本由其他消费者读取的消息。当一个消费者被关闭或发生崩溃时，它就离开群组，原本由它读取的分区将由群组里的其他消费者来读取。在主题发生变化时，比如管理员添加了新的分区，会发生分区重分配。
分区的所有权从一个消费者转移到另一个消费者，这样的行为被称为再均衡 。再均衡非常重要，它为消费者群组带来了高可用性和伸缩性（我们可以放心地添加或移除消费者），不过在正常情况下，我们并不希望发生这样的行为。在再均衡期间，消费者无法读取消息，造成整个群组一小段时间的不可用。另外，当分区被重新分配给另一个消费者时，消费者当前的读取状态会丢失，它有可能还需要去刷新缓存，在它重新恢复状态之前会拖慢应用程序。我们将在本章讨论如何进行安全的再均衡，以及如何避免不必要的再均衡。
再均衡的过程
消费者通过向被指派为群组协调器 的 broker（不同的群组可以有不同的协调器）发送心跳来维持它们和群组的从属关系以及它们对分区的所有权关系。只要消费者以正常的时间间隔发送心跳，就被认为是活跃的，说明它还在读取分区里的消息。消费者会在轮询消息（为了获取消息）或提交偏移量时发送心跳。如果消费者停止发送心跳的时间足够长，会话就会过期，群组协调器认为它已经死亡，就会触发一次再均衡。
什么情况下会分区再均衡？
- Topic中添加一个新的分区，消费者将重新分配。
- 消费者关闭或者崩溃，消费者读取的分区将会分配给其他消费者。
- 消费者群组中添加新的消费者，将分区重新分配。
分区再均衡的优缺点
优点：实现高可用性和伸缩性
缺点：1. 再均衡的期间，群组不能读取到消息。 2. partition被重新分配给一个消费者时，消费者当前的读取状态会丢失，有可能还需要去刷新缓存，在它重新恢复状态之前会拖慢应用程序。
提交和偏移量
什么是提交？
消费者每次获取到一条消息时， 它总是返回由生产者写入 Kafka 但还没有被消费者读取过的记录，我们因此可以追踪到哪些记录是被群组里的哪个消费者读取的。消费者可以使用 Kafka 来追踪消息在分区里的位置（偏移量）。这个更新分区当前位置的操作叫作提交。
消费者是如何提交偏移量？
消费者往一个叫作 _consumer_offset 的特殊主题发送消息，消息里包含每个分区的偏移量。如果消费者一直处于运行状态，那么偏移量就没有什么用处。不过，如果消费者发生崩溃或者有新的消费者加入群组，就会触发再均衡 ，完成再均衡之后，每个消费者可能分配到新的分区，而不是之前处理的那个。为了能够继续之前的工作，消费者需要读取每个分区最后一次提交的偏移量，然后从偏移量指定的地方继续处理。
提交偏移量产生的问题？
- 如果提交的偏移量小于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息就会被重复处理。
- 如果提交的偏移量大于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息将会丢失。
