Kafka基础知识03 -- 消费者的实现，Springboot

2021-12-15 本文已影响0人 Amy1234567

一，kafka的java客户端--消费者的实现

1. 消费者的基本实现

千锋教育

2. 关于消费者自动提交和手动提交offset

1）提交的内容

消费者无论是自动提交还是手动提交，都需要把所属的消费组（Consumer Group）+消费的某个主题（topic）+消费的某个分区（partition）及消费的偏移量（offset），这样的信息提交给集群的_consumer_offsets主题里面。

2）自动提交

消费者poll消息下来以后就会自动提交offset

千锋教育

注意：自动提交会丢失消息。因为消费者在消费前提交offset，有可能提交完后还没消费时，消费者挂了。

3）手动提交

需要把自动提交的配置改成false

千锋教育

手动又分成了两种

$\bullet$ 手动同步提交

在消费完消息后调用同步提交的方法，当集群返回ack前一直阻塞，返回ack后表示提交成功，执行之后的逻辑

千锋教育

$\bullet$ 手动异步提交

在消息消费完后提交，不需要等到集群ack，直接执行之后的逻辑，可以设置一个回调方法，供集群调用。

千锋教育

3. 长轮询poll消息

$\bullet$ 默认情况下，消费者一次会poll500条消息

千锋教育

$\bullet$ 代码中设置了长轮询的时间是1000毫秒

千锋教育

意味着：

$\circ$ 如果一次poll到500条，就直接执行for循环

$\circ$ 如果这一次没有poll到500条，且时间在1s内，那么长轮询继续poll，要么到500条，要么到1s

$\circ$ 如果多次poll都没达到500条，且1s时间到了，那么直接执行for循环

如果两次poll的间隔超过30s，集群会认为消费者的消费能力过弱，该消费者被踢出消费组，触发rebalance机制。rebalance机制会造成性能开销，可以通过设置这个参数，让一次poll的消息条数少一点。

千锋教育

4. 消费者的健康状态检查

消费者每隔1s向kafka集群发送心跳，集群发现如果超过10s没有续约的消费者，将被踢出消费组，触发该消费组的rebalance机制，将该分区交给消费组里的其他消费者进行消费。

千锋教育

5. 指定分区和偏移量，时间消费

$\bullet$ 指定分区消费

千锋教育

$\bullet$ 从头消费（消息回溯消费）

千锋教育

$\bullet$ 指定offset消费（需要指定分区，然后指定offset）

千锋教育

$\bullet$ 指定时间消费

根据时间，去所有的partition中确定该时间的offset，然后去所有的partition中找到该offset之后的消息开始消费。

千锋教育

6. 新消费组的消费offset规则

新消费组中的消费者在启动以后，默认会从当前分区的最后一条消息的offset+1开始消费（消费新消息）。可以通过以下的设置，让新的消费者第一次从头开始消费。之后开始消费新消息（最后消息的位置的偏移量+1）。

$\bullet$ Latest : 默认的，消费新消息

$\bullet$ earliest : 第一次从头开始消费。之后开始消费新消息（最后消息的位置的偏移量+1）

千锋教育

二，Springboot中使用kafka

1. 引入依赖

千锋教育

2. 编写配置文件

千锋教育

3. 编写生产者

千锋教育

4. 编写消费者

千锋教育

上一篇下一篇

猜你喜欢

热点阅读