【Kafka系列】2.1 服务端 - 基本概念

2020-07-28  本文已影响0人  熊本极客

1.ISR、OSR、AR是什么?

ISR:In-Sync Replicas 副本同步队列。所有与 leader 副本保持一定程度同步的副本(包括 leader 副本在内)组成ISR(In-Sync Replicas)。

OSR:Out-of-Sync Replicas。

AR:Assigned Replicas 所有副本。ISR集合是AR集合中的一个子集。

replica.lag.time.max.ms :这个参数的含义是Follower副本能够落后Leader副本的最长时间间隔,当前默认值是 10 秒。

unclean.leader.election.enable:是否允许 Unclean 领导者选举。开启Unclean领导者选举可能会造成数据丢失,但好处是,它使得分区 Leader 副本一直存在,不至于停止对外提供服务,因此提升了高可用性。

2.LSO、LW、HW、LEO等分别代表什么?

LSO:LogStartOffset,日志文件的起始偏移量 logStartOffset 一般情况等于第一个日志分段的 baseOffset。通过DeleteRecordsRequest请求,使用KafkaAdminClient的deleteRecords()方法、使用kafka-delete-records.sh脚本、日志的清理和截断等操作。

HW:High Watermark,俗称高水位,标识了一个特定的消息偏移量(offset),消费者只能拉取到这个 offset 之前的消息。

LEO:Log End Offset,标识当前日志文件中下一条待写入消息的 offset,如下图中offset 为9的位置即为当前日志文件的 LEO,LEO 的大小相当于当前日志分区中最后一条消息的offset +1

上一篇下一篇

猜你喜欢

热点阅读