Kafka-文件存储
2019-11-06 本文已影响0人
洛神灬殇
1.文件存储机制
副本数=leader+follower总数,但是不允许同一个分区在同一台broker下面
每一个分区都会维护一个偏移量(offset)信息,follower会同步数据信息从leader,此时会判断offset的数值是否属于最新,进行判断是否属于缺失数据。
只能保持分区内有序性,无法保证全局有序性
topic为逻辑结构、partion为物理结构->对应一个log文件(data数据)
log.segement.bytes=N 这个属于存储log最大文件大小,会创建新的。
对log文件进行分片和索引数据,文件夹命名规范为:topic名称+分区序号
对log文件和索引文件的命名方式:当前segment的第一条数据开始的offset.log/.index
index的存储结构为【offset数值:log文件对应消息的实际消息开始偏移量】(二分法查找)。
log的存储结构为消息数据(seek命令查找定位)
先去查询index文件,然后获取到对于的log的时间偏移量,之后直接去.log文件去查询到检索数据