机器内存故障恢复后引起的乌龙
2018-12-24 本文已影响0人
A_You
前几日某一台机器内存故障引起机器宕机,1天后重新恢复,发现同步的副本少啦4G的数据文件，便开始怀疑副本恢复不正常
-查看日志目录大小
LEADER 20G NTC-COLLECT-HTTP-LOG-11
Replica 16G NTC-COLLECT-HTTP-LOG-11
相差4G,查看IO，也就是2M~3M的流量，并且ISR并没有恢复的broker id
-查看日志文件
-rw-rw-r-- 1 1073737818 Dec 25 2018 00000000000537777497.log
今天是2018-12-24,怎么会有25的日志？
- 查看系统时间
Mon Dec 24 20:32:53 +06 2018
是当前日期
- 查看启动日志
[root@aaaa logs]$ find . | xargs grep "12-25"
grep: .: Is a directory
./server.log.2018-12-24-18:[2018-12-25 02:38:50,521] ERROR [ReplicaFetcherThread-0-74], Error for partition [topic1,4] to broker 74:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)
竟然有25的日志，查看那最新的日志是24号
- 时间同步
系统同步时间，10分钟调度一次，kafka 启动也是随机自启，难道是kafka启动的时候是时区不正确？ - 重新启动 kafka
查看日志文件，的确是当前时间，但是还是相差4G的文件块 - 查看副本是否加入ISR
可看到已加入 - 两天过期时间导致日志文件删除
