中间件

kafka消息有效期设置

2018-11-29  本文已影响406人  lockdreamer

问题描述:

昨天晚上,先收到kafka主机磁盘告警,然后收到kafka端口告警,三台kafka同时挂掉。

排查:

登上主机,发现磁盘空间满了;查看日志发现报错:java.io.IOException: No space left on device。初步确定是磁盘问题,因为昨天有大量爬虫和企业数据导入。

问题解决方案:

初步决定,先暂停数据推送,同时修改kafka消息的有效期,默认有效期为24小时,改为4小时。具体配置如下:

kafka配置文件server.properties

lockdreamer

遗留问题:

1、消息有效期修改后,会产生什么影响。

2、消息推送的量,时间段;大量消息推送,有效期4小时能否满足。

3、后续是否交维。

上一篇 下一篇

猜你喜欢

热点阅读