Hadoop

KAFKA小白入门-配置优化

2019-08-08  本文已影响38人  GeekerLou

前言

本人使用的KAFKA的安装版本为kafka_2.11-1.1.0,其他版本的配置不保证完全一致,谨防入坑,但是操作思路是可以借鉴和参考的。

日志优化

清理消息日志文件

KAFKA的消息清理支持两种配置,一种是根据时间,一种是根据消息的大小。下面举一个例子:

# 启用删除策略,直接删除,删除后的消息不可恢复
log.cleanup.policy=delete
# 可配置以下两个策略
# 可选策略1:清理超过指定时间清理
log.retention.hours=16
# 可选策略2:超过指定大小后,删除旧的消息
log.retention.bytes=1073741824

打开kafka_2.11-1.1.0/config/server.properties,可以看到默认设置是启用过期消息删除功能,保留策略采取的是保留近三天的消息日志内容,可以根据自己的业务特点进行调整。

############################# Log Retention Policy #############################

# The following configurations control the disposal of log segments. The policy can
# be set to delete segments after a period of time, or after a given size has accumulated.
# A segment will be deleted whenever *either* of these criteria are met. Deletion always happens
 # from the end of the log.

 # The minimum age of a log file to be eligible for deletion due to age
log.retention.hours=72
log.cleanup.policy=delete

# A size-based retention policy for logs. Segments are pruned from the log unless the remaining
# segments drop below log.retention.bytes. Functions independently of log.retention.hours.
#log.retention.bytes=1073741824

清理中间件运行时日志文件

需求描述:清理KAFKA/ZK运行时产生的日志文件:

方式一:定时任务清理:

每天凌晨一点执行清理任务,删除15天之前的所有类别日志文件(包括KAFKA、ZK、GC等):

0 0 1 * *  find /home/{user}/kafka_2.11-1.1.0/logs/ -mtime +15 -delete > /dev/null 2>&1

方式二:修改log4j.properties文件

(TODO)

上一篇 下一篇

猜你喜欢

热点阅读