logging.handler 调整 elastalert 日志

2019-01-22 本文已影响0人囧雪啥都不知道

背景：

我的项目都使用filebeat来采集日志
大部分项目都是Java项目，直接使用slf4j来打印日志，每行日志的开头都是时间戳
因此在filebeat中直接配置一个匹配时间戳的正则，就完成了日志分行
要用filebeat采集elastalert的日志，并且想复用原来的正则

所以需要格式化一下elastalert的日志格式，方便我采集。

查看一下代码，elastalert 的日志都用 util.py 中的这个logger来打印，如下：

elastalert.py 中打印日志的代码
这个logger就是util.py中的

logging.basicConfig()
elastalert_logger = logging.getLogger('elastalert')

啥都没设置，就写了个名字elastalert

一张白纸啊，可以随意改！

先点进去看一下logging.basicConfig()的代码，发现功能有限，不能实现我们需要按天滚动日志的需求，所以我们使用Handler

logging.basicConfig()

首先要给他加上时间戳，为了方便找到日志，还可以打印是哪个文件多少行的日志，
所以我的日志格式定义为：

log_fmt = '%(asctime)s.%(msecs)03d %(threadName)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'

解释一下：

asctime: 时间戳，%s
msecs: 毫秒，%03d
filename: 打印日志的文件名称， %s
line: 打印日志的行号，%d
levelname: 日志等级，%s
message: 日志内容，%s

formater 支持的参数小计

levelno打印日志级别的数值，%s
levelname:打印日志级别名称，%s
pathname:打印当前执行程序的路径，其实就是sys.argv[0]，%s
filename:打印当前执行程序文件名，%s
funcName:打印日志的当前函数，%s
lineno:打印日志的当前行号，%d
asctime:打印日志的时间，%s
thread:打印线程ID，%d
threadName:打印线程名称，%s
process:打印进程ID，%d
message:打印日志信息，%s

因为logging中默认的时间戳是 %Y-%m-%d %H:%M:%S,%f，但是我就想要秒%S和毫秒%f中间的符号是点.，不是逗号,。但是 strftime() 并不支持格式化到毫秒，所以要把时间戳asctime格式化为%Y-%m-%d %H:%M:%S，然后拼上点.和msecs这个属性。

接下来，定义时间戳的格式，然后放入logging.Formatter()：

date_fmt = '%Y-%m-%d %H:%M:%S'
formatter = logging.Formatter(log_fmt, date_fmt)

写一个生成日志文件的handler

# 日志文件
log_file_handler = TimedRotatingFileHandler(
    filename='${日志文件路径}/${日志文件名}.log',
    when='M',
    interval=2,
    backupCount=3)
log_file_handler.suffix = '%Y-%m-%d'
log_file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}.\d{2}:\d{2}$")
log_file_handler.setLevel(logging.INFO)
log_file_handler.setFormatter(formatter)
elastalert_logger.addHandler(log_file_handler)

解释一下：

filename: 就是生成日志文件的文件名
when: 触发滚动的时间单位
interval: 触发滚动的周期，如when='M'，interval=2，即每两分钟滚动一次
backupCount: 最大滚动文件数
suffix: 文件后缀，滚动文件会在文件名后添加的后缀
extMatch: 文件后缀符合的正则，用于删除超过backupCount数目的日志文件

按照上述我的配置，即每2分钟滚动一个新的日志文件，最多存在三个滚动文件。
当前正在写入的文件名称为${日志文件路径}/${日志文件名}.log
滚动后的文件名称为${日志文件路径}/${日志文件名}.log.%Y-%m-%d

再写一个控制台打印日志的handler：

# 控制台日志
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)
console_handler.setFormatter(formatter)
elastalert_logger.addHandler(console_handler)

这样，elastalert中日志的打印就调整好了。

2019-01-22 16:45:30.569 MainThread elastalert.py[line:1115] INFO Starting up
2019-01-22 16:45:30.573 MainThread elastalert.py[line:1245] INFO Sleeping for 29.999984 seconds

tags: [elastalert] [python 2.7]

logging.handler 调整 elastalert 日志

猜你喜欢

热点阅读