Logstash简介

一、简单介绍

logstash主要分为3个部件。

1 input

logstash的输入源，用于接收日志，主要可以从file（文件）、beats（beat组件）、syslog（第三方平台syslog）、stdin（控制台输入）

2 filter

logstash的过滤器，内置了大量的过滤插件，可以对收到的日志进行各种处理。
常用插件介绍

• grok 正则匹配，可以将一段很长日志的内容通过正则匹配，拆解到多个字段中。同时logstash中也内置了很多正则表达式。参考官方文档https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns
• date 时间格式转换
• mutate 字段处理，可以字段重命名，转换数据类型等。
• geoip 公网ip地址查询
• dissect 根据分隔符进行字段截取，适用于分隔符简单明确，消耗比grok小很多。

3 output

logstash的输出源，常用的就是两个
stdout （控制台输出，常用于调试）
elasticsearch （输出到es）