Logstash GROK过滤器插件
grok官网地址
grok中文版地址
Grok是将非结构化日志数据解析为结构化和可查询内容的好方法。
该工具非常适合syslog日志，apache和其他Web服务器日志，mysql日志，以及通常用于人类而非计算机使用的任何日志格式。
Logstash默认附带大约120种模式。您可以在这里找到它们：https : //github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns。您可以添加自己的内容。（请参阅patterns_dir设置）
如果您需要构建模式以匹配日志的帮助，您会发现 http://grokdebug.herokuapp.com和http://grokconstructor.appspot.com/应用程序非常有用！
语法模式
grok模式的语法是 %{SYNTAX:SEMANTIC}
SYNTAX---将匹配文本模式的名称。例如，3.44将与NUMBER模式匹配，并且55.3.244.1将与IP模式匹配。语法就是您的匹配方式。
该SEMANTIC是你给一段文字的标识相匹配。例如，3.44可能是事件的持续时间，因此您可以简单地将其称为duration。此外，字符串55.3.244.1可能会标识client 发出请求。
对于上面的示例，您的grok过滤器将如下所示：
%{NUMBER:duration} %{IP:client}
示例1： 有了语法和语义的概念，我们可以从示例日志中提取有用的字段，例如虚构的http请求日志：
55.3.244.1 GET /index.html 15824 0.043
此模式可以是：
%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}
一个更现实的示例，让我们从文件中读取这些日志：
input {
file {
path => "/var/log/http.log"
}
}
filter {
grok {
match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
}
}
正则表达式
Grok位于正则表达式的顶部，因此任何正则表达式在grok中也有效。正则表达式库是Oniguruma，您可以在Oniguruma网站上看到完整的受支持的regexp语法。
正则匹配：nginx日志
223.13.142.15 - - [10/May/2018:23:47:43 +0800] "GET http://app.znds.com/update/dangbeimarket.apk HTTP/1.1" 206 62263 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1) QQBrowser/6.0"
正则匹配
%{IPV4:remote_user} \- \- \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{URI:request} %{WORD:http}/%{NUMBER:httpversion}" %{NUMBER:status} (?:%{NUMBER:bytes}|-) (?:%{QS:data}|-) (?:%{QS:agent}|-)
自定义插件
这里的环境都是docker 物理机和这里所用的类似
root用户进入到logstash的容器中
docker run -it --rm --user root docker.elastic.co/logstash/logstash:7.4.2 bash
有时logstash没有您需要的模式。为此，您有一些选择。
- 创建一个目录，patterns其中包含一个名为extra 的文件（文件名无关紧要，但为您自己有意义地命名）
-
在该文件中，将所需的模式写为模式名称，一个空格，然后输入该模式的regexp(正则表达式)。
image.png
[root@c614d6cb552c patterns]# vi extra
YAN [a-zA-Z0-9._-]+
YANT \d+(?:\.\d+)?
TT (?<request_time>\d+(?:\.\d+)?)
编写配置文件
[root@c614d6cb552c logstash]# vi test-grok.conf
input {
stdin{}
}
filter {
grok {
patterns_dir => ["./patterns"] ---指定自己编写的grok表达式的位置
match => {
"message" => "%{YAN:yan} %{YAN:t} %{TT:tt}" --匹配的格式
}
}
}
output {
stdout{ codec => rubydebug } -- 输出为ruby格式
}
输入命令执行
logstash -f test-grok.conf
image.png
