elk之logstash 解析日志

版本：logstash-6.3.2 版本

从官网 https://www.elastic.co/downloads/logstash 

下载好logstash后 解压 进入logstash-6.3.2

1.在logstash-6.3.2目录下新建 *.conf 文件 (例如：建test-pipeline.conf)

    eg: vim  test-pipeline.conf

2.在 test-pipeline.conf  输入以下内容

    注意：path 对应自己的日志路径 

    logstash-tutorial.log 可以从elastic官网下载  （进入下面网址后找到 here 点击）

    网址：https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html#_configuring_logstash_for_filebeat_input

input {

    file{

        path =>"/root//log/logstash-tutorial.log/*"   

        start_position=>"beginning"

  }

}

filter {

    grok {

        match => { "message" => "%{COMBINEDAPACHELOG}"}

    }

    geoip {

        source => "clientip"

   }

}

output {

    stdout {codec => ruby​​debug}   

}

-----------------------------------------------------------------

3.启动Logstash 

        bin / logstash -f first-pipeline.conf

启动需要一点时间

启动成功会有 日志文件中的信息会以json格式输出

output 也可以配置 为 elasticsearch 

output {

    elasticsearch {

        hosts => [ "localhost:9200" ]

    }

}

input filter output 解释

        input 是将数据导入Logstash

        filter 是Logstash管道中的中间处理设备。将各种数据过滤后输出到 output所配置的地方

        output 是Logstash管道的最后阶段。事件可以传递多个输出，但是一旦所有输出处理完成，事件就完成了它的执行。