快速搭建日志系统 felk

快速搭建日志系统

1. 背景

• 平时线上查日志，大家很烦 敲命令，有时候 还不给我权限 ,如果集群，分布式系统 排查日志更加困难

tail -f *.log

tail -n

cat log.txt | grep 'msg' -C 5 前后5行

2. 那就来一套 用的较多 的 filebeat + logstash + es + kibana 日志系统吧

1. 安装 es

   docker pull elasticsearch:7.1.1
   
   docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.1
   
   # 创建网络 可以不用
   docker network create somenetwork 
   

2. 安装 kibana

   docker pull kibana:7.1.1
   
   docker run -d -e "I18N_LOCALE=zh-CN" --name  kibana --net somenetwork -p 5601:5601 kibana:7.1.1
   

3. 安装 filebeat

   不想用docker了， 下载安装包，解压，改配置

image.png image.png

启动 nohup ./filebeat -e -c filebeat.yml &

4. 安装 logstash,一样 下载安装包，改配置 启动 logstash.conf

~~~
input {
  beats {
    port => 5044
  }
}
filter {
   grok {
        match => ["message", "%{TIMESTAMP_ISO8601:logdate}"]
  }
  date {
        match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
        target => "@timestamp"
  }
  mutate{
    remove_field => ["logdate"]
  }
}
output {
  elasticsearch {
    hosts => ["http://172.16.13.68:9200"]
    index => "security-platform-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}
~~~

启动 nuhup bin/logstash -f config/logstash.conf &

3.效果

image.png image.png

4. 总结

有了这个 不会linux 也能快速查看日志，排查错误了