Kafka可填补ELK日志收集的缺陷

上一篇 <<<Logstash工作原理介绍
下一篇 >>>Logstash环境搭建

1.单纯使用ElK实现分布式日志收集缺点

a.logstash太多了，扩展不好。
b.读取IO文件，可能会产生日志丢失
c.不是实时性

2.ELK+Kafka的实现原理

日志记录要点：
A、AOP记录请求及相应日志
B、全局统一异常捕获日志

注意点：
A、使用不同的topic
B、日志格式要统一，要包含服务名称、端口号、请求IP、设备信息等

3.logstash配置

input {
  kafka {
    bootstrap_servers => "192.168.212.252:9092"
    topics => ["goods_mylog"]
  }
}
output {
    stdout { codec => rubydebug }
    elasticsearch {
       hosts => ["192.168.212.252:9200","192.168.212.252:9201"]
       index => "goods_mylog"
    }
}

推荐阅读：
<<<ELK分布式日志收集系统介绍
<<<ELK分布式日志收集原理
<<<Logstash工作原理介绍
<<<Logstash环境搭建
<<<Kibana环境安装及常用命令