1 服务架构概述

通过前文中对Kafka的安装介绍以及使用，本文将介绍Kakfa参与的一套 《海量日志收集框架》，从零开始实现一个高可用的单机版的日期采集分析框架。

架构使用技术： log4j2 + filebeat + kafka + logstash + elasticsearch + kibana

2 服务架构设计

架构图如下：

ELK.png

• 日志输出 -- log4j2

• 日志收集 -- filebeat

• 日志过滤 -- logstash

• 日志持久化 -- elasticsearch

• 日志可视化 -- kibana

3 服务资源信息

服务器IP	hostname	节点说明	版本
192.168.51.4	centos-4	filebeat	7.4.2
192.168.51.4	centos-4	kafka	2.12-2.1.0
192.168.51.4	centos-4	logstash	7.4.2
192.168.51.4	centos-4	elasticsearch	7.4.2
192.168.51.4	centos-4	kibana	7.4.2

4 官方文档手册

filebeat官网地址：https://www.elastic.co/cn/beats/filebeat

kafka官网地址：http://kafka.apache.org/

logstash官网地址：https://www.elastic.co/cn/logstash

elasticsearch官网地址：https://www.elastic.co/cn/elasticsearch/

kibana官网地址：https://www.elastic.co/cn/kibana

5 相关信息

下一篇：ELK 日志采集框架（二）：日志模块开发

博文不易，辛苦各位猿友点个关注和赞，感谢