ELK+Filebeat+Kafka构建海量日志分析

2018-05-18 本文已影响485人 wangfs

为什么要做日志分析平台，随着业务量的增大，单个日志文件的大小达到几个GB，这时候，我们发现用系统自带的工具，cat/grep/awk/tail越来越显得力不从心，除了操作系统日志，还有应用系统的日志，分布在各个服务器上，日志分析工作异常繁琐，开发人员想获取日志信息也异常麻烦。所以为了解决现状，接下来我们将构建这个日志分析平台。

1. 架构图

3.png

2.架构图分析

将filebeat部署到需要采集日志的服务器上，filebeat将采集到的日志数据传输到kafka中。
kafka将获取到的日志信息存储起来，并且作为输入(input)传输给logstash。
logstash将kafka中的数据作为输入，并且把kafka中的数据进行过滤等其他操作，然后把操作后得到的数据输入(output)到es(elasticsearch)中。
es(基于lucene搜索引擎)对logstash中的数据进行处理，并且将数据作为输入传送给kibana进行显示。

注:上图使用了kafka，es集群架构图，我本次实验并不使用集群。旨在疏通整个流程，并实现可用。对于做大数据采集分析的一般会使用这种集群架构。提高公司内部的日志分析及排错效率，非集群架构也足够。

3.部署该平台需要的环境以及软件，软件及版本如下

172.17.217.131 filebeat 1Core 1GB
172.17.217.130 kafka logstash 1Core 2GB
172.17.217.129 elasticsearch kibana 2Core 8GB

5.png

4.安装以及配置各软件

1.安装filebeat

[root@web-server softwares]# tar -xf filebeat-6.1.3-linux-x86_64.tar.gz 
[root@web-server softwares]# mv filebeat-6.1.3-linux-x86_64 /usr/local/filebeat6.1
[root@web-server filebeat6.1]# pwd
/usr/local/filebeat6.1
[root@web-server filebeat6.1]# cp filebeat.yml filebeat.yml.bak
[root@web-server filebeat6.1]# > filebeat.yml #清空文件
#修改filebeat.yml文件
[root@web-server filebeat6.1]# cat filebeat.yml
filebeat.prospectors:
- type: log
  #设置为true使该配置生效
  enabled: true
  paths:
  #收集日志路径，多个的话继续往下写即可
   - /var/log/messages
  fileds:
   #自定义属性，用来区分不同服务器上的日志
   log_source: 172.17.217.131-system
- type: log
  enabled: true
  paths:
   - /var/log/nginx/accesss.log
  fields:
   log_source: 172.17.217.131-nginx
  #下面三个属性配置根据[ 将Java异常堆栈收集为一条消息，也可以在logstash中配置
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: after
  #该属性可以配置只收集error级别和warn级别的日志，如果与配置多行收集，一定要将这个配置放在多行的后面
  include_lines: ['ERROR','WARN']
  #该属性配置不收集DEBUG级别的日志，如果配置多行，这个配置也要放在多行的后面
  exclude_lines: ['DEBUG']

output.logstash:
  #如果是多个logstash，将下面的三条属性打开
  #hosts: ["localhost:5044","localhost:5045"]
  #loadbalance: true
  #worker: 3
  hosts: ["172.17.217.130:5044"]
  #这个index的值也可以自定义，用来修改@metadata[beat]值，默认是filebeat
  index: "filebeat"

配置解释：

type: log 读取日志文件的每一行（默认）
enabled: true 该配置是否生效,如果改为false,将不收集该配置的日志
paths: 要抓取日志的全路径
fields: 自定义属性,可以定义多个,继续往下排就行
multiline.pattern: 正则表达式
multiline.negate: true 或 false；默认是false，匹配pattern的行合并到上一行；true，不匹配pattern的行合并到上一行
multiline.match: after 或 before，合并到上一行的末尾或开头
include_lines: ['ERROR','WARN'] 该属性可以配置只收集error级别和warn级别的日志,如果有配置多行收集,一定要将这个配置放在多行的后面
exclude_lines: ['DEBUG'] 该属性配置不收集DEBUG级别的日志,如果配置多行这个配置也要放在多行的后面
hosts: Logstash所在的主机
loadbalance: 如果设置为TRUE和配置了多台logstash主机，输出插件将负载均衡的发布事件到所有logstash主机。如果设置为false，输出插件发送所有事件到随机的一台主机上，如果选择的不可达将切换到另一台主机。默认是false。
worker: 每个配置的主机发布事件到Logstash的工作者数量。这最适用于启用负载平衡模式。示例：如果您有2个主机和3个工作人员，则共有6个工作人员启动（每个主机3个）。

2.安装logstash

[root@git softwares]# tar -xf logstash-6.2.3.tar.gz 
[root@git softwares]# mv logstash-6.2.3 /usr/local/logstash6.2.3
[root@git softwares]# cd /usr/local/logstash6.2.3/
#创建logstash.conf文件并编辑
[root@git logstash6.2.3]# cat logstash.conf 
input {
    beats {
        port => 5044
}

}

output {

    elasticsearch {
     hosts => ["http://172.17.217.129:9200"]
     index => "%{[fields][log_source]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

}

}

3.安装elasticsearch

[root@jenkins softwares]# tar -xf elasticsearch-6.1.3.tar.gz 
[root@jenkins softwares]# mv elasticsearch-6.1.3 /usr/local/elasticsearch6.1.3
[root@jenkins softwares]# cd /usr/local/elasticsearch6.1.3/
[root@jenkins elasticsearch6.1.3]# cd config/
[root@jenkins config]# ls
elasticsearch.yml  jvm.options  log4j2.properties
[root@jenkins config]# cp elasticsearch.yml elasticsearch.yml.bak
[root@jenkins config]# vim elasticsearch.yml

修改IP和端口即可

1.png

[root@jenkins config]# useradd elastic
[root@jenkins config]# chown -R elastic /usr/local/elasticsearch6.1.3/
[root@jenkins config]# su - elastic
[elastic@jenkins ~]$ pwd
/home/elastic
[elastic@jenkins ~]$ cd /usr/local/elasticsearch6.1.3/
[elastic@jenkins elasticsearch6.1.3]$ ls
bin  config  lib  LICENSE.txt  modules  NOTICE.txt  plugins  README.textile
[elastic@jenkins elasticsearch6.1.3]$ ./bin/elasticsearch