Elastic Stack -- 日志管理

官网：https://www.elastic.co/

日志大数据系统的组成
日志记录工具：Log4j 2、Apache Commons Logging等
日志采集器：部署在每台服务器上，采集数据到缓冲队列，例如 Elastic Beats、Elastic Logstash、Fluentd、Apache Flume
日志缓冲队列（可选）：RocketMQ，Kafka，Redis等
日志解析器（可选）：从缓冲队列里读取日志，转成JSON，存到日志存储系统。例如Elastic Logstash、Fluentd
日志存储系统：Elasticsearch、MongoDB等NoSQL
日志检索系统：Elasticsearch、Apache Solr等
日志展示系统：Elastic Kibana等

概念
Elastic Stack：elastic.co发布的一序列产品
ELK：Elasticsearch、Logstash、Kibana
ELK Stack：Elastic Stack的曾用名

Beats

功能：轻量级 采集、发送数据
产品序列：Filebeat（日志采取）、Metricbeat（操作系统和应用软件 指标数据的采集）、Packetbeat（网络数据采集）、Heartbeat（健康数据采集）

Filebeat

文档：https://www.elastic.co/guide/en/beats/filebeat/current/index.html
配置参考：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-reference-yml.html

安装
1、下载tar.gz 到 /usr，解压tar -zxvf
2、运行Filebeat：./filebeat -e -C filebeat.yml

模块
prospector：勘探者，即input，监控文件变化
harvester：收割者，即output，读取文件，发送给目标。发送的数据格式为json，字段包含采集时间、采集源、message，message即所采集的日志
filter：过滤器，在input和output时，过滤掉部分行和filebeat自己加上的字段

配置
filebeat.yml

filebeat.inputs:                        # 是个数组
- type: log                                # 还可以是标准输入stdin
   paths:                                    # 是个数组
   - /var/log/*.log
   exclude_lines: ['^DBG']         # 排除行
   include_lines: ['^ERR', '^WARN']  # 包含行
   exclude_files: ['.gz$']  # 排除文件

output.elasticsearch:                 # 输出到elasticsearch，还可以输出到console、file、Logstash、Kafka、Redis
  hosts: ["localhost:9200"]

processors:  # 输出处理
- drop_event:  # 在某情况下丢弃本条日志
    when:
       equals:
           http.code: 200
- drop_fields:           # 丢弃字段
    fields: ["source", "type"]
- include_fields:   # 只取部分字段
    fields: ["message"]

filebeat.modules:  # 启用通用模块
- module: nginx
- module: mysql
- module: system

Packetbeat

文档：https://www.elastic.co/guide/en/beats/packetbeat/current/index.html
配置参考：https://www.elastic.co/guide/en/beats/packetbeat/current/packetbeat-reference-yml.html

安装
1、下载tar.gz 到 /usr，解压tar -zxvf
2、运行Packetbeat：./packetbeat -e -C packetbeat.yml

配置
packetbeat.yml

packetbeat.interfaces.device: any   # 网卡
packetbeat.protocols:      # 抓包目标
- type: http
  ports: [80, 8080, 8000, 5000, 8002]

send_request: true  # 是否抓取请求体
include_body_for: ["application/json"]  # 抓取json请求的body

# output 和 processors 配置，与Filebeat类似

Logstash

功能：采集、转换、发送数据
文档：https://www.elastic.co/guide/en/logstash/current/index.html
历史：Jordan Sissel 于 2009年发布Logstash，2013年被Elasticsearch公司收购

安装
1、下载tar.gz 到 /usr，解压tar -zxvf
2、运行logstash：bin/logstash -f config/logstash.sample.conf

模块
input：输入
filter：过滤与转换
output：输出

配置
config/logstash.sample.conf

input { 
    stdin { }    # 标准输入
    file {         # 文件输入
        path => "/tmp/access_log"
        start_position => "beginning"
    }
    tcp {     # 网络输入
      port => 5000
      type => syslog
    }
} 

filter {         
  if [path] =~ "access" {    # 过滤
      mutate { replace => { "type" => "apache_access" } }   # 设置字段的值
      grok {
        # 设置message的格式，COMBINEDAPACHELOG 会被展开成 多个%{pettern:key}
        match => { "message" => "%{COMBINEDAPACHELOG}" }
      }
  } 
  else if "error" in [request]  {
    mutate { replace => { type => "apache_error" } }
  }     
  if [type] == "syslog" {
    grok {
      # %{字段值的来源:字段名}
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program} %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]    # 添加字段
      add_field => [ "received_from", "%{host}" ]
    }
  }

  grok {                        # 结构化
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {                        # 时间处理
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

output {
  elasticsearch { hosts => ["localhost:9200"] }   # 输出到elasticsearch
  stdout { codec => rubydebug }   # 标准输出，格式为rubydebug
}

grok模式的定义：https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

Elasticsearch

功能：存储和检索
详见：https://www.jianshu.com/p/09fdd85d3613

Kibana

功能：web界面展示
文档：https://www.elastic.co/guide/cn/kibana/current/index.html

安装：
1、下载tar.gz，放到/usr，解压tar -zxvf
2、配置 config/kibana.yml

elasticsearch.url: "http://localhost:9200"  # ES的位置
server.host: 绑定的IP
server.port: 端口

3、运行kibana：bin/kibana
4、访问 IP:5601

板块
Dev Tools：编辑和发送请求
Discover：数据查看，数量统计
Dashboard：总览
Visualize：配置图表，显示图表
Management：设置 与 管理

Elastic Stack 实践

1、Packetbeat部署在业务集群
2、Logstash、Elasticsearch 和 Kibana部署在日志监控集群
3、Packetbeat 抓取业务包，发给Logstash，处理后存到Elasticsearch

Packetbeat配置

packetbeat.protocols:      # 输入
- type: http
  ports: [80, 8080, 8000, 5000, 8002]
output.logstash:              # 输出
  hosts: ["localhost:5044"]

Logstash配置

input {                  # 输入
    beats {  
      port => 5044  
    }    
} 
output {          # 输出
  elasticsearch { hosts => ["localhost:9200"] }   # 输出
}

阿里云

开放搜索：搜索引擎
日志服务
阿里云 · Elasticsearch