ELK学习笔记

2018-06-04 本文已影响135人 liuchungui

由于我们使用的服务器比较多，最近每次查看日志都是ssh登陆或者通过Fabric下载下来，特别不方便。经过多方比较，最终选择了ELK。所以，开始了学习ELK的路程。

本来，是打算写一篇完整教程，后来想了想，发现完整教程中的一些内容并不适合展现出来。但，在学习过程中的内容，感觉还是需要做个笔记。所以，暂时整一篇笔记，记录在学习实践过程中所有知识点，后面在将整个日志系统搭建好整一篇完整的搭建教程。回到正题，咱们开始学习ELK。

一、简单介绍ELK

ELK是Elasticsearch、Logstash、Kibana三个开源软件的首字母缩写，在搭建ELK日志系统时，除了前面三个，还有用到了Filebeat，其中它们的功能作用如下：

Elasticsearch：是一个搜索和分析引擎
Logstash：是一个服务端的数据预处理管道，它可以同时收集、转换多个数据源的数据，并且发送给Elasticsearch
Kibana：是一个Web平台，将Elasticsearch的数据用表格和图片的形式展现出来，以供分析
Filebeat: 是一个日志文件托运工具，在服务器上安装之后，Filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件，将收集到的日志数据发送给Logstash。（除了Logstash，它也可以发送给Elasticsearch、Kafka、Redis等）

二、ELK架构

ELK架构分成两种，一种是经典的ELK，另外一种是加上消息队列（Redis或Kafka或RabbitMQ）和Nginx的架构。

经典的ELK

经典的ELK主要是由Filebeat + Logstash + Elasticsearch + Kibana组成，如下图：

image.png

它主要适用于数据量小的开发环境，存在丢失数据的危险。

消息队列+Nginx架构

这种架构，主要加上了Redis或Kafka或RabbitMQ做消息队列，保证了消息的不丢失。而加上Nginx，则是可以增加一层访问限制（因为Kibana本身没有限制，所以放在Nginx做），如下图：

image.png

此种架构，主要用在生成环境，可以处理大数据量，并且不会丢失数据。

三、安装ELK

安装Java 8

由于Elasticsearch、Logstash是基于Java 8开发的，所以需要在安装Elasticsearch、Logstash的服务器上安装Java 8。

$ apt-get update
$ apt-get install default-jre
$ java -version
openjdk version "1.8.0_171"
OpenJDK Runtime Environment (build 1.8.0_171-8u171-b11-0ubuntu0.16.04.1-b11)
OpenJDK 64-Bit Server VM (build 25.171-b11, mixed mode)

APT安装ELK源

我这里使用APT安装的，所以需要先更新ELK源，然后就可以apt-get install安装ELK了。需要注意的是，若是你的Logstash和Filebeat在不同的服务器上，则ELK源需要在每台服务器上安装一遍。当然，若是你习惯另外方式，可以参考官网Installation进行选择。

首先，下载和安装公钥

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

然后，安装apt-transport-https包

sudo apt-get install apt-transport-https

之后，将ELK的安装包源保存到/etc/apt/sources.list.d/elastic-6.x.list

echo "deb https://artifacts.elastic.co/packages/6.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-6.x.list

最后，更新下apt

sudo apt-get update

安装Elasticsearch

我们上面已经安装过了ELK源，所以可以直接使用apt-get install来安装ELK这些软件。

1、安装Elasticsearch

sudo apt-get install elasticsearch

2、启动elasticsearch，并验证是否运行

启动elasticsearch

service elasticsearch start

等一会儿，然后输入curl http://localhost:9200进行验证

返回下面内容，则说明运行成功:

{
  "name" : "qE-LiYD",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "pbVqoWBjR4ybbPXprKr5WQ",
  "version" : {
    "number" : "6.2.4",
    "build_hash" : "ccec39f",
    "build_date" : "2018-04-12T20:37:28.497551Z",
    "build_snapshot" : false,
    "lucene_version" : "7.2.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

遇到问题：刚搭建时，我在多台服务器上实验过，输入curl http://localhost:9200获取不到任何内容，启动也没有报错信息。后来，在官方的Install Elasticsearch with Debian Package文档中，查看日志路径，通过日志才发现是内存不足。最后，换到一台4G内存的服务器上，就没有问题了。也可以通过/usr/share/elasticsearch/bin/elasticsearch命令启动，当报错时，能在终端显示错误信息。

如果要停止或重启elasticsearch，可以使用下面命令：

# 停止
service elasticsearch stop
# 重启
service elasticsearch restart

安装Logstash

已经安装好ELK源，所以只需要一句命令安装：

sudo apt-get install logstash

安装Kibana

Kibana是JS写的，若是Kibana和Logstash、Elasticsearch在不同服务器上，可以不安装Java 8。

# 安装Kibana
sudo apt-get install kibana

Kibana的配置文件在/etc/kibana/kibana.yml中，它默认打开的端口是5601，并默认接收本地9200的elasticsearch数据。对应的配置如下：

server.port: 5601
elasticsearch.url:  "[http://localhost:9200](http://localhost:9200/)"

启动Kibana，使用如下命令：

sudo service kibana start

此时，若是将Kibana安装本地，就可以通过 http://localhost:5601看到如下页面：

image.png

安装Filebeat

首先安装好ELK源，然后执行下面命令安装Filebeat

sudo apt-get install filebeat

四、配置

在上面安装，Elasticsearch和Kibana使用默认配置，重点的配置主要是Filebeat、Logstash。

Filebeat

Filebeat主要是追踪日志数据，然后将数据传输给Logstash或Redis（我这里选择Redis做消息队列）。

首先，需要配置追踪和上传的日志文件路径，如下：

filebeat.prospectors:
- type: log
  # 需要将开关打开
  enabled: true
  paths:
    # 追踪获取/root/test.log中的内容
    - /root/test.log

当将日志数据发送给Logstash时，如下设置：

output.logstash:
  # 设置Logstash的hosts，若是有多个，可以设置多个
  hosts: ["localhost:5044"]

当将日志数据发送给Redis时，如下设置：

output.redis:
  hosts: ["172.25.19.34:6379"] # host，主要需要带上端口号
  key: "test_log" #存储在Redis中的队列key，可以通过登录Redis查看数据
  password: "123456" # Redis的密码
  db: 0 # Redis的数据库
  timeout: 5 # Redis的超时时间

注意：当Filebeat输出到redis时，可以登录数据，通过llen查看日志条数或通过lrange查看日志具体数据。

启动Filebeat，使用如下命令：

/usr/share/filebeat/bin/filebeat -e -c /etc/filebeat/filebeat.yml -d "publish"

当如果已经追踪过了，还想重新测试，可以删除以前的追踪记录，命令如下：

rm /usr/share/filebeat/bin/data/registry

Logstash

Logstash主要是收集多个数据源的数据，然后预处理一下，最后丢给Elasticsearch做分析。整个过程，Logstash就像一个管道一样，如下图：

image.png

其中，在Logstash中包括三部分内容：

inputs: 输入
filters: 过滤
outputs: 输出

上面三部分内容，也是我们需要进行配置的。

首先，我们来体验一下最简单的配置，也就是标准输入标准输出。

配置在first.conf文件内，配置内容如下：

input {
        stdin {}
}
output {
        stdout {}
}

运行配置文件，命令如下：

/usr/share/logstash/bin/logstash -f first.conf

输入test，然后输出了一个json格式数据，结果如下：

[INFO ] 2018-06-04 01:25:36.217 [Ruby-0-Thread-1: /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/stud-0.0.23/lib/stud/task.rb:22] agent - Pipelines running {:count=>1, :pipelines=>["main"]}
test
{
      "@version" => "1",
    "@timestamp" => 2018-06-03T17:25:51.126Z,
          "host" => "0.0.0.0",
       "message" => "test"
}

然后，我们让Logstash接收Filebeat直接传送过来的数据

Filebeat中的配置如下：

filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /root/test.log
output.logstash:
  hosts: ["localhost:5044"]

启动filebeat

/usr/share/filebeat/bin/filebeat -e -c /etc/filebeat/filebeat.yml -d "publish"

配置在first-pipeline.conf文件中，主要监听5044端口的数据，配置内容如下：

input {
        beats {
                # 监听5044
                port => "5044"
        }
}
output {
        stdout {}
}

测试logstash的配置文件，然后启动logstash

# 测试
/usr/share/logstash/bin/logstash -f first-pipeline.conf --config.test_and_exit
# 启动，当配置修改时，会自动刷新，不用重新启动
/usr/share/logstash/bin/logstash -f first-pipeline.conf --config.reload.automatic

此时，Filebeat中获取的日志文件，会传送到Logstash显示在终端。注意，防止看不到效果，先启动Logstash，然后启动Filebeat。

最后，我们再看看使用Redis时，是如何存取数据的

在Filebeat端，配置如下：

filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /root/test.log
output.redis:
  hosts: ["172.25.19.34:6379"] # host，主要需要带上端口号
  key: "test_log" #存储在Redis中的队列key，可以通过登录Redis查看数据
  password: "123456" # Redis的密码
  db: 0 # Redis的数据库
  timeout: 5 # Redis的超时时间

启动Filebeat

/usr/share/filebeat/bin/filebeat -e -c /etc/filebeat/filebeat.yml -d "publish"

在Logstash端，配置如下：

input {
        redis {
                port => "6379"
                host => "172.25.19.34"
                data_type => "list" # 数据类型为队列
                type => "log"
                key => "test_log" # 存储Redis的key
                password => "123456"
                db => 0
                timeout => 5
        }
}
output {
        stdout {
                codec => rubydebug
        }
}

这样就能够使用Filebeat将数据存入Redis，而另外一端Logstash从Redis中获取数据。

将数据输出到Elasticsearch
前面，我们只是将数据输出到标准输出来显示数据，生产环境中我们需要把数据输出到Elasticsearch，配置如下：

output {
        elasticsearch {
                # localhost对应安装elasticsearch的服务器
                hosts => ["localhost:9200"]
        }
}

还有，Logstash过滤器
前面，我们用到了Logstash的input和output，并没有用到filter（过滤器）。过滤器中，会用到许多插件，暂时我就用过grok，配置如下：

filter {
        grok {
                match => {"message" => "%{IP:client_ip} %{WORD:method} %{URIPATHPARAM:request} %{GREEDYDATA:content}"}
        }
}

当在Logstash中加入上面filter配置时，它就会进行匹配，上面匹配的是: ip 方法请求参数请求内容。
例如：

55.3.244.1 GET /index.html 测试11
test GET /index.html 测试22

第一句能匹配，第二句就不能匹配。

上面配置文件中的IP、WORD、URIPATHPARAM、GREEDYDATA是内置支持的正则表达式别名，具体支持的正则表达式可查看logstash-patterns-core。

而若是匹配之后，就会在输出内容，添加client_ip、method、request和content。等于就是通过正则表达式非结构化数据转化成结构化数据。

上面两句话，被Filebeat抓取之后，在Logstash的终端展示内容：

{
      "@version" => "1",
       "content" => "测试11",
        "offset" => 36,
       "message" => "55.3.244.1 GET /index.html 测试11",
          "tags" => [
        [0] "beats_input_codec_plain_applied"
    ],
    "@timestamp" => 2018-06-03T18:10:03.376Z,
       "request" => "/index.html",
          "beat" => {
        "hostname" => "iZ0xi4n3ya19j63huy3c78Z",
         "version" => "6.2.4",
            "name" => "test"
    },
        "source" => "/root/elk_conf/test.txt",
    "prospector" => {
        "type" => "log"
    },
          "host" => "iZ0xi4n3ya19j63huy3c78Z",
        "method" => "GET",
     "client_ip" => "55.3.244.1"
}
{
    "@timestamp" => 2018-06-03T18:10:03.376Z,
        "source" => "/root/elk_conf/test.txt",
      "@version" => "1",
          "beat" => {
        "hostname" => "iZ0xi4n3ya19j63huy3c78Z",
         "version" => "6.2.4",
            "name" => "test"
    },
    "prospector" => {
        "type" => "log"
    },
          "host" => "iZ0xi4n3ya19j63huy3c78Z",
        "offset" => 66,
       "message" => "test GET /index.html 测试22",
          "tags" => [
        [0] "beats_input_codec_plain_applied",
        [1] "_grokparsefailure"
    ]
}

可看到第一句话匹配了，添加了对应的字段。而第二句话没有匹配，tags中多了_grokparsefailure。

而最终，在Kibana上显示的结果如下：

image.png

参考

Installing ELK
Logstash安装搭建（一）
A Filebeat Tutorial: Getting Started
Parsing Logs with Logstash
Filebeat，Redis和ELK6.x集中式日志解决方案
 logstash-patterns-core

ELK学习笔记

一、简单介绍ELK

二、ELK架构

经典的ELK

消息队列+Nginx架构

三、安装ELK

安装Java 8

APT安装ELK源

安装Elasticsearch

安装Logstash

安装Kibana

安装Filebeat

四、配置

Filebeat

Logstash

参考

猜你喜欢

热点阅读