ELK+Filebeat + kibana 容器化

2018-12-09 本文已影响560人运维开发_西瓜甜

基于 Docker18.09.0

声明

本文是以下面的文章知识作为基础的

工作流程图

image.png

编写 `Dockerfile`

创建上下文环境

先为这个小测试创建一个目录，作为各个容器的上下文环境

mkdir  elk/{filebeat,logstash,elasticsearch}

创建自定义的网络

当在一台宿主机上创建多个可以网络互通的容器时，建议不要使用默认的网桥，
因为我们之前在基础部分说过，默认的网桥，容器之间的通信需要使用彼此的 IP，这样比较麻烦。
所以我们使用自己创建的网桥，就可以使用彼此的容器名进行互相通信了，容器的名称会被转换为容器的主机名。

# 创建
$ docker network create -d bridge elk-net
14c05413eb5b45d5fac79f2346bdd03263cc3a01ce86d44b8f3d54b6eeebd90e

# 查看
$ docker network ls |grep elk-net
14c05413eb5b        elk-net               bridge              local

1. `Elasticsearch`

a.容器的默认值：

-Xms1g
-Xmx1g

elasticsearch.yml

cluster.name: "docker-cluster"
network.host: 0.0.0.0

端口号
9200 和 9300

所以这里我们作为测试，不必修改任何配置就可以启动他。

b. 运行容器

docker run -itd --rm --name=elasticsearch --network=elk-net  -p 9200:9200 docker.elastic.co/elasticsearch/elasticsearch:6.5.2

-d 后台运行此容器
--rm 由于是测试，所以当停止这个容器的时候同时删除这个容器
--network 连接到指定的网络
-p 映射端口到宿主机

请允许我无耻的插播一条广告^_, 这里有一整套完整的 Python3 基础教程，图文并茂。点我传送门：Python3 完整基础教程
同时欢迎购买我的基础全套视频微我 y86000153优惠100 点我

c. 检查 `elasticserch` 集群状态

用浏览器访问宿主机的9200 端口
http://127.0.0.1:9200/_cat/heath

image.png

2. `Logstash`

a. 准备管道配置文件

下面的配置是监听本机的 5044 端口接收 Fielbeat 的输入
并且将处理清洗过的事件数据输出到 elasticsearch

elk/logstash/logstash_nginx.conf

input {
  beats {
    port => 5044
    host => "0.0.0.0"
  }
}
filter {
  if ([fileset][module]) == "nginx" {
    if ([fileset][name] == "access") {
      grok {
        match => { "message" => ["%{IPORHOST:[nginx][access][remote_ip]} - %{DATA:[nginx][access][user_name]} \[%{HTTPDATE:[nginx][access][time]}\] \"%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}\" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][body_sent][bytes]} \"%{DATA:[nginx][access][referrer]}\" \"%{DATA:[nginx][access][agent]}\""] }
        remove_field => "message"
      }
      mutate {
        add_field => { "read_timestamp" => "%{@timestamp}" }
      }
      date {
        match => [ "[nginx][access][time]", "dd/MMM/YYYY:H:m:s Z" ]
        remove_field => "[nginx][access][time]"
      }
      useragent {
        source => "[nginx][access][agent]"
        target => "[nginx][access][user_agent]"
        remove_field => "[nginx][access][agent]"
      }
      geoip {
        source => "[nginx][access][remote_ip]"
        target => "[nginx][access][geoip]"
      }
    }
    else if [fileset][name] == "error" {
      grok {
        match => { "message" => ["%{DATA:[nginx][error][time]} \[%{DATA:[nginx][error][level]}\] %{NUMBER:[nginx][error][pid]}#%{NUMBER:[nginx][error][tid]}: (\*%{NUMBER:[nginx][error][connection_id]} )?%{GREEDYDATA:[nginx][error][message]}"] }
        remove_field => "message"
      }
      mutate {
        rename => { "@timestamp" => "read_timestamp" }
      }
      date {
        match => [ "[nginx][error][time]", "YYYY/MM/dd H:m:s" ]
        remove_field => "[nginx][error][time]"
      }
    }
  }
}
output {
  elasticsearch {
    hosts => ["elasticsearch:9200"] 
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
  # stdout { codec => rubydebug }  # 假如有问题，可以打开此行进行调试
}

关于文件中的 filter 部分会在以后专门讨论。

关于 output

hosts ==>["elasticsearch:9200"] 指定机群的主机名，主机名就是容器名

manage_template => false 禁用默认的模板，详细官方介绍

index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

%{[@metadata][beat]} 从源数据获取到处理日志的插件,比如Filebeat

%{[@metadata][version]} 从源数据获取到版本号

%{+YYYY.MM.dd} 以 Logstash 的时间戳格式显示的时间

b. `Dockerfile`

elk/logstash/Dockerfile

FROM docker.elastic.co/logstash/logstash:6.5.2
COPY ./logstash_nginx.conf /usr/share/logstash/pipeline/logstash.conf

c. 这样构建和运行

cd elk/logstash
docker build -t elk_logstash .

docker run -itd --rm --name=logstash65 --network=elk-net elk_logstash

3. `Filebeat`

a. 准备源数据

elk/filebeat/example.log

95.213.177.126 - - [18/Jul/2017:00:01:09 +0800] "POST http://check.proxyradar.com/azenv.php HTTP/1.1" 404 326 "https://proxyradar.com/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)" "-"
202.108.211.56 - - [18/Jul/2017:00:03:23 +0800] "GET http://1.1.1.1/ HTTP/1.1" 200 6228 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21" "-"
221.228.109.90 - - [18/Jul/2017:01:52:17 +0800] "GET http://www.sharkyun.com/ HTTP/1.1" 200 6228 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:17 +0800] "GET http://www.sharkyun.com/css/style_eeoweb.css HTTP/1.1" 200 11988 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/mobile/js/deviceType.js HTTP/1.1" 200 1055 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/jplayer/skin/black/css/style.css HTTP/1.1" 200 3339 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/index_eeoweb.js HTTP/1.1" 200 910 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/easySlider.js HTTP/1.1" 200 2431 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/require_eeoweb.js HTTP/1.1" 200 7161 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/jquery.js HTTP/1.1" 200 46467 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"

你可以自己准备一个日志文件，或者将上面的内容多复制1000行到文件中

b. 准备配置文件

elk/filebeat/filebeat_to_logstash.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /*.log

output.logstash:
  # The Logstash hosts
  hosts: ["logstash65:5044"]

c. `Dockerfile`

elk/filebeat/Dockerfile

FROM docker.elastic.co/beats/filebeat:6.5.2
COPY ./example.log /example.log
COPY ./filebeat_to_logstash.yml /usr/share/filebeat/filebeat.yml

d. 这样构建和运行

cd elk/filebeat/
docker build -t elk_filebeat .

docker run -itd --rm --name=filebeat65 --network=elk-net elk_filebeat

4. `kibana`

a. 默认的配置

kibana 的容器其实处于测试性的目的就可以直接运行了。
因为默认的配置文件中集群的 url 就是 http://elasticsearch:9200

下面是容器内默认的配置文件内容
/usr/share/kibana/config/kibana.yml

---
# Default Kibana configuration from kibana-docker.

server.name: kibana
server.host: "0"
elasticsearch.url: http://elasticsearch:9200
xpack.monitoring.ui.container.elasticsearch.enabled: true

b. 这样运行 `kibana` 容器

docker run -itd --rm --name=kibana65 --network=elk-net -p 5601:5601 docker.elastic.co/kibana/kibana:6.5.2

c. 检查是否自动发现了我们创建的索引

使用浏览器访问宿主机的 5601 端口
比如 http://127.0.0.1:5601

image.png

d. 为 `kibana` 添加匹配索引的索引模式

要想让 kibana 识别到 elasticsearch 的数据，需要把我们在 elasticsearch 创建好的索引告诉他.

Kibana使用索引模式从Elasticsearch索引中检索可视化等内容。

image.png

ELK+Filebeat + kibana 容器化

声明

工作流程图

编写 `Dockerfile`

创建上下文环境

创建自定义的网络

1. `Elasticsearch`

a.容器的默认值：

b. 运行容器

c. 检查 `elasticserch` 集群状态

2. `Logstash`

a. 准备管道配置文件

b. `Dockerfile`

c. 这样构建和运行

3. `Filebeat`

a. 准备源数据

b. 准备配置文件

c. `Dockerfile`

d. 这样构建和运行

4. `kibana`

a. 默认的配置

b. 这样运行 `kibana` 容器

c. 检查是否自动发现了我们创建的索引

d. 为 `kibana` 添加匹配索引的索引模式

猜你喜欢

热点阅读

ELK+Filebeat + kibana 容器化

声明

工作流程图

编写 Dockerfile

创建上下文环境

创建自定义的网络

1. Elasticsearch

a.容器的默认值：

b. 运行容器

c. 检查 elasticserch 集群状态

2. Logstash

a. 准备管道配置文件

b. Dockerfile

c. 这样构建和运行

3. Filebeat

a. 准备源数据

b. 准备配置文件

c. Dockerfile

d. 这样构建和运行

4. kibana

a. 默认的配置

b. 这样运行 kibana 容器

c. 检查是否自动发现了我们创建的索引

d. 为 kibana 添加匹配索引的索引模式

猜你喜欢

热点阅读

编写 `Dockerfile`

1. `Elasticsearch`

c. 检查 `elasticserch` 集群状态

2. `Logstash`

b. `Dockerfile`

3. `Filebeat`

c. `Dockerfile`

4. `kibana`

b. 这样运行 `kibana` 容器

d. 为 `kibana` 添加匹配索引的索引模式