集中式日志分析平台 - ELK Stack - 部署篇

2017-02-20 本文已影响4772人大数据之心

前言

调研了ELK技术栈，发现新一代的logstash-forward即Filebeat，使用了golang，性能超logstash，部署简单，占用资源少，可以很方便的和logstash和ES对接，作为日志文件采集组件。所以决定使用ELK+Filebeat的架构进行平台搭建。Filebeat是Beats家族的一员，后续可以使用Packetbeat进行网络数据采集、Winlogbeat进行Windosw事件采集、Heartbeat进行心跳采集、Metricbeat进行系统指标采集。这种架构解决了 Logstash 在各服务器节点上占用系统资源高的问题。相比 Logstash，Beats 所占系统的 CPU 和内存几乎可以忽略不计。另外，Beats 和 Logstash 之间支持 SSL/TLS 加密传输，客户端和服务器双向认证，保证了通信安全。

各组件承担的角色和功能：

Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；
Logstash：数据处理引擎，它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到 ES；
Kibana：数据分析和可视化平台。与 Elasticsearch 配合使用，对数据进行搜索、分析和以统计图表的方式展示；
Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，使用 golang 基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析。

ELK 常用架构及使用场景介绍

在这个章节中，我们将介绍几种常用架构及使用场景。

All-In-One

在这种架构中，只有一个 Logstash、Elasticsearch 和 Kibana 实例，集中部署于一台服务器。Logstash 通过输入插件从多种数据源（比如日志文件、标准输入 Stdin 等）获取数据，再经过滤插件加工数据，然后经 Elasticsearch 输出插件输出到 Elasticsearch，通过 Kibana 展示。详见图 1。

All-in-One

这种架构非常简单，使用场景也有限。初学者可以搭建这个架构，了解 ELK 如何工作。

Logstash 分布式采集

这种架构是对上面架构的扩展，把一个 Logstash 数据搜集节点扩展到多个，分布于多台机器，将解析好的数据发送到 Elasticsearch server 进行存储，最后在 Kibana 查询、生成日志报表等。详见图 2。

Logstash 分布式采集

这种结构因为需要在各个服务器上部署 Logstash，而它比较消耗 CPU 和内存资源，所以比较适合计算资源丰富的服务器，否则容易造成服务器性能下降，甚至可能导致无法正常工作。

Beats 分布式采集

这种架构引入 Beats 作为日志搜集器。目前 Beats 包括四种：

Packetbeat（搜集网络流量数据）；
Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）；
Filebeat（搜集文件数据）；
Winlogbeat（搜集 Windows 事件日志数据）。

Beats 将搜集到的数据发送到 Logstash，经 Logstash 解析、过滤后，将其发送到 Elasticsearch 存储，并由 Kibana 呈现给用户。详见图 3。

Beats 分布式采集

这种架构解决了 Logstash 在各服务器节点上占用系统资源高的问题。相比 Logstash，Beats 所占系统的 CPU 和内存几乎可以忽略不计。另外，Beats 和 Logstash 之间支持 SSL/TLS 加密传输，客户端和服务器双向认证，保证了通信安全。

因此这种架构适合对数据安全性要求较高，同时各服务器性能比较敏感的场景。

引入消息队列机制的 Logstash 分布式架构

这种架构使用 Logstash 从各个数据源搜集数据，然后经消息队列输出插件输出到消息队列中。目前 Logstash 支持 Kafka、Redis、RabbitMQ 等常见消息队列。然后 Logstash 通过消息队列输入插件从队列中获取数据，分析过滤后经输出插件发送到 Elasticsearch，最后通过 Kibana 展示。详见图 4。

引入消息队列机制的 Logstash 分布式架构

这种架构适合于日志规模比较庞大的情况。但由于 Logstash 日志解析节点和 Elasticsearch 的负荷比较重，可将他们配置为集群模式，以分担负荷。引入消息队列，均衡了网络传输，从而降低了网络闭塞，尤其是丢失数据的可能性，但依然存在 Logstash 占用系统资源过多的问题。

引入消息队列机制的 Filebeat + Logstash 分布式架构

截至到我们调研为止，Filebeat 已经支持 kafka 作为 ouput，5.2.1 版本的 Logstash 已经支持 Kafka 作为 Input，和上面的架构不同的地方仅在于，把 Logstash 日志搜集发送替换为了 Filebeat。这种架构是当前最为完美的，有极低的客户端采集开销，引入消息队列，均衡了网络传输，从而降低了网络闭塞，尤其是丢失数据的可能性。

引入消息队列机制的 Filebeat + Logstash 分布式架构

对于绿湾的架构选型来说，高质量的数据传输、日志采集的低资源开销都需要考虑，同时，也需要logstash强大的插件支持灵活的日志数据过滤处理。确定采用引入消息队列机制的 Filebeat + Logstash 分布式架构。

接下来我们进行初步的探视，利用测试环境体验下ELK Stack + Filebeat，测试环境我们就不进行 Kafka 的配置了，因为他的存在意义在于提高可靠性。

测试环境

机器分布

IP	Role
172.16.134.2	Logstash, ES, Kibana
172.16.134.3	Filebeat
172.16.134.8	Filebeat

浏览器支持

Kibana 4.x 不支持 IE9 及以下；Kibana 3.1 虽然支持 IE9，但是不支持 Safari(iOS)和 Chrome(Android)。具体对浏览器的支持，请看这里。

部署步骤

ELK 官网对于每种软件提供了多种格式的安装包（zip/tar/rpm/DEB），以 Linux 系列系统为例，如果直接下载 RPM，可以通过 rpm -ivh path_of_your_rpm_file直接安装成系统 service。以后就可以使用 service 命令启停。比如service elasticsearch start/stop/status。很简单，但缺点也很明显，就是不能自定义安装目录，相关文件放置比较分散。

实际使用中更常用是使用 tar 包安装，每种软件产品的安装过程非常相似。

Step1. SSH免密钥

假设所有步骤都在admin账户下执行，所有服务器的admin账户密码统一，需要打通172.16.134.2至所有agent的SSH免密登录，假设list_all已经包含了所有agent机器的列表：

172.16.134.2
172.16.134.3
172.16.134.8

进行密钥打通：

ssh-keygen
for agent in `cat list_all`;do ssh-copy-id -i /home/admin/.ssh/id_rsa.pub admin@${agent};done;

Step2. JDK安装

JDK 是 IBM Java 8。ELK 需要 Oracle 1.7(或者是 OpenJDK 1.7) 及以上，如果是 IBM Java，则需要 8 及以上的版本。具体信息。

pssh -h list_all "sudo yum install -y java-1.8.0-openjdk.x86_64"

修改环境变量：

# .bash_profile 
# Get the aliases and functions 
if [ -f ~/.bashrc ]; then 
    . ~/.bashrc 
fi 
# User specific environment and startup programs 
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
PATH=$JAVA_HOME/bin:$PATH 
export PATH JAVA_HOME

分发环境变量配置：

pscp -h list_all ~/.bash_profile /tmp 
pssh -h list_all "sudo cp /tmp/.bash_profile ~/"

Step3. 服务安装

安装ElasticSearch

下载安装包，如果待安装机器能访问外网，可以直接用以下命令下载安装包。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.1.tar.gz

否则下载好后用 ftp 客户端等工具把包传过去。

解压到172.16.134.2指定目录/home/admin/soft：

tar zxvf elasticsearch-5.2.1.tar.gz -C /home/admin/soft/

这时就能在 /home/admin/soft 下看到刚才解压出来的 elasticsearch-5.2.1 文件夹。

修改配置config/elasticsearch.yml：

cluster.name: lw-test
node.name: v134002.yn1.lwsite.net
path.data: /home/admin/soft/elasticsearch-5.2.1/data
path.logs: /home/admin/soft/elasticsearch-5.2.1/logs
network.host: 172.16.134.2
http.port: 9200

Elasticsearch默认使用混合mmapfs / niofs目录来存储其索引。对mmap计数的默认操作系统限制可能过低，这可能导致内存不足异常。修改内核参数vm.max_map_count：

sudo sysctl -w vm.max_map_count=262144
sudo vim /etc/sysctl.conf
vm.max_map_count = 262144

确认内核参数是否生效：

sysctl vm.max_map_count

修改 /etc/security/limits.conf，添加：

admin soft nofile 65536
admin hard nofile 65536

修改 /etc/security/limits.d/90-nproc.conf，添加：

admin      soft    nproc     2048

重新以admin登录后运行：

/home/admin/soft/elasticsearch-5.2.1/bin/elasticsearch &

验证是否启动：

curl 'http://172.16.134.2:9200'

看到如下输出表示启动成功：

{
  "name" : "luOq_eh",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "mIcflXKsR3-ER66MCTSJzA",
  "version" : {
    "number" : "5.2.1",
    "build_hash" : "db0d481",
    "build_date" : "2017-02-09T22:05:32.386Z",
    "build_snapshot" : false,
    "lucene_version" : "6.4.1"
  },
  "tagline" : "You Know, for Search"
}

可以看到，它跟其他的节点的传输端口为9300，接受HTTP请求的端口为9200。

安装ElasticSearch Head (可选)

Head是一个用浏览器跟ES集群交互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等，本文不复述，这个不是重点。

安装Logstash

下载安装包，如果待安装机器能访问外网，可以直接用以下命令下载安装包。

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.2.1.tar.gz

否则下载好后用 ftp 客户端等工具把包传过去。

解压到172.16.134.2指定目录/home/admin/soft：

tar -zxvf logstash-5.2.1.tar.gz -C /home/admin/soft

一个Logstash的pipeline由3部分组成：input, filter, output。

Basic Logstash Pipeline

为了进行安装完成后的测试，我们运行下最基本的pipeline：

cd logstash-5.2.1
bin/logstash -e 'input { stdin { } } output { stdout {} }'

-e 可以允许进行命令行的直接配置，而无需进行文件配置。这个pipeline例子从标准输入获取数据 stdin，并把结构化数据输出到标准输出stdout。在启动后，看到日志Pipeline main started后，在终端中输入hello world，可以在终端中看到对应输出：

hello world
2017-02-18T09:48:22.414Z v134002.yn1 hello world

在我们的架构中，Logstash的input是beat，output是ES，需要对应的插件。

安装beat input插件：

./bin/logstash-plugin prepare-offline-pack logstash-input-beats
./bin/logstash-plugin install file:///home/admin/soft/logstash-5.2.1/logstash-offline-plugins-5.2.1.zip

配置 5044 端口作为 Filebeat 的连接和创建 ES 索引。修改 logstash.conf 配置文件，保存在 config 目录:

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => "172.16.134.2:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

Logstash 使用该配置使用 ES 的索引，和 Filebeat 做的事情是一样的，不过拥有了额外的缓存以及强大丰富的插件库。

启动 logstash ：

./bin/logstash -f config/logstash.conf &

安装Kibana

Kibana 从 ES 获取数据做前端的可视化展示。它提供了用户体验极佳的高定制化 UI，可以灵活配置出你需要的 Dashboard。 Dashboard 可以轻易的保存、链接和分享。

测试环境，笔者把 Kibana 和 ES 进行了混部，但是在实际生产环境中是没有必要的。我们可以通过配置文件 config/kibana.yml 中的URL(IP:PORT) 去指定需要访问的 ES 服务端。

curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-5.2.1-linux-x86_64.tar.gz
tar xzvf kibana-5.2.1-linux-x86_64.tar.gz
cd kibana-5.2.1-linux-x86_64/
./bin/kibana

修改配置 config/kibana.yml：

elasticsearch.url: "http://172.16.134.2:9200"
server.host: "172.16.134.2"

启动服务：

./bin/kibana &

在浏览器中访问，确认是否正常启动：

http://172.16.134.2:5601/

安装Filebeat

在 172.16.134.3, 172.16.134.8 上进行Filebeat的安装，采集 Filebeat 自身的运行日志：/home/admin/soft/filebeat-5.2.1-linux-x86_64/logs/filebeat。

在安装之前，需要确认以上服务已经正常运行：

存储和索引数据的 Elasticsearch 已经启动。
UI 展示的 Kibana 已经启动。
写入和过滤数据的 Logstash 已经启动。

下载安装包，安装服务：

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.1-linux-x86_64.tar.gz
tar zxvf filebeat-5.2.1-linux-x86_64.tar.gz -C /home/admin/soft/

修改配置：

cp filebeat.full.yml filebeat.yml

# 修改配置
filebeat.prospectors:
- input_type: log
  paths:
    - /home/admin/soft/filebeat-5.2.1-linux-x86_64/logs/filebeat
output.logstash:
  hosts: ["172.16.134.2:5044"]

logging.level: debug 这个配置一般情况下不要开，因为会把所有 message 都会明文打印出来，一来不安全，二来磁盘压力大。
测试配置是否正确：

./filebeat -configtest -e

有如下输出表示正常：

Config OK

在 Elasticsearch 中， Index Pattern 用于定义字段应如何分析的设置和映射。Filebeat 的默认 Index Pattern 由软件包安装。如果在 filebeat.yml 配置文件中接受模板加载的默认配置，则 Filebeat 在成功连接到Elasticsearch后会自动加载模板。如果模板已存在，默认不会覆盖，但是可以通过配置进行覆盖。如果要禁用自动模板加载，或者要加载自己的模板，可以在Filebeat配置文件中更改模板加载的设置。如果选择禁用自动模板加载，则需要手动加载模板。

配置模板加载 - 仅Elasticsearch输出支持。

手动加载模板 - Logstash输出所需。

由于我们需要的是输出到 Logstash，所以我们使用手动模板加载：

curl -XPUT 'http://172.16.134.2:9200/_template/filebeat' -d@/home/admin/soft/filebeat-5.2.1-linux-x86_64/filebeat.template.json

如果已经使用 Filebeat 将数据索引到 Elasticsearch 中，则索引可能包含旧文档。加载 Index Pattern 后，您可以从filebeat- * 中删除旧文档，以强制 Kibana 查看最新的文档。使用此命令：

curl -XDELETE 'http://172.16.134.2:9200/filebeat-*'

启动服务：

./filebeat start &

如果对于生产环境，我们应该用 systemd 来管理进程，修改 /usr/lib/systemd/system/filebeat.service ：

[Unit]
Description=Filebeat
Documentation=https://www.elastic.co/guide
After=network.target

[Service]
Type=Simple
ExecStart=/home/admin/soft/filebeat-5.2.1-linux-x86_64/filebeat -c /home/admin/soft/filebeat-5.2.1-linux-x86_64/filebeat.yml -httpprof 0.0.0.0:6060
ExecStop=/bin/kill -WINCH ${MAINPID}
Restart=always
RestartSec=0
WatchdogSec=1min
LimitNOFILE=100
LimitNPROC=100

[Install]
WantedBy=multi-user.target

其中filebest-current只是软连接，连接到真实目录，便于后续维护升级。
脚本 filebeat-stop.sh：

#!/bin/bash
pid=`ps aux | grep filebeat | grep -v grep | awk '{print$2}'`
sudo kill -9 $pid

分发 filebeat.service filebeat-stop.sh

pscp -h list_filebeat filebeat.service /tmp
pssh -h list_filebeat "sudo cp /tmp/filebeat.service /usr/lib/systemd/system/"
pscp -h list_filebeat filebeat-stop.sh /home/admin/soft/filebeat-current/
pssh -h list_filebeat "sudo systemctl daemon-reload"
pssh -h list_filebeat "sudo systemctl enable filebeat"

启动/停止脚本：

sudo systemd start filebeat
sudo systemd stop filebeat

注意，所采集的日志需要有 admin 用户的读权限，并且路径必须有执行权限。

Step4. Kibana 中加载 Index Pattern

在 Kibana 的 Discover 模块中，可以添加 filebeat-* 作为 Index Pattern。看到如下界面，说明添加成功：

Index Pattern 添加成功

我们可以根据 Fields 进行日志索引，还可以对其进行排序。

Q & A

Q: Discover: Fielddata is disabled on text fields by default. Set fielddata=true on [message] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory.

A: Fielddata 会使用大量的堆内存，尤其是加载了大量的 text fileds。一旦 fileddata 被加载进入了堆，在生命周期内会一直常驻。同时，加载 fileddata 非常耗时，影响用户体验。这就是为什么默认禁止了 fielddata。如果尝试对 text field 进行排序、聚合，就会报错如上。在尝试开启 fielddata 之前应该想想为什么要这么做，因为通常情况下不需要。

使用 Kibana Discover 搜索日志

Discover界面主要是通过各种过滤器搜索日志，如时间、type、loglevel等，并对所搜索到的日志做简单统计。界面如下所示，index 栏显示当前选择的 elasticsearch 中的 index。以下只做引导式介绍。

Discover 界面

Search 表示的是搜索栏，输入想要搜索的关键字；
filebeat 表示的是 index pattern 栏，我们之前导入的是 filbeat-*；
Selected Fields 表示的是已选字段，右侧的内容框只会显示已选字段数据；
Available Fileds 可以对预定义字段进行筛选，可以对 Popular 中显示的可选字段进行筛选；
Popular 显示的是最常用的字段；
右上角的 Last 15 minutes 是用来选择时间区间的，也可以选择定时刷新 Auto Refresh；

搜索栏的使用

全字段匹配：搜索功能的后台支持是elasticsearch，属于全文搜索引擎，可以通过双引号进行任何字符串的匹配，如"write_bytes=383"，搜索结果为 message 字段包含了该字符串的日志数据：

全字段匹配

使用字段和逻辑表达：Elasticsearch的数据源是经过logstash格式化的日志，该格式通过elasticsearch的mapping API对应到kibana的字段。在文档栏的 source 中可以查看到格式化后的日志，以及原日志。搜索时可以使用字段和逻辑表达，如type: log等。这里注意，输入过程中kibana的搜索栏会动态解析搜索内容，搜索表达式输入过程中可能会显示红框，提示无法解析，待全部输入完全即可：

使用字段和逻辑表达

使用过滤器：过滤器可以叠加使用，左侧边栏只能够对已有字段进行设置。鼠标移动到对应字段，字段会变灰，并显示该字段统计量前五的数据，如下所示：

使用过滤器

点击对应+（正向过滤）、-（反向过滤）进行过滤。对所有字段的过滤，可以在文档栏的 source 中进行选择，如下所示：

所有字段过滤

选择后的过滤器会显示在搜索栏下方，便于进行设置：

编辑过滤器

图标和文字可以达到相同的功能，分别是过滤器 Enable、Disable、反选、锁定（更改搜索内容不变更）和删除。

工具栏的使用

过滤器设置好后，可以对该设置在工具栏中进行保存，作为visualize的数据源。三个图标分别是开始一个新的搜索(New)、保存搜索(Save)、打开搜索(Open)、分享搜索(Share)。

工具栏

柱状图统计

柱状图实时对搜索内容进行统计，以时间作为横坐标，显示搜索到的总日志条数。也可以通过箭头按钮展开或折叠显示相应的文本记录。默认一页最多显示500条。鼠标移动到相应柱状，可显示对应条数，数遍变为十字，可以进行放大（zoom in）或缩小(zoom out)。

文档栏字段选择

默认文档栏显示所有字段，需要调整显示字段，可以在页面左边字段选择框添加和删除。鼠标移动到相应字段，字段变灰，同时出现add或remove按钮。所选字段也可以进行移动布局，或排序。字段是否作为popular field，在settings中进行设置。

结合 Discover 和 Visualize 进行可视化图标展示

假设我们需要对来自2台 Filebeat 采集到的 message 数量按照 host 进行区别统计 sum。

首先我们在 Discover 中定义一个 Search ， Selected Fields 选择 host message：

定义 Search

点击 Save 进行保存，命名为 test1。

然后我们在 Visualize 里 Vertical Bar Chart ，在右侧的 Or, From a Saved Search 里搜索 test1，并且进入编辑。Y-Axis 和 X-Axis 分别配置如下：

Y 轴配置

X 轴配置

点击Apply Changes所得到的图表如下：

柱状图
点击 Save，我们可以很方便的在 Dashboard 中 Add 这个视图。

Q & A

Q: 启动 ES 的时候报错：system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk。
A: SecComp fails on CentOS 6，修改 elasticsearch.yml ，在 Memory 的配置下面添加：bootstrap.system_call_filter: false。

集中式日志分析平台 - ELK Stack - 部署篇

前言

ELK 常用架构及使用场景介绍

All-In-One

Logstash 分布式采集

Beats 分布式采集

引入消息队列机制的 Logstash 分布式架构

引入消息队列机制的 Filebeat + Logstash 分布式架构

测试环境

机器分布

浏览器支持

部署步骤

Step1. SSH免密钥

Step2. JDK安装

Step3. 服务安装

安装ElasticSearch

安装ElasticSearch Head (可选)

安装Logstash

安装Kibana

安装Filebeat

Step4. Kibana 中加载 Index Pattern

Q & A

使用 Kibana Discover 搜索日志

搜索栏的使用

工具栏的使用

柱状图统计

文档栏字段选择

结合 Discover 和 Visualize 进行可视化图标展示

Q & A

猜你喜欢

热点阅读