搭建ELK日志系统
2018-07-23 本文已影响91人
小尛酒窝
一、环境准备
最近学习了下ELK系统，这里把自己搭建ELK的流程步骤记录下，以方便后面进行回顾。
搭建拓扑
因为本地资源原因，我在ES1上搭建部署Kibana展示ES集群所收集到的日志索引，资源充足的童鞋可以把Kibana部署为一个独立的服务器。 此拓扑架构，使用filebeat作为日志采集器（因为logstash的资源消耗高的原因，目前很多ELK架构中均是使用filebeat作为日志采集器），中间部署一Logstash服务器用作日志转发和过滤，最后Logstash将处理过的日志传输到ES集群并有kibana进行展示。另外对于日志量很高的环境，还可以在Logstash和filebeat之间部署redis服务器作为缓存手段，以保障Logstash能够正常处理转发相关的日志信息。
系统环境：Centos 6.9
软件版本：Elasticsearch 6.3.1、Logstash 6.3.1、Filebeat 6.3.1、kibana 6.3.1、jdk1.8
相关软件包下载地址：
JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
ELK：https://www.elastic.co/downloads
二、搭建Elasticsearch集群
1、安装jdk
每一个ES服务器均需要安装jdk，我习惯使用tar包安装jdk，这样可以方便未来对jdk包进行更新。
首先下载相应的jdk包，并放置到指定的目录：
[root@ES1 ~]# cd /usr/local/src/
[root@ES1 src]# ll
total 181296
-rw-r--r--. 1 root root 185646832 Jul 22 15:30 jdk-8u181-linux-x64.tar.gz
[root@ES1 src]# tar zxf jdk-8u181-linux-x64.tar.gz
[root@ES1 src]# ln -sv /usr/local/src/jdk1.8.0_181/ /usr/local/jdk #创建jdk链接目录，后续jdk更新只需要替换链接文件即可
`/usr/local/jdk' -> `/usr/local/src/jdk1.8.0_181/'
[root@ES1 src]# vim /etc/profile.d/jdk.sh
JAVA_HOME=/usr/local/jdk
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/dt.jar
export JAVA_HOME JRE_HOME PATH CLASSPATH
[root@ES1 src]# source /etc/profile.d/jdk.sh
[root@ES1 src]# java -version #此命令执行成功意味着jdk安装成功
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)
重复上述步骤，在ES服务器上都安装jdk。
2、安装Elasticsearch
下载Elasticsearch 的rpm包，并放置在指定的目录下，此处我继续放置在/usr/local/src下：
[root@ES1 src]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.rpm
[root@ES1 src]# rpm -ivh elasticsearch-6.3.1.rpm
warning: elasticsearch-6.3.1.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing... ########################################### [100%]
Creating elasticsearch group... OK
Creating elasticsearch user... OK
1:elasticsearch ########################################### [100%]
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using chkconfig
sudo chkconfig --add elasticsearch
### You can start elasticsearch service by executing
sudo service elasticsearch start
Created elasticsearch keystore in /etc/elasticsearch
#按照安装提示，添加开机自启动Elasticsearch服务
[root@ES1 src]# chkconfig --add elasticsearch
[root@ES1 src]# chkconfig elasticsearch on
按照上述步骤，在三台ES上均安装Elasticsearch服务。
3、配置启动Elasticsearch服务
在对应的ES服务器上修改其相应的Elasticsearch配置文件/etc/elasticsearch/elasticsearch.yml：
[root@ES1 src]# grep ^[a-Z] /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluster #集群名字，用于识别网络中的ES是否为同一个集群
node.name: ES1 #集群节点的唯一标识
path.data: /elk/data #数据目录，注意其属主和属组需为Elasticsearch用户
path.logs: /elk/logs #日志目录
bootstrap.memory_lock: false
network.host: 192.168.0.91 #Elasticsearch监控的本机Ip
http.port: 9200 #Elasticsearch监控的端口
discovery.zen.ping.unicast.hosts: ["192.168.0.91", "192.168.0.92","192.168.0.93"] #自动单播发现的主机列表
discovery.zen.minimum_master_nodes: 2 #设置集群中的节点至少知道多少个可以成为master的节点，通常建议设置为集群总节点数量/2+1
#创建相应的数据目录和日志目录并更改其属主和属组
[root@ES1 src]# mkdir -pv /elk/{data,logs}
mkdir: created directory `/elk'
mkdir: created directory `/elk/data'
mkdir: created directory `/elk/logs'
[root@ES1 src]# chown -R elasticsearch.elasticsearch /elk
配置完成后即可尝试启动Elasticsearch服务，不过有可能会出现类似如下的报错：
- 错误1：缺少相应的java程序
[root@ES1 src]# service elasticsearch start
which: no java in (/sbin:/usr/sbin:/bin:/usr/bin)
Could not find any executable java binary. Please install java in your PATH or set JAVA_HOME
解决办法：将相应的java程序链接到指定目录
[root@ES1 src]# ln -sv /usr/local/jdk/bin/java /usr/sbin/java
`/usr/sbin/java' -> `/usr/local/jdk/bin/java'
[root@ES1 src]# ln -sv /usr/local/jdk/bin/java /usr/bin/java
`/usr/bin/java' -> `/usr/local/jdk/bin/java'
- 错误2：最大线程数不足
[1]: max number of threads [1024] for user [elasticsearch] is too low, increase to at least [4096]
解决办法：
#修改指定用户的最大线程数或者所有用户的最大线程数
[root@ES1 src]# vim /etc/security/limits.d/90-nproc.conf
elasticsearch soft nproc 4096
elasticsearch hard nproc 4096
* soft nproc 1024
root soft nproc unlimited
#修改完成后重新登录
- 错误3：禁用bootstrap.system_call_filter
[2]: system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
解决办法：修改/etc/elasticsearch/elasticsearch.yml配置文件，添加下述参数：
[root@ES1 src]# vim /etc/elasticsearch/elasticsearch.yml
bootstrap.system_call_filter: false
最后成功启动Elasticsearch服务，即可查看到已经监控的9200、9300端口：
[root@ES1 ~]# service elasticsearch start
[root@ES1 ~]# ss -tnl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 ::ffff:192.168.0.91:9200 :::*
LISTEN 0 128 ::ffff:192.168.0.91:9300 :::*
LISTEN 0 128 :::22 :::*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 ::1:25 :::*
LISTEN 0 100 127.0.0.1:25 *:*
curl能查看到下述类似输出即说明Elasticsearch服务运行正常：
[root@ES1 ~]# curl http://192.168.0.91:9200
{
"name" : "ES1",
"cluster_name" : "elk-cluster",
"cluster_uuid" : "_na_",
"version" : {
"number" : "6.3.1",
"build_flavor" : "default",
"build_type" : "rpm",
"build_hash" : "eb782d0",
"build_date" : "2018-06-29T21:59:26.107521Z",
"build_snapshot" : false,
"lucene_version" : "7.3.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
最后在各ES服务器上配置启动完成Elasticsearch服务后，即可用curl查看相应ES集群的情况：
[root@ES1 ~]# curl -XGET http://192.168.0.91:9200/_cat/nodes?v
ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.0.92 14 93 3 0.34 0.19 0.10 mdi - ES2
192.168.0.91 13 93 2 0.14 0.05 0.08 mdi * ES1
192.168.0.93 12 93 13 0.43 0.41 0.19 mdi - ES3
如能查看到上述信息，说明ES集群运行正常。
4、安装Elasticsearch head界面
Elasticsearch head的github页面为：https://github.com/mobz/elasticsearch-head
这里我在ES1上安装Elasticsearch head组件，事先git，然后复制下载相应的仓库进行安装启动：
[root@ES1 src]# git clone https://github.com/mobz/elasticsearch-head.git
[root@ES1 src]# cd elasticsearch-head
[root@ES1 elasticsearch-head]# npm config set strict-ssl false #强制使用http连接
[root@ES1 elasticsearch-head]# npm install #npm命令来源于epel仓库
[root@ES1 elasticsearch-head]# nohup npm rum start & #在后台运行npm脚本
启动完成后，访问http://192.168.0.91:9100应能查看到下述界面：
elasticsearch head 界面
此界面可用于查看集群的索引、分片等状态及进行一系列的查询操作。
另外为了能让elasticsearch head插件能够正常连接上elasticsearch，需要在elasticsearch的配置文件中添加下述配置：
[root@ES1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"
最后重启elasticsearch服务器即可。
连接访问elasticsearch服务
二、搭建Logstash服务
1、安装logstash服务
#事先下载好相应的logstash安装包和jdk包
[root@logstash ~]# cd /usr/local/src/
[root@logstash src]# ll
total 322800
-rw-r--r--. 1 root root 185646832 Jul 22 20:25 jdk-8u181-linux-x64.tar.gz
-rw-r--r--. 1 root root 144898446 Jul 22 20:25 logstash-6.3.1.rpm
#按照此前描述的方式安装jdk服务，确保能够正常运行java -version命令
#然后安装logstash 的rpm包
[root@logstash src]# rpm -ivh logstash-6.3.1.rpm
warning: logstash-6.3.1.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing... ########################################### [100%]
1:logstash ########################################### [100%]
Using provided startup.options file: /etc/logstash/startup.options
Successfully created system startup script for Logstash
2、配置启动logstash
为了使用logstash，需要创建logstash的配置文件，配置文件中会指定使用的插件及每个插件的位置。logstash的配置文件主要分为三部分：input、output及filter。创建完成logstash的配置文件后就可以启动logstash了。
#修改用户logstash的shell为/bin/bash，以便切换登录
[root@logstash src]# usermod logstash -s /bin/bash
#在/etc/logstash/conf.d/ 目录下创建配置文件logstashtest.conf
[root@logstash src]# vim /etc/logstash/conf.d/logstashtest.conf
input { #配置两个输入源，一个位filebeat，一个位标准输入
beats {
host => '0.0.0.0'
port => 5044
}
stdin {
type => "stdandardinput"
}
}
output { #配置两个输出源，一个是elasticsearch集群、一个是标准输出
elasticsearch {
hosts => ["192.168.0.91:9200","192.168.0.92:9200","192.168.0.93:9200"]
index => ["logstash-nginxaccesslog"]
}
stdout {
codec => "rubydebug"
}
}
#切换到logstash用户
[root@logstash src]# su - logstash
#检查logstash配置文件
-bash-4.1$ /usr/share/logstash/bin/logstash --path.settings /etc/logstash/ -t -f /etc/logstash/conf.d/logstashtest.conf
....
Configuration OK #如果出现Configuration OK 信息，则说明配置没问题，可尝试启动logstash
#启动logstash服务
-bash-4.1$ /usr/share/logstash/bin/logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/logstashtest.conf #此方式启动logstash，logstash会运行在前台，可通过添加nohup...&的方式来使其运行为后台进程
hello logstash #通过在标准输入输入此消息，若能获取下述类似消息，说明logstash运行正常。
{
"@timestamp" => 2018-07-22T13:01:02.381Z,
"host" => "0.0.0.0",
"type" => "stdandardinput",
"@version" => "1",
"message" => "hello logstash"
}
本文使用的安装方法在安装完logstash后，不会自动创建生成logstash的init文件，但是logstash提供了一个程序来让管理员手动创建init文件：
#确保在/usr/bin/java 链接到相应的java目录下的java程序
[root@logstash src]# ln -sv /usr/local/jdk/bin/java /usr/bin/java
#调用logstash提供的system-install 和 startup.options文件来创建logstash的init文件，其中Centos 7使用参数systemd，Centos6 使用sysv
[root@logstash src]# /usr/share/logstash/bin/system-install /etc/logstash/startup.options sysv
#创建完成后即可使用service 或systemctl命令来管理启动logstash
在logstash的配置文件中还可以配置filter进行日志过滤，本文暂不介绍。
三、搭建filebeat服务
1、在指定的nginx服务器上安装filebeat服务
[root@web ~]# cd /usr/local/src/
[root@web src]# ll
total 12500
-rw-r--r--. 1 root root 12799471 Jul 22 21:13 filebeat-6.3.1-x86_64.rpm
2、配置filebeat配置文件抓取nginx的访问日志
[root@web src]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/*.log #抓取nginx日志
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 3
output.logstash:
hosts: ["192.168.0.94:5044"] #将抓取的日志发送的logstash指定的IP和接口
最后启动filebeat服务即可
[root@web src]# service filebeat start
四、搭建kibana
在ES1服务器上安装kibana服务，展示elasticsearch收集到的日志索引。
[root@ES1 ~]# cd /usr/local/src/
[root@ES1 src]# rpm -ivh kibana-6.3.1-x86_64.rpm
#修改kiban配置文件
[root@ES1 src]# vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "192.168.0.91"
server.name: "elk1"
elasticsearch.url: "http://192.168.0.91:9200"
#启动kibana
[root@ES1 src]# service kibana start
启动完成后访问http://192.168.0.91:5601端口即可访问相应的kibana界面。
kibana界面
从上述可看到，kibana已经识别到我们此前配置的索引了。
