使用Docker搭建ElasticSearch+Logstash
最近在做 Spring Cloud 相关系列框架的搭建，在做到整合微服务跟踪-Sleuth后，项目添加了Sleuth后已经能够正常的输出跟踪信息日志，接下来要对整个日志进行分析处理，这里选取使用配合ELK来做，首先需要搭建整个ELK环境。
ELK介绍
ELK （官网）其实是三个不同的内容，一般配合一起使用。分别是：
- ElasticSearch
- Logstash
- Kibana
具体的介绍可以看官网的每个产品介绍
Windows 环境搭建
可以参考：https://blog.csdn.net/pilihaotian/article/details/52452010 ，基本上比较详细了，但是也可以看出windows安装比较繁琐，而且还会耗费机器本身资源，本文介绍使用Docker安装搭建。
Docker 环境搭建
ELK对应的有很多版本，本文均使用最新版本
安装 elasticsearch
拉取镜像
docker pull elasticsearch
启动容器
docker run -d -p 9200:9200 --name leon_elasticsearch elasticsearch
此时访问地址：<u>http://192.168.9.151:9200/</u>，看到如下效果说明启动成功：
1.jpg
安装插件 elasticsearch-head
一般情况下，安装插件只需要执行命令：
elasticsearch-plugin install mobz/elasticsearch-head
那么我们现在进入到容器中对应的目录：/usr/share/elasticsearch/bin/，然后执行上述命令，但是发现报错：
查阅相关文档得知以下信息：
– for Elasticsearch 5.x:
site plugins are not supported. Run elasticsearch-head as a standalone server
也就是说5.X以上的版本，需要单独启动 elasticsearch-head 服务。
那么单独启动运行插件容器：
docker run -d -p 9100:9100 --name leon_elasticsearch-head mobz/elasticsearch-head:5
注意后面跟的版本5，一定要对应自己的版本。
容器启动后，访问地址：</font><u>http://192.168.9.151:9100/</u>
2.jpg
此时代表插件服务已经启动，但是点击连接，发现无法连接elasticsearch服务，需要修改配置文件，文件地址为容器中的：/usr/share/elasticsearch/config/elasticsearch.yml
我们进入容器，发现无法使用VI命令修改文件，这个时候可以安装VI工具然后修改文件，或者使用另外一种粗暴的方法，在外面修改然后覆盖文件。这里因为安装VI总是出错，所以使用第二种方式。
首先将容器中的配置文件导出来：
docker cp leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml /home/px2/elasticsearch.yml
在文件中添加以下内容：
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization
然后在替换容器中的文件：
docker cp /home/px2/elasticsearch.yml leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml
重启容器，然后重新访问：http://localhost:9100/ 就可以连接上了（此时还没有数据）
3.jpg
注意：如果还是不能连接，可以访问地址来连接：http://localhost:9100/?auth_user=elastic&auth_password=changeme
安装logstash
这里有个比较坑的问题，使用Docker官方Hub里的镜像 docker pull logstash 启动的容器总是会自动停掉，无法运行，后来选择使用官网中的镜像地址：
docker run --name leon_logstash docker.elastic.co/logstash/logstash:6.2.4
修改配置文件,进入容器：
docker exec -it leon_logstash /bin/bash
进入目录cd config
打开并修改配置文件 vi logstash.yml:
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://192.168.9.151:9200
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: changeme
安装kibana
拉取镜像
docker pull kibana
启动容器
docker run --name leon_kibana -p 5601:5601 -d -e ELASTICSEARCH_URL=http://192.168.9.151:9200 kibana
配置
访问地址：http://192.168.9.151:5601 ，看到如下效果
4.jpg
此时报错中间红色部分，无法进行创建，找到资料得知：
5.jpg
看官网的解释说这是因为初次设置的时候logstash没有加载到数据导致的。所以先要保证logstash能够加载到数据。
配置数据
进入到容器中：
docker exec -it leon_logstash /bin/bash
然后进入如下目录：
cd pipeline/
打开配置文件：vi logstash.conf
修改内容如下：
input {
file {
codec=> json
path => "/usr/local/*.json"
}
}
filter {
#定义数据的格式
grok {
match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:duringTime:int}\|\|"}
}
}
output {
elasticsearch{
hosts=> "http://192.168.9.151:9200"
}
}
其中指定了输出地址：elasticsearch的地址，而且还指定了内容输入地址：/usr/local/*.json，需要在usr/local下有json格式的数据，接下来将项目生成的json格式的日志文件上传到该目录。
docker cp /home/px2/logs/shop-user-consumer.json leon_logstash:/usr/local/shop-user-consumer.json
docker cp /home/px2/logs/shop-user-provider.json leon_logstash:/usr/local/shop-user-provider.json
然后重启logstash容器，在重新访问页面，可以看到可以进行create了。
6.jpg
点击create创建成功后，点击Discovery,选择时间为一年内，可以看到之前的数据：
7.jpg
并且访问9100地址也能加载出节点信息了：
8.png
至此，整个ELK环境就搭建起来了。
