搜索引擎ELK学习(完)

ELK快速入门(02)ELK简单部署

2019-07-18  本文已影响6人  郭艺宾

ELK的部署效果要达到同时收集多台服务器的日志文件中的日志,并按照类别或者项目,在页面上展示,在一个页面上能看到多台机器的日志同时展现,就像看一台机器一样。下面我们使用ELK的经典组合版本 Elasticsearch2.4.6版本+Logstash2.4.1版本+Kibana4.6.6版本来演示ELK的搭建。

部署的时候版本不是越高越好,主要看Elasticsearch中lucene的版本,一定要是5+以上的版本,因为5以下的版本bug比较多,5+以后的版本问题就不大了,再往后主要是优化居多,包括后面的6版本和7版本,版本变化都不是很大,不过后面的版本数据实时性会高一些,如果对日志数据的实时性要求很高,可以考虑使用高版本。

部署两个应用

首先找两个服务器部署两个应用。我们在 192.168.65.130 和 192.168.65.140 上面,分别占用80端口,部署两个应用,效果如下:

同时给两个应用都加上每秒执行的定时任务:

同时生成的日志文件都放到 /app路径下面,文件名为 spring-boot-web.log,

这样两个项目就部署好了。

部署Elasticsearch

下载页面:

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

版本:

2.4.6

部署机器ip:

192.168.65.141

es不可以用root账户启动,多以新建一个用户es:

groupadd es

useradd -g es es

su es

切换到es用户后,解压elasticsearch:

然后进入config目录,修改配置文件 elasticsearch.yml,修改前注意备份,然后修改文件,主要的修改内容如下:

cluster.name: my.elk #集群名称,如果有多个集群,那么每个集群名就得是唯一的

node.name: node-192.168.65.141  #节点名称

node.master: true #该节点是否是master,true表示是的,false表示否,默认是true

node.data: true #该节点是否存储数据,默认true表示是的

http.port: 9200 #http访问端口,默认是9200,通过这个端口,调用方可以索引查询请求

transport.tcp.port: 9300 #节点之间通信的端口,默认为9300

network.host: 0.0.0.0 #访问地址 配置外网访问

#discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:8300"]  #如果是集群,就把所有的 全部写进来

#node.max_local_storage_nodes: 2 #设置一台机子能运行的节点数目,一般采用默认的1即可,因为我们一般也只在一台机子上部署一个节点

2版本的elasticsearch配置非常简单,只需要上面几个配置就可以了。es本身的配置只和自己有关,没有关于其它组件的配置。下一步就是启动,去es根目录下面,运行:

./bin/elasticsearch

或者使用后台运行:

nohup ./bin/elasticsearch &

然后访问es:

可以看到启动没有问题,访问页面显示了es的主要信息,包括节点相关信息以及lucene相关信息。es安装完成!

es安装完成后,一般都会安装一个非常经典的插件,就是head插件,2版本的es这个插件是非常好安装的,进入es的根目录,执行下面的命令:

./bin/plugin install mobz/elasticsearch-head

装完后,根目录会有个plugins/head目录,表示装好了,然后访问head页面,在9200后面加上 /_plugin/head,可以看到效果:

这样页面就比单纯的看数据信息友好多了。



部署Logstash

下载页面:

https://www.elastic.co/cn/downloads/past-releases#logstash

版本:

2.4.1

部署位置在两台应用服务器上。解压Logstash,进入根目录,手动新建一个配置文件:

配置文件需要配置的内容是,让Logstash收集本地的log文件中的日志,然后远程传输到es搜索引擎中去,所以有个写入模块(input),有个输出模块(output),整体文件结构如下:

先来看一下input的配置:

因为要从文件中读取日志,所以使用了file的配置,type可以随便起名字,最好定义为项目名加上服务器ip,这样在页面中有标识,其它配置可以参考注释。

再来看一下output配置:

根据类型操作日志,hosts表示写到的es的链接,index表示按日志天索引,因为一般日志会保留7到30天左右,所以按天比较合适。上面的配置就是Logstash中最简单的传输配置。下面进入Logstash的根目录,启动:

./bin/logstash -f ./config/log.conf

或者后台启动:

nohup ./bin/logstash -f ./config/log.conf &

注意:如果一个Logstash读取了多个日志文件,多个读取的配置都在一个目录下面,可以直接指定配置目录:

./bin/logstash -f ./confg

上面是140机器的Logstash的配置,再来看一下130的:

除了type不一样,其它基本相同,最重要的是,写到es的时候,索引是一样的,这样同一个项目使用相同的索引,可以保证所有分布在不同机器上的同一个项目的日志写到同一个es索引当中,这是最重要的配置。我们来看一下es的效果:

我们看到log-日志格式的索引立刻有了数据,而且随着不断的刷新,数据在增加,因为我们在项目中加了定时任务,所以在不断写日志。而且每个项目每天都会建立一个新的索引。





部署Kibana

下载页面:

https://www.elastic.co/cn/downloads/past-releases#kibana

版本:

4.6.6

部署ip:

192.168.65.142

我已经完成了把项目日志从应用服务器传输到es搜索引擎当中,并且安装每个项目每天进行索引,那么下一步就是配置查询了。Kibana下载后,解压,然后进入根目录,修改kibana的配置文件:

vim config/kibana.yml

主要修改的内容如下:

elasticsearch.url: "http://192.168.65.141:9200"  #配置es地址

修改一个就可以了,然后启动kibana,在根目录执行:

./bin/kibana

或者后台启动:

nohup ./bin/kibana &

kibana默认端口为5601,我们可以访问kibana:

http://192.168.65.142:5601

kibana也启动成功了!可以看到直接跳转到了索引配置页面:

因为我们的索引都是log-开头的,后面跟的每天的时间,所以可以在输入框中输入log-*:

鼠标在空白地方一点,下面的create自动变为可点击的绿色,显示了时间这个索引字段,我们点击create,然后一个搜索索引就添加好了:

现在我们点击Discover就可以查看日志了:

我们可以在左侧配置要展示的字段:

这样右侧的信息会整齐一些:

上面的图表代表的是每个时间段的日志量:

如果想要在服务器中tail命令的刷新效果,可以点击右上角配置:

我们可以选择查看前15分钟的日志,并选中自动刷新:

然后选中每5秒刷新一次:

最后点击时间索引字段,倒序排序:

这样就完成了动态刷新的效果,上面刷新出来的永远是最新的日志。我们也看到,显示的日志内容确实是多台机器交替展示的:

如果我们想搜索带 111 的日志,可以在搜索框输入:

模糊搜索的速度是非常快的,这在我们搜索错误的时候非常有用!可以看到,ELK的组合基本达到了我们想要的效果!

我们的交流基地,“JAVA互联网技术交流:789650498”欢迎小伙伴们一起来交流:

上一篇下一篇

猜你喜欢

热点阅读