ELK搭建流程
一、ElasticSearch
1、下载安装包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x86_64.tar.gz
2、解压
tar -zxvf elasticsearch-7.6.2-linux-x86_64.tar.gz
3、修改配置文件
(1) elasticsearch.yml主要配置项如下:
配置项 | 解释 | 示例 |
---|---|---|
cluster.name | 集群名称 | bigdata-application |
node.name | 节点名称 | node-78 |
path.data | 索引保存路径 | /data/es_data |
path.logs | 运行日志路径 | /data/es_log |
network.host | 本节点ip | 172.28.15.78 |
http.port | 节点与外部通讯的http端口 | 9200 |
discovery.seed_hosts | 集群内节点 | ["172.28.15.78", "172.28.15.86"] |
cluster.initial_master_nodes | 集群初始master | ["node-78"] |
(2) jvm.options
配置项 | 解释 | 示例 |
---|---|---|
-Xms | 启动es的初始堆内存 | 1g |
-Xmx | es运行的最搭堆内存 | 1g |
注:这两项的值必须保持一致
4、启动节点
命令:./bin/elasticsearch -d
30秒后访问 http://xxx.xxx.xxx.xxx:9200 可以看到集群信息,启动成功,如果启动不成功,查看运行日志,如遇到OOM,建议修改上一步的-Xms、-Xmx配置
二、Kibana
1、下载安装包
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.2-linux-x86_64.tar.gz (版本号需要与es对应)
2、解压
tar -zxvf kibana-7.6.2-linux-x86_64.tar.gz
3、修改配置文件
主要配置项如下:
配置项 | 解释 | 示例 |
---|---|---|
server.port | kiba服务端口 | 5601 |
server.host | 本机ip | 172.28.15.78 |
elasticsearch.hosts | es实例列表 | ["http://172.28.15.78:9200","http://172.28.15.86:9200"] |
kibana.index | 用于保存搜索信息、可视化信息的索引,类似元索引 | .kibana1 |
elasticsearch.requestTimeout | kibana 连接es集群的超时时间 | 60000 |
4、启动kibana实例
nohup ./kibana &
启动完成可以正常打开xxx.xxx.xxx.xxx:5601页面
笔者遇到的报错:
(1) kibana实例连接es集群超时(错误日志关键词“timeout”)
解决办法:增大上一步的elasticsearch.requestTimeout
(2) Unable to connect to Elasticsearch. Error: [search_phase_execution_exception] all shards failed
原因:es集群的状态不健康
解决办法:删除不健康的索引
(3) 在kibana页面新建index pattern后显示:No Data Matched
解决办法:修改上一步配置项kibana.index,如改成“.kibana_1”,然后重启kibana