ELK安装使用笔记

介绍

• E ： elasticsearch 流行的搜索引擎
• L ： logstash 数据处理通道，导入数据
• K ：kibana 数据友好展示

安装（Ubuntu环境下）

elasticsearch

前置安装java，建议java8：
$ sudo apt-get update
$ sudo apt-get install openjdk-8-jdk
elastic直接下载包后解压运行即可
$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip
$ unzip elasticsearch-5.5.1.zip
运行
$ cd elasticsearch-5.5.1/ 
$ ./bin/elasticsearch
访问：
$ curl localhost:9200
默认只允许localhost访问，修改设置安装目录下 config/elasticsearch.yml 中
network.host: "0.0.0.0" 
中文分词插件(5.5.1以上版本适用)
$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip

logstash

$ wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.1.zip
$ unzip logstash-5.5.1.zip
测试运行
$ cd logstash-5.5.1
$ ./bin/logstash -e ""
安装jdbc的数据连接插件
$ ./bin/logstash-plugin install logstash-input-jdbc    // mysql 
$ ./bin/logstash-plugin install logstash-output-elasticsearch  //
配置 ：见下文

kibana

$ wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.1-linux-x86_64.tar.gz
$ tar -xzf kibana-5.5.1-linux-x86_64.tar.gz
$ cd kibana-5.5.1-linux-x86_64
$ ./bin/kibana
访问：
$ curl localhost:5601
同elasticsearch 默认只允许localhost访问，需修改配置 config/kibana.yml 中
server.host ="0.0.0.0"

logstash实现mysql数据导入到elastic

首先安装logstash mysql

wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.46.zip
unzip mysql-connector-java-5.1.46.zip

logstash 安装目录config 下添加文件syc_mysql.conf

input {
 stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/database"
  
        jdbc_user => "root"
 
        jdbc_password => "root"
 
        jdbc_driver_library => "~/connector.J 5.1/mysql-connector-java-5.1.46-bin.jar"
 
        jdbc_driver_class => "com.mysql.jdbc.Driver"
         
        jdbc_paging_enabled => "true"
         
        jdbc_page_size => "50000"
        statement => "SELECT * FROM table"
        schedule => "* * * * *"
    }
 }
  
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => "localhost:9200"
        index => "index_name"
    }
}

开始导入数据：

 ./bin/logstash -f ./config/syc_mysql.conf