Logstach

一、Logstash

使用Logstash的版本号与elasticsearch版本号需要保持一致，JDK需要预先装好

1.Logstash是elastic技术栈中的一个技术，它是一个数据采集引擎，可以从数据库采集数据到es，我们可以通过设置自增id主键或者时间来控制数据的自动同步，这个id或者时间就是用于给logstash进行识别的

    id：假设现在有1000条数据，logstach识别后会进行同步，同步完汇集了这个id为1000，以后数据库新增数据，那么id会一直累加，Logstach有定时任务，发现有大于1000的id，则增量加入到es

    时间：同理，一开始同步1000条数据，每条数据都有一个字段time，初次同步完毕后记录time，下次同步的时候进行时间对比，如果有超过这个时间的，那么可以做同步。这里可以同步新增的或者修改元数据，因为同一条数据的时间更改会被识别，而id则不会。

2.插件logstash-input-jdbc

此插件用于同步，es6.x起自带，这个是集成在logstash中。

3.同步数据到es中，前提得要有索引，需手动创建好

二、安装与配置

1.上传并解压logstash

解压到/usr/local目录

2.创建配置文件及其所在的路径

3.拷贝数据库驱动

4.配置文件内容logstash-db-sync.conf

input {

    jdbc {

        # 设置 MySql/MariaDB 数据库url以及数据库名称

        jdbc_connection_string => "jdbc:mysql://192.168.1.6:3306/foodie-shop-dev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"

        # 用户名和密码

        jdbc_user => "root"

        jdbc_password => "root"

        # 数据库驱动所在位置，可以是绝对路径或者相对路径

        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"

        # 驱动类名

        jdbc_driver_class => "com.mysql.jdbc.Driver"

        # 开启分页

        jdbc_paging_enabled => "true"

        # 分页每页数量，可以自定义

        jdbc_page_size => "10000"

        # 执行的sql文件路径

        statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"

        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务

        schedule => "* * * * *"

        # 索引类型

        type => "_doc"

        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件

        use_column_value => true

        # 记录上一次追踪的结果值

        last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"

        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间

        tracking_column => "updated_time"

        # tracking_column 对应字段的类型

        tracking_column_type => "timestamp"

        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录

        clean_run => false

        # 数据库字段名称大写转小写

        lowercase_column_names => false

    }

}

output {

    elasticsearch {

        # es地址

        hosts => ["192.168.1.187:9200"]

        # 同步的索引名

        index => "foodie-items"

        # 设置_docID和数据相同

        document_id => "%{id}"

    }

    # 日志输出

    stdout {

        codec => json_lines

    }

}

5.配置文件中的sql脚本demo

以实际为准，要同步到es的数据

6.启动

./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf