MySQL面试必知

JDBC自动同步Mysql 数据到Elasticsearch7.

2020-03-31  本文已影响0人  realPeanut

将数据同步到es中得时候,我们一般使用es客户端API将数据同步索引到es服务器,下面分享一种自动同步的方式,性能优缺点自行判断。

准备工作

elasticsearch 安装  版本7.6.1

logstash 安装  版本7.6.1

mysql jdbc下载 点击下载  版本8.0.17

将jdbc 文件放到logstash-core/lib/jars 下面

mysql 安装  版本 5.7+

不管使用哪个版本的es 和 logstash  两者的版本应该保持一致

我要同步的是user 表  

结构如下,updated_at 是更新时间unix时间戳,我这里写的测试数据 ,

后面logstash 会根据最大更新时间来近实时同步数据到es

user

新建配置文件 配置内容如下 ,文件名随便起,我这里用的是,mysql.conf

配置文件

启动es 

启动 logstash 

sudo ./logstash -f mysql.conf

输出如下

启动图

至此同步进程启动,可以查看打印的sql,logstash 通过 时间判断来进行增量更新

上一篇 下一篇

猜你喜欢

热点阅读