多数据源查询引擎XSQL安装部署并接入mysql和elastic

2019-09-20 本文已影响0人虫儿飞ZLEI

官方描述：

XSQL是一款低门槛、更稳定的分布式查询引擎。它允许你快速、近实时地查询大量数据。对于一些数据源（例如：Elasticsearch、MongoDB、Druid等），他可以大幅地降低学习曲线，并节省人力成本。

以spark插件的形式运行，可以接入多种数据源，并进行数据查询。

1. 安装部署

1.1 环境依赖

java 8
spark （非必需）

关于spark版本的说明：
没有限定版本，可以肯定的是2.3和1.6是肯定支持的。

关于spark环境非必需的说明：
不是说不需要spark环境，而是官方提供两种安装方式，如果已经安装了spark，那么直接以插件方式安装，集成到已经安装好的spark里面去即可。
如果没有安装spark环境，官方提供的第二种方式是内置了spark安装包。

两种方式安装差别并不大，本文使用第一种安装方式

1.2 下载并解压安装包

下载地址：
https://github.com/Qihoo360/XSQL/releases

解压至spark home文件夹
spark home文件夹是spark所在的文件夹位置。

该文件夹里面应该会出现下面关键文件

image.png

1.3 修改配置文件示例

进入conf文件夹
cd $SPARK_HOME/conf
需要创建XSQL所需的配置文件，例如：
vi xsql.conf

通过此配置文件可以接入多种数据源，这里以mysql和elasticsearch两种数据源为例

spark.xsql.datasources                     default,elasticsearch
spark.xsql.default.database                jcpt


spark.xsql.datasource.default.type         mysql
spark.xsql.datasource.default.url          jdbc:mysql://ip:port
spark.xsql.datasource.default.user         username
spark.xsql.datasource.default.password     password
spark.xsql.datasource.default.version      5.6.19


spark.xsql.datasource.elasticsearch.type          elasticsearch
spark.xsql.datasource.elasticsearch.url           http://ip:9200
spark.xsql.datasource.elasticsearch.user          #
spark.xsql.datasource.elasticsearch.password      #
spark.xsql.datasource.elasticsearch.version       6.7
#spark.xsql.datasource.elasticsearch.whitelist     es-whitelist.conf

配置中指定了一个名为default的数据源，XSQL默认会选择别名是default的数据源作为默认数据源,也就是我配置的mysql。