kylin-kylin平台PushDown引擎调研配置

• 基于kylin-3.0;

背景

• 完善kylin平台，对kylin平台配置下压引擎 impala，解决不再cube中的预计算的维度信息；发现理论上支持所有JDBC连接方式的查询引擎，例如Impala和Presto。
• 根据目前平台上的现状，将下压引擎设置为impala；

修改配置文件

• 修改kylin.properties

#### QUERY PUSH DOWN ###
#
kylin.query.pushdown.runner-class-name=org.apache.kylin.query.adhoc.PushDownRunnerJdbcImpl
# 下压引擎设置为impala
kylin.query.pushdown.update-enabled=false
# kylin.query.pushdown.jdbc.url=jdbc:impala://<impala-daemon-ip>:21050/default
kylin.query.pushdown.jdbc.url=jdbc:impala://172.18.10.32:21050/default
kylin.query.pushdown.jdbc.driver=com.cloudera.impala.jdbc41.Driver
kylin.query.pushdown.jdbc.username=root
##kylin.query.pushdown.jdbc.password=
#
##kylin.query.pushdown.jdbc.pool-max-total=8
##kylin.query.pushdown.jdbc.pool-max-idle=8
##kylin.query.pushdown.jdbc.pool-min-idle=0

添加 impala依赖

• 下载impala jdbc 包：Impala JDBC Connector 2.6.12 for Cloudera Enterprise
• 这个是impala官网的JDBC

unzip ClouderaImpala_JDBC_2.6.12.1013.zip
cd ClouderaImpala_JDBC_2.6.12.1013
unzip ClouderaImpalaJDBC41-2.6.12.1013.zip
mv ImpalaJDBC41.jar $KYLIN_HOME/lib

• 完成之后重启kylin

测试

• 测试集群 41 42 43

• 参考官网介绍: 官网-查询下压

• 采用kylin中的sample cube；

• 查询最大价格：

  
  max-price

• 查看kylin.log中日志，如下截图：

  
  query-log

• 从上文截图中可以看到，查询sql已经下压到impala进行查询执行；

源码

• module: kylin-query
• org.apache.kylin.query.adhoc.JdbcPushDownConnectionManager
• org.apache.kylin.query.util.PushDownUtil