Kyuubi命令行工具的使用
2024-09-09 本文已影响0人
AlienPaul
前言
Kyuubi提供了两个命令行工具：kyuubi-admin和kyuubi-ctl。这两个工具的功能和用法非常相似，能够获取到Kyuubi server和engine的状态。下面分别介绍这两个工具的常见使用场景。
环境信息
- Kyuubi 1.9.2
前置要求
kyuubi-admin和kyuubi-ctl工具依赖于Kyuubi Rest API。使用前需要确保开启了Rest接口。相关配置位于kyuubi-defaults.conf中：
# 如果配置值有REST，说明开启Web UI和Rest接口
kyuubi.frontend.protocols THRIFT_BINARY,REST
# Kyuubi提供Web UI和Rest接口的端口号
kyuubi.frontend.rest.bind.port 10099
kyuubi-admin
使用帮助
使用--help参数可以打印出帮助信息。
bin/kyuubi-admin --help
帮助信息如下：
kyuubi 1.9.2
Usage: kyuubi-admin [list|delete|refresh] [options]
-b, --verbose Print additional debug output.
--hostUrl <value> Host url for rest api.
--authSchema <value> Auth schema for rest api, valid values are basic, spnego.
--username <value> Username for basic authentication.
--password <value> Password for basic authentication.
--spnegoHost <value> Spnego host for spnego authentication.
--hs2ProxyUser <value> The value of hive.server2.proxy.user config.
--conf <value> Kyuubi config property pair, formatted key=value.
Command: list [engine|server]
List information about resources.
Command: list engine [options]
List all the engine nodes for a user
-et, --engine-type <value>
The engine type this engine belong to.
-es, --engine-subdomain <value>
The engine subdomain this engine belong to.
-esl, --engine-share-level <value>
The engine share level this engine belong to.
Command: list server
List all the server nodes
Command: delete [engine]
Delete resources.
Command: delete engine [options]
Delete the specified engine node for user.
-et, --engine-type <value>
The engine type this engine belong to.
-es, --engine-subdomain <value>
The engine subdomain this engine belong to.
-esl, --engine-share-level <value>
The engine share level this engine belong to.
Command: refresh [config] <args>...
Refresh the resource.
Command: refresh config [<configType>]
Refresh the config with specified type.
<configType> The valid config type can be one of the following: hadoopConf, userDefaultsConf, kubernetesConf, unlimitedUsers, denyUsers, denyIps.
-h, --help Show help message and exit.
列出所有的Kyuubi Server
命令示例如下：
bin/kyuubi-admin list server --hostUrl http://10.100.10.100:10099
其中--hostUrl需要指定Kyuubi集群中任一Kyuubi server连接URL。
示例结果如下。可以查询到Kyuubi集群中所有的Kyuubi server和运行状态。
Server Node List (total 3)
╔═══════════╤═════════════════════╤═══════════════════════════════╤═════════╗
║ Namespace │ Instance │ Attributes │ Status ║
╠═══════════╪═════════════════════╪═══════════════════════════════╪═════════╣
║ /kyuubi │ 10.100.10.100:10009 │ serverUri=10.100.10.100:10009 │ Running ║
║ │ │ version=1.9.2 │ ║
║ │ │ sequence=0000000026 │ ║
╟───────────┼─────────────────────┼───────────────────────────────┼─────────╢
║ /kyuubi │ 10.100.10.101:10009 │ serverUri=10.100.10.101:10009 │ Running ║
║ │ │ version=1.9.2 │ ║
║ │ │ sequence=0000000027 │ ║
╟───────────┼─────────────────────┼───────────────────────────────┼─────────╢
║ /kyuubi │ 10.100.10.102:10009 │ serverUri=10.100.10.102:10009 │ Running ║
║ │ │ version=1.9.2 │ ║
║ │ │ sequence=0000000028 │ ║
╚═══════════╧═════════════════════╧═══════════════════════════════╧═════════╝
3 row(s)
列出所有的Engine
首先连接Kyuubi，确保Kyuubi创建出了一个Engine。例如使用Kyuubi连接Spark Engine：
./beeline -u 'jdbc:hive2://host1:2181,host2:2181,host3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi;#kyuubi.engine.type=SPARK_SQL;' -n hdfs
接下来使用如下命令，列出所有的Engine。需要注意的是，上面连接Kyuubi使用的用户是hdfs，这里列出Engine的时候必须要指定用户（--username参数），否则无法查询到engine。
./kyuubi-admin list engine --hostUrl http://10.100.10.100:10099 --username hdfs
示例结果如下：
Engine Node List (total 1)
╔═══════════════════════════════════════════╤══════════════════════════╤═════════════════════════════════════════════════╗
║ Namespace │ Instance │ Attributes ║
╠═══════════════════════════════════════════╪══════════════════════════╪═════════════════════════════════════════════════╣
║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ xxxxxx.bigdata.com:44418 │ refId=7626ca39-acbc-48eb-8366-76029adb0217 ║
║ ╔════════════╤════════════╤═══════════╗ │ │ kyuubi.engine.url=xxxxxx.bigdata.com:33679 ║
║ ║ EngineType │ ShareLevel │ Subdomain ║ │ │ spark.driver.memory= ║
║ ╠════════════╪════════════╪═══════════╣ │ │ kyuubi.engine.id=application_1725009047638_0021 ║
║ ║ SPARK_SQL │ USER │ default ║ │ │ version=1.9.2 ║
║ ╚════════════╧════════════╧═══════════╝ │ │ sequence=0000000002 ║
║ │ │ serverUri=xxxxxx.bigdata.com:44418 ║
║ │ │ spark.executor.memory= ║
╚═══════════════════════════════════════════╧══════════════════════════╧═════════════════════════════════════════════════╝
1 row(s)
kyuubi-ctl
列出所有server
执行如下命令。和kyuubi-admin不同的是kyuubi-ctl不需要指定hostUrl参数。
./kyuubi-ctl list server
示例结果：
Zookeeper service nodes
╔═══════════╤═══════════════╤═══════╤═════════╗
║ Namespace │ Host │ Port │ Version ║
╠═══════════╪═══════════════╪═══════╪═════════╣
║ /kyuubi │ 10.100.10.100 │ 10009 │ 1.9.2 ║
╟───────────┼───────────────┼───────┼─────────╢
║ /kyuubi │ 10.100.10.101 │ 10009 │ 1.9.2 ║
╟───────────┼───────────────┼───────┼─────────╢
║ /kyuubi │ 10.100.10.102 │ 10009 │ 1.9.2 ║
╚═══════════╧═══════════════╧═══════╧═════════╝
3 row(s)
列出其中一个server
需要指定server所在的主机IP/hostname和Kyuubi Rest接口端口号。命令如下：
./kyuubi-ctl get server --host 10.100.10.100 --port 10009
示例结果：
Zookeeper service nodes
╔═══════════╤═══════════════╤═══════╤═════════╗
║ Namespace │ Host │ Port │ Version ║
╠═══════════╪═══════════════╪═══════╪═════════╣
║ /kyuubi │ 10.100.10.100 │ 10009 │ 1.9.2 ║
╚═══════════╧═══════════════╧═══════╧═════════╝
1 row(s)
列出指定用户的engine
需要使用--user参数指定用户，命令如下所示：
./kyuubi-ctl list engine --user hdfs
示例结果：
Zookeeper service nodes
╔═══════════════════════════════════════════╤════════════════════╤═══════╤═════════╗
║ Namespace │ Host │ Port │ Version ║
╠═══════════════════════════════════════════╪════════════════════╪═══════╪═════════╣
║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ xxxxxx.bigdata.com │ 44418 │ 1.9.2 ║
╚═══════════════════════════════════════════╧════════════════════╧═══════╧═════════╝
1 row(s)
获取特定的engine信息
需要执行engine运行所在的主机的IP/hostname，engine开放的端口和用户名。
./kyuubi-ctl get engine --host xxxxxx.bigdata.com --port 44418 --user hdfs
示例结果：
Zookeeper service nodes
╔═══════════════════════════════════════════╤════════════════════╤═══════╤═════════╗
║ Namespace │ Host │ Port │ Version ║
╠═══════════════════════════════════════════╪════════════════════╪═══════╪═════════╣
║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ worker.bigdata.com │ 44418 │ 1.9.2 ║
╚═══════════════════════════════════════════╧════════════════════╧═══════╧═════════╝
1 row(s)
前面list engine命令的执行结果包含get engine的结果。get engine需要的参数更多，没有list engine使用方便。
删除特定的engine
命令参数和get engine相同。示例如下：
./kyuubi-ctl delete engine --host xxxxxx.bigdata.com --port 44418 --user hdfs
