Spark on k8s: 配置和使用ConfigMap
2019-08-29 本文已影响18人
Kent_Yao
什么是 ConfigMap
顾名思义，用来存配置的Map，可以存单个配置或者配置文件，在 POD 中我们可以通过环境变量来访问单个配置和配置文件，后者一般会被 mount 到 Pod 的一个 Volume 上，这样我们在跑 Spark on k8s 的时候，可以将一些配置放在 ConfigMap 中，和容器镜像解耦。
Spark 支持哪些 ConfigMap
如果使用 Spark 社区默认的 spark-submit 的提交方式，在 Spark 3.0 之后（当然目前还没有release），支持以下类型的 ConfigMap。
| 配置 | 默认值 | 说明 |
|---|---|---|
| spark.kubernetes.hadoop.configMapName | <none> | 相当于本地配置HADOOP_CONF_DIR |
| spark.kubernetes.kerberos.krb5.configMapName | <none> | 用于指定krb5.conf文件 |
这些是用户可以配置的，在 Spark on k8s 的内部运行实现上，也用了一些 ConfigMap 特性带来的便利，可以通过 describe 命令查看下 Driver Pod 的描述，
Volumes:
hadoop-properties:
Type: ConfigMap (a volume populated by a ConfigMap)
Name: hz10-hadoop-dir
Optional: false
krb5-file:
Type: ConfigMap (a volume populated by a ConfigMap)
Name: hehe-2c6c6c6cdbf66f13-krb5-file
Optional: false
kerberos-keytab:
Type: Secret (a volume populated by a Secret)
SecretName: hehe-2c6c6c6cdbf66f13-kerberos-keytab
Optional: false
spark-local-dir-1:
Type: EmptyDir (a temporary directory that shares a pod's lifetime)
Medium:
SizeLimit: <unset>
spark-conf-volume:
Type: ConfigMap (a volume populated by a ConfigMap)
Name: hehe-2c6c6c6cdbf66f13-driver-conf-map
Optional: false
default-token-nxhgg:
Type: Secret (a volume populated by a Secret)
SecretName: default-token-nxhgg
Optional: false
比如 spark-conf-volume 这个，就存放了客户端汇总的所有 spark 相关的配置，默认被 mount 到 /opt/spark/conf/spark.properties 这个位置，然后在 Driver Pod 启动时，通过 --properties-file 参数指定，也可以通过 describe 命令，我们也可以查看这个 map 的内容
Kent@KentsMacBookPro ~ kubectl describe cm hehe-2c6c6c6cdbf66f13-driver-conf-map -nns1
Name: hehe-2c6c6c6cdbf66f13-driver-conf-map
Namespace: ns1
Labels: <none>
Annotations: <none>
Data
====
spark.properties:
----
#Java properties built from Kubernetes config map with name: hehe-2c6c6c6cdbf66f13-driver-conf-map
#Thu Aug 29 14:00:59 CST 2019
spark.driver.host=hehe-2c6c6c6cdbf66f13-driver-svc.ns1.svc
spark.driver.blockManager.port=7079
spark.kubernetes.executor.podNamePrefix=hehe-2c6c6c6cdbf66f13
spark.kubernetes.container.image=harbor-inner.sparkonk8s.netease.com/tenant1-project1/spark\:v3-SPARK-28896
spark.jars=hdfs\://hz-cluster10/user/kyuubi/udf/spark-upload-6bd024d4-a59a-4628-b923-b7a8bc5139f8/hadoop-lzo-0.4.20-SNAPSHOT.jar
spark.kubernetes.submitInDriver=true
spark.kerberos.principal=kyuubi/dev@HADOOP.HZ.NETEASE.COM
spark.submit.deployMode=cluster
spark.kubernetes.memoryOverheadFactor=0.1
spark.kubernetes.resource.type=java
spark.kubernetes.hadoop.configMapName=hz10-hadoop-dir
spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf
spark.master=k8s\://https\://10.120.238.100\:7443
spark.executor.instanses=5
spark.submit.pyFiles=
spark.kubernetes.container.image.pullSecrets=mysecret
spark.kubernetes.driver.pod.name=hehe-2c6c6c6cdbf66f13-driver
spark.kubernetes.namespace=ns1
spark.kerberos.keytab=/mnt/secrets/kerberos-keytab/kyuubi.keytab
spark.app.id=spark-b2c4c18da0fa4e43b8dfd554893f2950
spark.app.name=hehe
spark.driver.extraJavaOptions=-agentlib\:jdwp\=transport\=dt_socket,server\=y,suspend\=y,address\=50014
spark.kubernetes.file.upload.path=hdfs\://hz-cluster10/user/kyuubi/udf
spark.driver.port=7078
Events: <none>
如何使用 ConfigMap
创建
使用 ConfigMap 之前必须先创建，我们可以通过kubectl create configmap --help 了解这个命令的用法。
ConfigMap 和命名空间是绑定的，创建在对应的命名空间内，后面跑 spark 的时候才能使用。
我们以 spark.kubernetes.hadoop.configMapName 来举例，我们用来创建ConfigMap 来存储 HADOOP_CONF_DIR 下的文件。
# Create a new configmap named my-config based on folder bar
kubectl create configmap my-config --from-file=path/to/bar
# Create a new configmap named my-config with specified keys instead of file basenames on disk
kubectl create configmap my-config --from-file=key1=/path/to/bar/file1.txt --from-file=key2=/path/to/bar/file2.txt
可以通过上面两种方式，直接使用路径 或者 一个文件一个文件来指定
kubectl create configmap hz10-hadoop-dir -nns1 --from-file=./etc/hadoop
kubectl create configmap hz10-hadoop --from-file=./etc/hadoop/core-site.xml --from-file=./etc/hadoop/hdfs-site.xml --from-file=./etc/hadoop/yarn-site.xml -nns1
通过 describe 命令可以查看该 ConfigMap 信息。
ConfigMap 的 数据部分，key值对应的是文件的名字，Value对应的是该文件的实际内容。
使用
创建完成后，我们就可以通过将它的名称，如hz10-hadoop-dir，直接设置给spark.kubernetes.hadoop.configMapName 就可以使用啦
bin/spark-submit \
--conf spark.kubernetes.namespace=ns1 \
--conf spark.kubernetes.container.image.pullSecrets=mysecret \
--conf spark.kubernetes.hadoop.configMapName=hz10-hadoop-dir \
--conf spark.master=k8s://https://10.120.238.100:7443 \
--conf spark.kubernetes.container.image=harbor-inner.sparkonk8s.netease.com/tenant1-project1/spark:v3-SPARK-28896
--conf spark.kerberos.keytab=/Users/Kent/Downloads/kyuubi.keytab \
--conf spark.kerberos.principal=kyuubi/dev@HADOOP.HZ.NETEASE.COM \
--conf spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf \
--name hehe \
--deploy-mode cluster \
--class org.apache.spark.examples.HdfsTest \
local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0-SNAPSHOT.jar \
hdfs://hz-cluster10/user/kyuubi/hive_db/kyuubi.db/hive_tbl
总结
- 目前Spark 2.3/2.4 不支持这个功能，需要等3.0 release
- 3.0貌似也也只暴露了这两个 ConfigMap 给用户侧使用
- cluster 模式提交如果带一些需要上传的jar包，貌似有个bug，先提个PR再说 https://github.com/apache/spark/pull/25609
