Spark 读取配置
2018-12-30 本文已影响4人
丹之
我们知道，有一些配置可以在多个地方配置。以配置executor的memory为例，有以下三种方式：
- spark-submit的--executor-memory选项
- spark-defaults.conf的spark.executor.memory配置
- spark-env.sh的SPARK_EXECUTOR_MEMORY配置
对于spark配置。若一个配置在多处设置，则优先级如下： spark-submit --选项 > spark-defaults.conf配置 > spark-env.sh配置 > 默认值
https://github.com/keepsimplefocus/spark-sourcecodes-analysis/blob/master/spark-core/%5B%E6%BA%90%E7%A0%81%E5%89%96%E6%9E%90%5DSpark%E8%AF%BB%E5%8F%96%E9%85%8D%E7%BD%AE.md
