2021-05-02
2021-05-02 本文已影响0人
八爪鱼下水
bin/spark-submit
--classcom.huawei.cluster\
--masteryarn-cluster\
--driver-cores2\
--driver-memory30G\
--confspark.shuffle.service.ennabled=true
--confspark.memory.storageFraction=0.30 \
--confspark.memory.fraction=0.7 \
--confspark.default.parallelism=2800\
--confspark.sql.shuffle.partitions1=1400\
--confspark.yarn.executor.memeoryOverhead=4096\
--executor-memory30g \
--executor-cores8 \
--num-executors20\
-
默认 : 55开,预留300M
JVM-Memory =
Spark Memory( Storage Memory(用于缓存广播变量等) 50% + Execution Memory(用户缓存Shuffle的中间数据)50%) 60% + User Memory( 用户自己维护数据结构 ) 40% + (预留300M) -
Storage Memory : 用于缓存 广播变量, 内存. persist 侧重存
-
Execution Memory : 用于shuffle的中间数据侧重网络分发和计算
参数设置
-- confspark.memory.fraction=0.7
设置Spark Memory内存
