Spark调优

Spark参数调优：

• num-executors

  建议：一般设置50~100左右

• executors-memory

  建议:4G_{8G，不超过整个集群资源的1/3}1/2

• executor-cores

  每个Excutor进程的CPU core数量，决定了Excutor执行task的线程的能力。

  建议：2~4个较为合适，num-executors*executor-cores 不要超过cpu core的1/3~1/2左右

• driver-memory

  建议：一般1G就够，但是如果有collect算子收集，适当调大

• spark.default.parallelism
  task数量即分区度，并行度。可以设置500~1000，一般为num-executors*executor-cores的

  2~3倍。

• spark.storage.memoryFraction

  默认是0.6，持久化操作多，设置大一些

• spark.shuffle.memoryFraction

  默认是0.2，shuffle操作多，设置大一些