Spark On Yarn 中Executor 内存分配的机制

2020-01-07  本文已影响0人  团团饱饱

百度了无数篇文章,只有这篇文章能完美解释spark client 模式和cluster 模式资源不用。非常完美

<property>

    <name>yarn.scheduler.minimum-allocation-mb</name>

    <value>1024</value>

  </property>

  <property>

    <name>yarn.scheduler.increment-allocation-mb</name>

    <value>512</value>

  </property>

  <property>

    <name>yarn.scheduler.maximum-allocation-mb</name>

    <value>28672</value>

https://www.aboutyun.com/thread-26233-1-1.html

(出处: about云开发)

上一篇 下一篇

猜你喜欢

热点阅读