Spark内存管理

2019-06-17  本文已影响0人  clive0x

MemoryManager下两个子类:

1.UnifiedMemoryManager 2.StaticMemoryManager

默认使用UnifiedMemoryManager,execution memory和storage memory可以相互抢占。

配置参数:

Spark内存:spark.memory.fraction (0.6)(系统内存-300M resoved内存)*0.6

Storage占用内存。spark.memory.storageFraction (0.6)

开启offheap内存:spark.memory.offHeap.enabled

offheap内存大小设置:spark.memory.offHeap.size

上一篇 下一篇

猜你喜欢

热点阅读