Spark源码[1]-内存管理模型
1 动态内存模型
Spark1.6版本之后，默认使用动态内存。
1.1 堆内内存
在Yarn调度器模式中，内存的基本结构如下，会在NodeManager上申请一个container，也就是一个JVM作为一个Executor，而Executor包含了两部分内存。
一是有spark.yarn.executor.memoryOverHead(注意在2.3版本及之后，使用spark.executor.memoryOverHead)指定的Off-heap内存，如果不指定，则设置其为min(executorMemory*0.1,348MB)作为其大小，一般生产环境我们不会把executor设置小于3.5G，所以，可以认为其实默认最大就是348MB。该部分内存主要用于创建Java Object时的额外开销，Native方法调用，NIO Buffer等开销，该部分是用户代码及spark不可以操作的内存。
需要注意的是，Yarn一定会设置一个container的上限内存，由yarn.scheduler.maximum-allocation-mb来指定，overHead内存+executorMemory不能超过container上限，不然会被Kill。
1.2 Executor内部内存结构
默认情况下，Spark只使用了堆内存，有如下4部分：
- Execution（执行）内存：用于存放Shuffle、Join、Sort、Aggregation等计算过程中的临时数据，主要就是Writer阶段的未溢写数据临时占用的内存，以及Reader阶段拉取到的Shuffle数据
- Storage（存储）内存：主要用于存放RDD的缓存和广播数据，UnrollBlock数据也会从这里获取
- 用户内存（User Memory）:其实就是Task的执行内存，用于存储RDD转换所需要的数据，例如RDD依赖等信息，用来存储Spark内部对象
- 预留内存（Reserved Memory）：系统预留内存，防止内存溢出，默认写死为300M，一般无需改动，不用关心此部分内存。 但如果Executor分配的内存小于 1.5 * 300 = 450M时，Executor将无法执行。
Executor申请到的堆内存总和就是上述四种，通过spark.executor.memory或者--executor-memory配置，需要注意的是，JVM堆内存无论什么时候，都会分为年轻代(1/3)和老年代(2/3)，而年轻代又分为Eden和S1、S2，比例为8：1：1，而同一时间只能有一个Serviver被使用，所以，有1/30内存不能被算进去。
Execution内存和Storage内存一共默认占总Executor的0.6，该值通过spark.memory.fraction配置。且在SparkUI的Executor标签页上显示的StorageMemory其实是Execution和Storage的总和。
Storage比例通过spark.memory.StorageFraction 进行设置，默认0.5。
1.3 堆外内存
在Spark1.6之后，Spark引入了堆外内存，分为Execution和Storage内存，分配多大就占用多大，不受其他因素影响，与堆内内存一样，它们也可以互相占用
#开启堆外内存并设置大小为10GB
spark.memory.offHeap.enabled true
spark.memory.offHeap.size 10737418240
1.4 内存动态调整机制
Spark1.6之后的动态内存机制如下：
- Execution内存和Storage内存任一方没有占满（比例由spark.memory.storageFraction设置），那么使用内存多且超过自身限制的的可以借用其内存
- Execution内存被Storage借用，如果Execution要使用这部分，会强制Storage数据溢写磁盘，从而归还内存
- Storage内存被Execution借用，如果Storage要使用这部分，不能强制Execution归还，因为Shuffle过程复杂，且数据一定会被用到
2 Spark1.6之前的静态内存模型
主要特性是内存之间不能互相借用，存储和执行内存分别占Executor的0.6和0.2。并且每一部分都有一个安全比例阀值，放置内存溢出。存储内存通过spark.storage.safetyFraction设置，默认0.9；执行内存通过spark.shuffle.safetyFraction，默认0.8；Unroll内存在存储内存的安全空间中，通过spark.storage.unrollFraction设置，默认0.2。
展开内存（Unroll）表示将RDD中的数据分区由不连续的存储空间组织为连续的存储空间。
另外，固定内存模式没有300MB的固定用户内存空间
3 补充
在代码中查看对象占用大小：
import org.apache.spark.util.SizeEstimator
val size:Long=SizeEstimator.estimate(map)
如果希望查看RDD大小：将RDDcache，然后看Web页面的Storage子页面。
