[JiChu2]研究MemStateBackend
2021-04-01 本文已影响0人
bigdata张凯翔
image.png
第一种是内存存储，即 MemoryStateBackend，构造方法是设置最大的StateSize，选择是否做异步快照，
对于State状态存储在 TaskManager 节点也就是执行节点内存中的，因为内存有容量限制，所以单个 State maxStateSize 默认 5 M，且需要注意 maxStateSize <= akka.framesize 默认 10 M。
对于Checkpoint 存储在 JobManager 内存中，因此总大小不超过 JobManager 的内存。
推荐使用的场景为：本地测试、几乎无状态的作业，比如 ETL、JobManager 不容易挂，或挂掉影响不大的情况。
不推荐在生产场景使用。
image.png
默认情况下，状态信息是存储在 TaskManager 的堆内存中的，checkpoint 的时候将状态保存到
JobManager 的堆内存中。
缺点：
• 只能保存数据量小的状态
• 状态数据有可能会丢失
优点：
• 开发测试很方便
