DataStream API介绍与实战
2018-06-22 本文已影响26人
尼小摩
运行模型

大纲
- WorldCount
- Graph
- DataStreamContext环境
- 数据源(DataSource)
- 转化(Transformation)
- 数据Sink
- 应用配置策略
WorldCount

Graph
-
StreamGraph
根据用户代码生成最初的图。
表示程序的拓扑结构。
在client端生成。 -
JobGraph
优化StreamGraph。
将多个符合条件的Node chain在一起。
在Client端生成。 -
ExecutionGraph
JobManager 根据JobGraph生成,并行化。 -
物理执行图
实际执行图,不可见。
StreamGraph

StreamGraph -> JobGraph


JobGraph -> ExecutionGraph


数据流转关系图

应用配置策略
checkpoint配置

时间模型
- ProcessTime
- EventTime
设置

重启策略配置
