09-flink运行时架构流程
2021-08-05 本文已影响0人
yayooo
一、flink运行时架构图
https://ci.apache.org/projects/flink/flink-docs-release-1.11/fig/processes.svg
flink运行时架构流程
Flink运行时包含2种进程:1个JobManager和至少1个TaskManager
Flink Program：flink 程序
Program code：程序代码
Program Dataflow：程序数据流
Optimizer/Graph Builder：优化器/图表构建器:
Dataflow graph：数据流图
Client：客户端
Actor System：执行系统
Submit job（send dataflow）：提交作业（发送数据流）
Cancel/update job：取消/更新作业
JobManager：作业管理器
Scheduler：调度器
- 图解：基于开发的代码，生成数据流图，通过客户端提交给flink集群的JobManager，JobManager通过分析计算生成可执行的执行图，JobManager将任务分发给TaskManager，TaskManager将task分给Task slot进行计算，每个任务执行完毕数据都会向下沉（Memory & I/O Manager，Network Manager，Actor System）
1.1 客户端
- 严格上说, 客户端不是运行和程序执行的一部分, 而是用于准备和发送dataflow到JobManager. 然后客户端可以断开与JobManager的连接(detached mode), 也可以继续保持与JobManager的连接(attached mode)
客户端作为触发执行的java或者scala代码的一部分运行, 也可以在命令行运行:bin/flink run ...
1.2 JobManager
- 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行。
- JobManager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR包。
- JobManager会把JobGraph转换成一个物理层面的数据流图，这个图被叫做“执行图”（ExecutionGraph），包含了所有可以并发执行的任务。JobManager会向资源管理器（ResourceManager）请求执行任务必要的资源，也就是任务管理器（TaskManager）上的插槽（slot）。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的TaskManager上。
- 而在运行过程中，JobManager会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。
这个进程包含3个不同的组件
1.3 ResourceManager
- 负责资源的管理，在整个 Flink 集群中只有一个 ResourceManager. 注意这个ResourceManager不是Yarn中的ResourceManager, 是Flink中内置的, 只是赶巧重名了而已.
- 主要负责管理任务管理器（TaskManager）的插槽（slot），TaskManger插槽是Flink中定义的处理资源单元。
- 当JobManager申请插槽资源时，ResourceManager会将有空闲插槽的TaskManager分配给JobManager。如果ResourceManager没有足够的插槽来满足JobManager的请求，它还可以向资源提供平台发起会话，以提供启动TaskManager进程的容器。另外，ResourceManager还负责终止空闲的TaskManager，释放计算资源。
1.4 Dispatcher
- 负责接收用户提供的作业，并且负责为这个新提交的作业启动一个新的JobManager 组件. Dispatcher也会启动一个Web UI，用来方便地展示和监控作业执行的信息。Dispatcher在架构中可能并不是必需的，这取决于应用提交运行的方式。
1.5 JobMaster
- JobMaster负责管理单个JobGraph的执行.多个Job可以同时运行在一个Flink集群中, 每个Job都有一个自己的JobMaster.
1.6 TaskManager
- Flink中的工作进程。通常在Flink中会有多个TaskManager运行，每一个TaskManager都包含了一定数量的插槽（slots）。插槽的数量限制了TaskManager能够执行的任务数量。
- 启动之后，TaskManager会向资源管理器注册它的插槽；收到资源管理器的指令后，TaskManager就会将一个或者多个插槽提供给JobManager调用。JobManager就可以向插槽分配任务（tasks）来执行了。
- 在执行过程中，一个TaskManager可以跟其它运行同一应用程序的TaskManager交换数据。
