Flink 集群运行模式(极客时间课程笔记)

2020-10-28  本文已影响0人  二十赶朝暮__

根据Main方法运行在Client还是JobManager分为三种类型

Session Mode

Per-job Mode

Application Mode (1.11版本)

Session Mode

优点:资源充分共享,资源利用率高,Job在集群中管理,运维简单

缺点:资源隔离差、非Native类型部署,TM不易扩展,Slot计算资源伸缩性较差

image.jpeg

Per-job mode

优点:Job之间资源隔离充分、Slot数量可以不同

缺点:资源相对比较浪费,Job管理完全交给ClusterManagement,管理复杂

image.jpeg

Per Job 和Session模式都需要上传Jar消耗带宽
生成JobGraph需要消耗CPU资源,任务多的情况下客户端压力大

Application Mode集群运行模式:

优点:有效降低带宽消耗和客户端负载、Application实现字段隔离、Application中实现资源共享

缺点:功能太新、还未经过生产验证;仅支持Yarn和k8s


image.png

Standalone仅支持Session模式

上一篇 下一篇

猜你喜欢

热点阅读