06-flink部署模式(重点介绍yarn)

2021-06-10  本文已影响0人  yayooo

一、Standlone模式
Standalone模式又叫独立集群模式。
此处不做介绍,本章重点介绍Yarn模式

二、Yarn模式
2.1 介绍
独立部署(Standalone)模式由Flink自身提供计算资源,无需其他框架提供资源,这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。但是,Flink主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是和其他专业的资源调度框架集成更靠谱,所以接下来我们来学习在强大的Yarn环境中Flink是如何使用的。(其实是因为在国内工作中,Yarn使用的非常多)
把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会申请容器从Yarn的NodeManager上面. Flink会创建JobManager和TaskManager在这些容器上。Flink会根据运行在JobManger上的job的需要的slot的数量动态的分配TaskManager资源。
二、yarn端口以及任务查看
yarn默认端口:8088
在yarn的ResourceManager界面查看执行情况


三、flink on yarn
3.1

上一篇下一篇

猜你喜欢

热点阅读