Flink深度解析NE_FLINK

Flink on Yarn模式启动流程分析

2016-12-05  本文已影响2875人  FlyCynomys

Flink On Yarn 架构

Paste_Image.png

前提条件
首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ,HADOOP_CONF_PATH其中一个用来确保Flink能够访问HDFS和Yarn的RM。

主要启动流程

1. 启动进程

首先我们通过下面的命令行启动flink on yarn的集群
bin/yarn-session.sh -n 3 -jm 1024 -nm 1024 -st

这里将产生总共五个进程

即一个客户端+4个container,1个container启动AM,3个container启动TaskManager。

2.启动流程

进程信息

后面我会从源代码的角度看下启动流程

上一篇 下一篇

猜你喜欢

热点阅读