Apache Flink部署
2018-12-11 本文已影响0人
区块鱼
独立集群部署
软件要求
- 要求java 1.8.x及以上版本
- 安装ssh服务，并支持免密登陆
- 设置JAVA_HOME环境变量, 也可以在conf/flink-conf.yaml配置文件中设置env.java.home
Flink配置
- 下载软件版本(http://flink.apache.org/downloads.html)，确保与已经部署的hadoop版本一致。(当前环境没有部署hadoop) (在主节点运行)
cd /opt/hadoop/
wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.7.0/flink-1.7.0-bin-hadoop28-scala_2.12.tgz
tar xzf flink-1.7.0-bin-hadoop28-scala_2.12.tgz
cd flink-1.7.0/
- 测试集群环境为node1(192.168.110.222), node2(192.168.110.223), node3(192.168.110.224)。设置node1为master，其它为worker。
- 修改配置文件conf/flink-conf.yaml：
jobmanager.rpc.address: node1 # master地址
jobmanager.heap.size: 1024m # 根据实际内存调整
taskmanager.heap.size: 1024m # 根据实际内存调整
- 修改配置文件 conf/slaves，添加slave列表
node2
node3
- 修改配置文件 conf/masters, 修改主节点地址
node1:8081
- 拷贝整个目录到所有slave节点主机上的/opt/hadoop目录上（保证各个主机上flink目录一致）
scp -r flink-1.7.0/ node2:/opt/hadoop
scp -r flink-1.7.0/ node3:/opt/hadoop
- 在主节点上启动集群
./bin/start-cluster.sh
在浏览器中输入http://192.168.110.222:8081，即可访问管理网页，如下图所示：
- 在集群中添加额外的JobManager(master)/TaskManager(slave)
- 添加JobManager
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
- 添加TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all
HA集群部署
详细参考这篇博客文章：Flink JobManager HA模式部署（基于Standalone）
运行任务
在主节点上运行任务包，比如：
./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
