大数据Flink

CDH6.2.0添加flink服务(CentOS6)

2021-04-14  本文已影响0人  代码足迹

0、背景

系统:centos 6.8
CM版本:6.2.0
Flink版本:1.9.0

1、下载包

官网有包可以直接下载

https://archive.cloudera.com/csa/1.0.0.0/parcels/

下载以下文件:

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el6.parcel
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el6.parcel.sha
manifest.json

下载对应的csd文件:
https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar

这里的包名是6.3.0,实践证明我的6.2.0也是可以的

2、拷贝包

把下载的csd文件(FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar)放到默认的路径(/opt/cloudera/csd)下面(每个人的安装路径以自己的为准,安装路径查看看下图)

其他三个文件放到 /opt/cloudera/parcel-repo

image.png image.png

3 加载安装

在主节点重启server,重启agent(需要root权限)

cd /etc/init.d/
sudo sh ./cloudera-scm-server restart

登录CM重启 Cloudera Management Service

在cm管理界面对加入的flink的parcel进行分配和激活.

下一步安装完成

4 运行一个例子

flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/examples/streaming/WordCount.jar --input hdfs://node1:8020/bdp/testdata --output hdfs://node1:8020/bdp/testdata_output/1

上一篇 下一篇

猜你喜欢

热点阅读