standalone flink on k8s 教程—— App

2020-06-28  本文已影响0人  ZYvette

生成 docker镜像

  1. 下载链接中的配置文件
    参考:
    https://github.com/apache/flink/tree/release-1.8/flink-container/docker

    image.png
  2. 首先将用户jar包下载下来到本地,如 WorkCount.jar

  3. 将flink 安装包下载下来,或者配置好配置文件后达成tgz文件

  4. 执行如下命令则生成 flink-job:latest的docker镜像

sh build.sh --job-jar WordCount.jar --from-archive flink-1.8.0-bin-scala_2.11.tgz

创建standalone flink 任务集群

1.下载链接中的配置文件到本地
参考:
https://github.com/apache/flink/tree/release-1.8/flink-container/kubernetes

image.png

2.执行下面的命令:

(1) 创建service

kubectl create -f job-cluster-service.yaml

(2) 创建jobmanager

FLINK_IMAGE_NAME=flink-job:latest FLINK_JOB_PARALLELISM=1 envsubst < job-cluster-job.yaml.template | kubectl create -f -

注意: 这里的FLINK_JOB_PARALLELISM 是指flink-job的并行度

(3)创建taskmanager

FLINK_IMAGE_NAME=flink-job:latest FLINK_JOB_PARALLELISM=1 envsubst < task-manager-deployment.yaml.template | kubectl create -f -

注意: 这里的FLINK_JOB_PARALLELISM 指的是taskmanager的个数

执行结果如下:


flink on k8s执行步骤

最后:
登录ip:30081即可查看flink页面

删除任务

任务执行结束,jobmanager是completed,而taskmanager因为是deployment,所以还是Running状态。因此需要手动深处任务。

kubectl delete job flink-job-cluster
kubectl delete deployment flink-task-manager
kubectl delete service flink-job-cluster

其他

  1. 相关问题:standalone flink on k8s 部署问题
  2. 不同版本执行的执行的命令略有不同,具体的还是看github链接上的命令,本文中使用的是1.8版本
上一篇下一篇

猜你喜欢

热点阅读