flink on k8s native 测试小记-2021-05

一、环境

软件	版本	备注
Ubuntu	20.04.1 LTS	操作系统
kubernetes	v1.18.16	1 * master node, 3 * worker node
flink	1.12.3
java	open jdk 11
docker	19.03.11

二、下载 flink 到本地，并配置JDK

#下载flink
wget https://mirror-hk.koddos.net/apache/flink/flink-1.12.3/flink-1.12.3-bin-scala_2.11.tgz
#创建目录
mkdir -p /home/dsi/soft/flink
# 解压
tar -zxf flink-1.12.3-bin-scala_2.11.tgz -C /home/dsi/soft/flink
# 创建软连接
cd /home/dsi/soft/flink && ln -snf flink-1.12.2 flink
# 下载 open jdk 11
wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz
# 创建目录
mkdir -p /home/dsi/soft/java
# 解压
tar -zxf openjdk-11+28_linux-x64_bin.tar.gz -C /home/dsi/soft/java
# 创建软连接
cd /home/dsi/soft/java && ln -snf jdk-11 java

# 配置环境变量
cd /home/dsi && vim .bashrc 
#在文件中添加如下内容并保存
export JAVA_HOME=/home/dsi/soft/java/java
export FLINK_HOME=/home/dsi/soft/flink/flink
export PATH=$JAVA_HOME/bin:/usr/bin:$FLINK_HOME/bin:$PATH
# 使新添加的环境变量生效
source /home/dsi/.bashrc

三、 测试是否满足官网要求的前置条件

• Kubernetes >= 1.9 满足
• 检查是否有 list、create、delete、edit pods和 services的权限 满足

dsi@*******101:~$ kubectl auth can-i list pods
yes
dsi@*******101:~$ kubectl auth can-i create pods
yes
dsi@*******101:~$ kubectl auth can-i edit pods
yes
dsi@*******101:~$ kubectl auth can-i delete pods
yes
dsi@*******101:~$ kubectl auth can-i list services
yes
dsi@*******101:~$ kubectl auth can-i create services
yes
dsi@*******101:~$ kubectl auth can-i edit services
yes
dsi@*******101:~$ kubectl auth can-i delete services
yes
dsi@*******101:~$ 

• Enabled Kubernetes DNS 满足

image.png

• 具有创建、删除pod的RBAC权限的默认服务帐户 满足

# 这里为 flink 创建新的 namespace 和 serviceaccount
#创建名为flink-session-cluster的namespace
kubectl create namespace flink-session-cluster
#创建名为flink的serviceaccount
kubectl create serviceaccount flink -n flink-session-cluster
#做serviceaccount和角色的绑定
kubectl create clusterrolebinding flink-role-binding-flink \
  --clusterrole=edit \
  --serviceaccount=flink-session-cluster:flink

四、Session Mode

4.1 向 k8s 提交一个 flink session

kubernetes-session.sh \
  -Dkubernetes.namespace=flink-session-cluster \
  -Dkubernetes.jobmanager.service-account=flink \
  -Dkubernetes.cluster-id=session001 \
  -Dkubernetes.rest-service.exposed.type=NodePort

• 启动日志

image.png

• 查看web UI

image.png

4.2 向 flink session 提交任务

4.2.1 CLI方式提交任务

flink run -d \
  --target kubernetes-session \
  -Dkubernetes.namespace=flink-session-cluster \
  -Dkubernetes.cluster-id=session001 \
  -Dkubernetes.jobmanager.service-account=flink \
  /home/dsi/soft/flink/flink/examples/streaming/WindowJoin.jar

日志

image.png

Flink WEB UI 查看任务

image.png

4.2.2 REST API 方式提交任务

上传 JAR

curl -X POST -H "Expect:" -F "jarfile=@/home/dsi/soft/flink/flink/examples/streaming/WindowJoin.jar" http://10.199.252.101:31000/jars/upload

响应结果

{
    "filename":"/tmp/flink-web-05fd2b22-e232-4188-ae91-096683902f92/flink-web-upload/10be8401-5cad-4170-a862-20a0c924dd77_WindowJoin.jar",
    "status":"success"
}

运行Job

curl -X POST http://10.199.252.101:31000/jars/10be8401-5cad-4170-a862-20a0c924dd77_WindowJoin.jar/run

响应结果

{"jobid":"d37317e95fd3b83cf8b59ea7d1abcf86"}

Flink WEB UI 查看任务

image.png

五、Application Mode

• 直接以Application提交任务

flink run-application \
--target kubernetes-application \
-Dkubernetes.namespace=flink-session-cluster \
-Dkubernetes.cluster-id=my-first-application-cluster \
-Dkubernetes.jobmanager.service-account=flink \
-Dkubernetes.container.image=flink:1.12.3 \
local:///opt/flink/examples/streaming/WindowJoin.jar

• 日志

image.png

• Flink WebUI 查看任务运行

image.png