《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了

2019-03-18 本文已影响13人 zhisheng_blog

image

前言

写这篇文章其实也是知识星球里面的一个小伙伴问了这样一个问题：

通过 flink UI 仪表盘提交的 jar 是存储在哪个目录下？

这个问题其实我自己也有问过，但是自己因为自己的问题没有啥压力也就没深入去思考，现在可是知识星球的付费小伙伴问的，所以自然要逼着自己去深入然后才能给出正确的答案。

跟着我一起来看看我的探寻步骤吧！小小的 jar 竟然还敢和我捉迷藏？

查看配置文件

首先想到的是这个肯定可以在配置文件中有设置的地方的：

image

谷歌大法好

虽然有个是 upload 的，但是并不是我们想要的目录！于是，只好动用我的“谷歌大法好”。

image

找到了一条，点进去看 Issue 如下：

image

发现这 tm 不就是想要的吗？都支持配置文件来填写上传的 jar 后存储的目录了！赶紧点进去看一波源码：

image

源码确认

这个 jobmanager.web.upload.dir 是不是？我去看下 1.8 的源码确认一下：

image

发现这个 jobmanager.web.upload.dir 还过期了，用 WebOptions 类中的 UPLOAD_DIR 替代了！

继续跟进去看看这个 UPLOAD_DIR 是啥玩意？

image

看这注释的意思是说，如果这个配置 web.upload.dir 没有配置具体的路径的话就会使用 JOB_MANAGER_WEB_TMPDIR_KEY 目录，那么我们来看看是否配置了这个目录呢？

image

确实没有配置这个 jar 文件上传的目录，那么我们来看看这个临时目录 JOB_MANAGER_WEB_TMPDIR_KEY 是在哪里的？

image

又是一个过期的目录，mmp，继续跟下去看下这个目录 TMP_DIR。

image

我们查看下配置文件是否有配置这个 web.tmpdir 的值，又是没有：

image

so，它肯定使用的是 System.getProperty("java.io.tmpdir") 这个目录了，

我查看了下我本地电脑起的 job 它的配置中有这个配置如下：

java.io.tmpdir  /var/folders/mb/3vpbvkkx13l2jmpt2kmmt0fr0000gn/T/

image

再观察了下 job，发现 jobManager 这里有个 web.tmpdir 的配置：

web.tmpdir  /var/folders/mb/3vpbvkkx13l2jmpt2kmmt0fr0000gn/T/flink-web-ea909e9e-4bac-452d-8450-b4ff082298c7

image

发现这个 web.tmpdir 的就是由 java.io.tmpdir + “flink-web-” + UUID 组成的！

水落石出

进入这个目录发现我们上传的 jar 终于被找到了：

image

配置上传 jar 目录确认

上面我们虽然已经知道我们上传的 jar 是存储在这个临时目录里，那么我们现在要验证一下，我们在配置文件中配置一下上传 jar 的固定位置，我们先在目录下创建一个 jars 目录，然后在配置文件中加入这个配置：

web.tmpdir: /usr/local/blink-1.5.1/jars

image

更改之后再看 web.tmpdir 是这样的:

image

从 Flink UI 上上传了三个 jar，查看 /usr/local/blink-1.5.1/jars/flink-web-7a98165b-1d56-44be-be8c-d0cd9166b179 目录下就出现了我们的 jar 了。

image

我们重启 Flink，发现这三个 jar 又没有了，这也能解释之前我自己也遇到过的问题了，Flink 重启后之前所有上传的 jar 都被删除了！作为生产环境，这样玩，肯定不行的，所以我们还是得固定一个目录来存储所有的上传 jar 包，并且不能够被删除，要配置固定的目录（Flink 重启也不删除的话）需要配置如下：

web.upload.dir: /usr/local/blink-1.5.1/jars

这样的话，就可以保证你的 jar 不再会被删除了！

再来看看源码是咋写的哈：

//从配置文件中找 UPLOAD_DIR
final Path uploadDir = Paths.get(
    config.getString(WebOptions.UPLOAD_DIR, config.getString(WebOptions.TMP_DIR)),
    "flink-web-upload");

return new RestServerEndpointConfiguration(
    restAddress,restBindAddress,port,sslEngineFactory,
    uploadDir,maxContentLength,responseHeaders);

他就是从配置文件中找 UPLOAD_DIR，如果为 null 就找 TMP_DIR 目录来当作 jar 上传的路径！