Flink local模式
2017-11-19 本文已影响20人
苗栋栋
下载&&安装
Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是 Java 1.7.x或更高版本。接下来的指南假定是类Unix环境,Windows用户请移步到Flink on Windows。
安装Java 7.x(or higher)
java -version
#If you have Java 8, the output will look something like this:
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)
下载flink程序,下载方式移步到下载页。
如果只是跑本地模式,那么我们可以用任何一个版本。
比如:我们选用:flink-1.2.0-bin-hadoop2-scala_2.10.tgz
wget http://archive.apache.org/dist/flink/flink-1.2.0/flink-1.2.0-bin-hadoop2-scala_2.10.tgz
cd ~/Downloads # Go to download directory
tar xzf flink-*.tgz # Unpack the downloaded archive
cd flink-1.2.0
Local 模式
启动
./bin/start-local.sh
打开http://localhost:8081 可以看到一个flink运行信息的界面。如果能打开,则说明启动ok。
当然,我们也可以通过日志来确定是不是启动ok了。
$ tail log/flink-*-jobmanager-*.log
INFO ... - Starting JobManager
INFO ... - Starting JobManager web frontend
INFO ... - Web frontend listening at 127.0.0.1:8081
INFO ... - Registered TaskManager at 127.0.0.1 (akka://flink/user/taskmanager)
如果你遇到端口被占用的情况,打开conf/flink-conf.yaml
。
找到如下代码改成其他端口即可。
jobmanager.web.port: 8081
运行demo
batch
./bin/flink run examples/batch/WordCount.jar
streaming
./bin/flink run examples/streaming/WordCount.jar --output ./wc.txt
打开wc.txt就可以看到执行结果了。
当然,我们也可以指定输入输出,比如
./bin/flink run examples/streaming/WordCount.jar --input input.txt --output wc.txt
ps: wordcount源码:java on github.
文章参考