java 1.8 + scala 2.11 + flink 1.

2019-05-20  本文已影响0人  炸毛萌主

安装JAVA 1.8 

sudo apt install openjdk-8-jre-headless

sudo apt install openjdk-8-jdk-headless

验证是否安装成功

java -version

效果如图,证明安装成功

scala 2.11 安装步骤:

下载 scala 2.11.7,并且解压

wgethttps://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

tar -zxvf scala-2.11.7.tgz -C /usr/

profile中新增环境变量

vi /etc/profile

export SCALA_HOME=/usr/scala-2.11.7

export PATH=$PATH:$SCALA_HOME/bin

生效profile

source /etc/profile

验证是否成功:

scala -version

至此,scala安装完毕,最后一个组件是flink

flink 1.8安装步骤:

tar包下载页面:https://flink.apache.org/downloads.html

我们安装1.8 for scala 2.11的版本

wget http://mirror.bit.edu.cn/apache/flink/flink-1.8.0/flink-1.8.0-bin-scala_2.11.tgz

tar zxf flink-1.8.0-bin-scala_2.11.tgz -C /usr

修改flink配置文件:

vi /usr/flink-1.8.0/conf/flink-conf.yaml

jobmanager.rpc.address: localhost1 --jobManager 的IP地址

jobmanager.rpc.port: 6123  --jobManager 的端口,默认为6123

jobmanager.heap.mb --jobManager 的JVM heap大小 

taskmanager.heap.mb  --taskManager的jvm heap大小设置

taskmanager.numberOfTaskSlots  --taskManager中taskSlots个数,最好设置成work节点的CPU个数相等

parallelism.default  --并行计算数

fs.default-scheme --文件系统来源

fs.hdfs.hadoopconf:  --hdfs置文件路径

jobmanager.web.port    -- jobmanager的页面监控端口

根据要求修改对应的参数,即可直接启动

启动脚本目录:

/usr/flink-1.8.0/bin

sudo ./start-cluster.sh

停止脚本:

sudo ./stop-cluster.sh

直接浏览器访问页面+管理web 端口

localhost:8081

完成,后面会编辑一下nginx反向代理文档

上一篇下一篇

猜你喜欢

热点阅读