java 1.8 + scala 2.11 + flink 1.
安装JAVA 1.8
sudo apt install openjdk-8-jre-headless
sudo apt install openjdk-8-jdk-headless
验证是否安装成功
java -version
效果如图,证明安装成功
scala 2.11 安装步骤:
下载 scala 2.11.7,并且解压
wgethttps://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
tar -zxvf scala-2.11.7.tgz -C /usr/
profile中新增环境变量
vi /etc/profile
export SCALA_HOME=/usr/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
生效profile
source /etc/profile
验证是否成功:
scala -version
至此,scala安装完毕,最后一个组件是flink
flink 1.8安装步骤:
tar包下载页面:https://flink.apache.org/downloads.html
我们安装1.8 for scala 2.11的版本
wget http://mirror.bit.edu.cn/apache/flink/flink-1.8.0/flink-1.8.0-bin-scala_2.11.tgz
tar zxf flink-1.8.0-bin-scala_2.11.tgz -C /usr
修改flink配置文件:
vi /usr/flink-1.8.0/conf/flink-conf.yaml
jobmanager.rpc.address: localhost1 --jobManager 的IP地址
jobmanager.rpc.port: 6123 --jobManager 的端口,默认为6123
jobmanager.heap.mb --jobManager 的JVM heap大小
taskmanager.heap.mb --taskManager的jvm heap大小设置
taskmanager.numberOfTaskSlots --taskManager中taskSlots个数,最好设置成work节点的CPU个数相等
parallelism.default --并行计算数
fs.default-scheme --文件系统来源
fs.hdfs.hadoopconf: --hdfs置文件路径
jobmanager.web.port -- jobmanager的页面监控端口
根据要求修改对应的参数,即可直接启动
启动脚本目录:
/usr/flink-1.8.0/bin
sudo ./start-cluster.sh
停止脚本:
sudo ./stop-cluster.sh
直接浏览器访问页面+管理web 端口
localhost:8081
完成,后面会编辑一下nginx反向代理文档