使用Docker搭建Spark集群

本次使用big-data-europe/docker-spark: Apache Spark docker image方便地进行Spark开发环境的搭建。

首先需要先准备一个docker-compose.yml文件，文件内容如下：

version: '2'
services:
  spark-master:
    image: bde2020/spark-master:2.4.4-hadoop2.7
    container_name: spark-master
    ports:
      - "8080:8080"
      - "7077:7077"
    environment:
      - ENABLE_INIT_DAEMON=false
  spark-worker-1:
    image: bde2020/spark-worker:2.4.4-hadoop2.7
    container_name: spark-worker-1
    depends_on:
      - spark-master
    ports:
      - "8081:8081"
    environment:
      - "SPARK_MASTER=spark://spark-master:7077"
      - ENABLE_INIT_DAEMON=false

然后运行

docker-compose up -d

浏览器打开 http://localhost:8080 可以看到Spark Master管理页面，打开http://localhost:8081 可以看到Spark Worker的详细页面

spark-master.png