spark3 for mac 安装和hello wordcoun

参考 https://www.freesion.com/article/8975238935/#12_Scala_29
安装 java，scala
安装spark，
下载spak
https://spark.apache.org/downloads.html

图片.png

解压下载的Spark压缩包，例如Spark解压至/opt/module/

tar -zxvf spark-3.0.3-bin-hadoop3.2.tgz -C /opt/module

执行本地spark

cd /opt/module
mv spark-3.0.3-bin-hadoop3.2/ spark-local
cd spark-local
bin/spark-shell

图片.png

在 /opt/module/spark-local/data 新建word.txt文件

hello world
hello scala
hello spark

在 spark命令行输入命令

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

结果如下： 说明安装成功

图片.png