大数据之 - Spark应用程序环境搭建和代码举例
今天先简单说说如何搭建Spark的运行环境以及运行一个简单的例子。我把例子放到了Github上，也方便下载。
https://github.com/githubdominic/spark-hello-world.git
Spark提供了多语言的接口，Scala，Java，Python等，本文以Java为例。
Java环境搭建
我的运行环境是：
Macbook Pro macOS Mojave 10.14.3；2.7GHz Intel Core i5, RAM 8GB
Java 1.8
Eclipse IDE for Enterprise Java Developers. Version: 2018-12 (4.10.0)
第一步：在Eclipse中创建Maven工程
图1 创建Maven工程
第二步：填写项目的信息
图2 基本信息
图3 选择Archetype
图4 填写Group id和Artifact id
第三步：点击项目运行，可以打印出'Hello World'表示Java环境已经搭建好
图5 可以正常运行Hello World
Spark下载配置
在Spark官网下载Spark：https://spark.apache.org/downloads.html
图6 Spark下载页面
将下载的Spark放到本地目录，在Eclipose Project->Properties->Java Build Path->Libraries->Add External JARs将Spark目录下的jars目录下的jar包都添加进项目。例如我电脑里jar文件放在目录spark-2.4.0-bin-hadoop2.7/jars/*
图7 设置项目属性
图8 添加Spark jar包引用
使用Spark计算Pi
下面编辑App.java，使用蒙特卡罗(Monte Carlo)算法计算Pi的近似值。这种方法是一种利用计算机随机数的功能基于“随机数”的算法，通过计算落在单位圆内的点与落在正方形内的点的比值求Pi。
package spark.spark_hello_world;
/**
* Hello Spark!
*
*/
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import java.util.ArrayList;
import java.util.List;
/**
* Computes an approximation to pi
* Usage: JavaSparkPi [partitions]
*/
public final class App {
public static void main(String[] args) throws Exception {
SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi").setMaster("local");
JavaSparkContext jsc = new JavaSparkContext(sparkConf);
int slices = (args.length == 1) ? Integer.parseInt(args[0]) : 2;
int n = 100000 * slices;
List<Integer> l = new ArrayList<>(n);
for (int i = 0; i < n; i++) {
l.add(i);
}
JavaRDD<Integer> dataSet = jsc.parallelize(l, slices);
int count = dataSet.map(integer -> {
double x = Math.random() * 2 - 1;
double y = Math.random() * 2 - 1;
return (x * x + y * y <= 1) ? 1 : 0;
}).reduce((integer, integer2) -> integer + integer2);
System.out.println("Pi is roughly " + 4.0 * count / n);
jsc.stop();
}
}
简单起见，通过setMaster("local")在本地使用一个worker线程运行程序。
点击运行可以看到输出结果里面：
已经为大家精心准备了大数据的系统学习资料，从Linux-Hadoop-spark-......，需要的小伙伴可以点击
图9 Pi计算结果
更多蒙特卡罗算法(Monte Carlo)如何计算Pi的介绍可以参考下面的链接：
[1] 'Estimating the value of Pi using Monte Carlo'. https://www.geeksforgeeks.org/estimating-value-pi-using-monte-carlo/
[2] 'A Monte Carlo Approach to Estimating Pi'. http://www.mikesovay.com/msc/3%20-%20Kent%20Collins%20Material/Monte%20Carlo%20Simulation%20of%20Pi/MonteCarloApproachToPi_StudentInstructions.pdf
