一

教材：Spark快速大数据分析

系统：macOS

Spark版本：2.4.5

遇到的问题：

1. 在运行P12的lines.count()时显示IllegalArgumentException: 'Unsupported class file major version 57'。在网上查阅后发现是JDK版本问题。本机使用的是JDK 13.0.2，应选用JDK 1.8.0。

记录：

1. 查看本机JDK版本的命令： /usr/libexec/java_home -V

2. 使用Jupyter Notebook进行Spark编程的命令：

    export PYSPARK_DRIVER_PYTHON=jupyter

    export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

3. Python初始化Spark：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("MyApp")

sc = SparkContext(conf=conf)