Spark机器学习实战（一）Spark的环境搭建与简单销售统计应用

之前写了一个从零开始学习Spark的系列，一共八篇文章，了解了基本的Scala语言，RDD操作。接下来准备再开一个专题，记录一下Spark用于机器学习的实战Project，目的是将Spark和机器学习用于各个数据集的实战中。

第一部分还是用一个很简单的例子来配通Spark的环境，大致过程与从零开始学习Spark（一）环境配置，实现WordCount一致，只是为了完整性再记录一下。

Spark可以运行在各种集群上，但在这里我们都运行在本地，所以数据集的规模不会太庞大。

这个系列的文章会完成一个完整的系统：利用机器学习为一个电影网站提供数据支持。文章中列出了关键代码，完整代码见我的github repository，这篇文章的代码在chapter01中

任务目标

这一部分的例子非常简单，数据集是一个销售报表，格式为：用户名，商品名称，价格，我们需要统计总售货数，用户数量，总收入，以及商品销量排行。数据如下：

John,iPhone Cover,9.99
John,Headphones,5.49
Jack,iPhone Cover,9.99
Jill,Samsung Galaxy Cover,8.95
Bob,iPad Cover,5.49

第1步：配置sbt在IntelliJ下编程环境

打开terminal

查看java版本，由于MacOS自带java，因此无需安装

$ java -version

安装sbt，这是编译scala的工具

$ brew install sbt

查看sbt与scala信息

$ sbt about

下载安装IntelliJ

安装Scala Plugin：打开IntelliJ，在选择项目界面，选择Configure → Plugins → Install JetBrains Plugins，搜索Scala并安装

选择默认SDK：Configure → Project defaults → Project structure，SDK选择Java1.8

至此scala在IntelliJ下的开发环境配置完毕

第2步：配置Spark工具包

下载Spark：下载地址，注意如果已经安装了Hadoop的话要下载对应的版本，下面的命令可以查看Hadoop版本

$ hadoop version

下载完毕后解压并将其放在一个目录下，假设放在/usr/shar/spark-2.1.0-bin-hadoop2.7，那么我们往环境变量中添加Spark方便以后使用

$ vim .bash_profile

加入一行，保存后重启terminal即可

export SPARK_HOME=/usr/shar/spark-2.1.0-bin-hadoop2.7

至此，Spark环境配置完毕，是不是非常方便

第3步：构建我们的应用

首先，IntelliJ下创建sbt项目：打开IntelliJ → Create New Project → Scala → sbt → ProjectName = chapter01 → Create

修改build.sbt，在最后加入一行Spark的包。注意scalaVersion一定要改成2.11，因为Spark2.1.0是基于Scala2.11的，默认的2.12会报错！

name := "chapter01"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

让我们先来看一下sbt项目的目录结构

├── build.sbt
├── project
│   ├── build.properties
│   ├── plugins.sbt
│   ├── project
│   └── target
├── src
│   ├── main
│   │   ├── java
│   │   ├── resources
│   │   ├── scala
│   │   └── scala-2.12
│   └── test
│       ├── java
│       ├── resources
│       ├── scala
│       └── scala-2.12
└── target
    ├── resolution-cache
    ├── scala-2.12
    └── streams

我们首先将我们的数据集放在一个新建的data目录中，/data/UserPurchaseHistory.csv

John,iPhone Cover,9.99
John,Headphones,5.49
Jack,iPhone Cover,9.99
Jill,Samsung Galaxy Cover,8.95
Bob,iPad Cover,5.49

我们需要写的代码主要放在/src/main/scala里面

下一步，我们开始写我们的代码，具体细节不用深究，本章节只是为了配通环境

添加文件/src/main/scala/ScalaApp.scala

/**
  * Created by c on 2017/5/28.
  */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

object ScalaApp {

  def main(args: Array[String]) {
    val sc = new SparkContext("local[2]", "First Spark App")
    val data = sc.textFile("data/UserPurchaseHistory.csv")
      .map(line => line.split(','))
      .map(purchaseRecord => (purchaseRecord(0), purchaseRecord(1), purchaseRecord(2)))

    val numPurchases: Long = data.count()
    val uniqueUsers: Long = data.map { case (user, product, price) => user }.distinct.count()
    val totalRevenue: Double = data.map { case (user, product, price) => price.toDouble }.sum()
    val productsByPopularity = data.map { case (user, product, price) => (product, 1) }
      .reduceByKey((x, y) => x + y).sortByKey(ascending=false).collect()
    val mostPopular = productsByPopularity(0)

    println("Total purchases: " + numPurchases)
    println("Unique users: " + uniqueUsers)
    println("Total revenue: " + totalRevenue)
    println("Most popular product: %s with %d purchases".
      format(mostPopular._1, mostPopular._2))
  }
}

此时，我们在IntelliJ中的ScalaApp.scala代码浏览界面的object旁可以看到一个按钮，按一下就可以直接run了

run project

下方Console中出现如下结果证明运行成功

Total purchases: 5
Unique users: 4
Total revenue: 39.91
Most popular product: iPhone Cover with 2 purchases