Spark玩转大数据程序员

从零开始学习Spark(一)环境配置,实现WordCount

2017-04-19  本文已影响328人  C就要毕业了

环境配置,Spark实现WordCount

本人准备参加腾讯实习,有关大数据与机器学习。由于本人对大数据一无所知,因此准备由Spark作为切入口开始自学,一步步完成机器学习各个算法在Spark上的应用。自学过程中的点点滴滴都会记录在简书上,希望可以与大家交流,共同学习。

配环境永远是开始学习一个新领域最难的一部分,我花了两天时间配置成功了MacOS下的Spark开发环境,实现了基于Scala与sbt的WordCount,下面来一步步把步骤记录下来。

第1步:配置sbt在IntelliJ下编程环境

打开terminal

查看java版本,由于MacOS自带java,因此无需安装

$ java -version

安装sbt,这是编译scala的工具

$ brew install sbt

查看sbt与scala信息

$ sbt about

下载安装IntelliJ

安装Scala Plugin:打开IntelliJ,在选择项目界面,选择Configure → Plugins → Install JetBrains Plugins,搜索Scala并安装

选择默认SDK:Configure → Project defaults → Project structure,SDK选择Java1.8

至此scala在IntelliJ下的开发环境配置完毕

第2步:配置Spark工具包

下载Spark:下载地址,注意如果已经安装了Hadoop的话要下载对应的版本,下面的命令可以查看Hadoop版本

$ hadoop version

下载完毕后解压并将其放在一个目录下,假设放在/usr/shar/spark-2.1.0-bin-hadoop2.7,那么我们往环境变量中添加Spark方便以后使用

$ vim .bash_profile

加入一行,保存后重启terminal即可

export SPARK_HOME=/usr/shar/spark-2.1.0-bin-hadoop2.7

至此,Spark环境配置完毕,是不是非常方便

第3步:命令行形式操控Spark

(1) Python Spark

terminal中执行命令

$ $SPARK_HOME/bin/pyspark

看到帅气的Spark logo就表示已经成功了

美中不足的是自带的python shell没有自动补全等功能,使用ipython可以完美解决

首先,安装ipython

$ pip install ipython

运行Spark

$ PYSPARK_DRIVER_PYTHON=ipython $SPARK_HOME/bin/pyspark

让我们来使用一些Spark的API来尝试一些命令

>>> lines = sc.textFile("README.md") # 创建一个名为lines的RDD
>>> lines.count() # 统计RDD中的元素个数 
127
>>> lines.first()

(2) Scala Spark Shell

$ $SPARK_HOME/bin/spark-shell

同样完成一下行数统计的小应用

scala> val lines = sc.textFile("README.md") // 创建一个名为lines的RDD
lines: spark.RDD[String] = MappedRDD[...]
scala> lines.count() // 统计RDD中的元素个数 
res0: Long = 127
scala> lines.first() // 这个RDD中的第一个元素,也就是README.md的第一行 
res1: String = # Apache Spark

第4步:构建Spark独立应用,WordCount

上面的是shell形式下调用Spark,而现在进入更为重要的建立独立项目,我看了很多教程,但是每个教程都有一步两步讲的含糊不清,或者就是版本太老,留下了许多坑。现在我总结了一个可以跑通的例子。

首先,IntelliJ下创建sbt项目:打开IntelliJ → Create New Project → Scala → sbt → ProjectName = wordcount → Create

修改build.sbt,在最后加入一行Spark的包。注意scalaVersion一定要改成2.11,因为Spark2.1.0是基于Scala2.11的,默认的2.12会报错!

name := "wordcount"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

让我们先来看一下sbt项目的目录结构

├── build.sbt
├── project
│   ├── build.properties
│   ├── plugins.sbt
│   ├── project
│   └── target
├── src
│   ├── main
│   │   ├── java
│   │   ├── resources
│   │   ├── scala
│   │   └── scala-2.12
│   └── test
│       ├── java
│       ├── resources
│       ├── scala
│       └── scala-2.12
└── target
    ├── resolution-cache
    ├── scala-2.12
    └── streams

我们需要写的代码主要放在/src/main/scala里面

下一步,我们开始写我们的代码,具体细节不用深究,本章节只是为了配通环境

新建目录/src/main/scala/com/oreilly/learningsparkexamples/mini/scala

添加第一个文件/src/main/scala/com/oreilly/learningsparkexamples/mini/scala/BasicMap.scala

/**
 * Illustrates a simple map in Scala
 */
package com.oreilly.learningsparkexamples.scala

import org.apache.spark._

object BasicMap {
    def main(args: Array[String]) {
      val master = args.length match {
        case x: Int if x > 0 => args(0)
        case _ => "local"
      }
      val sc = new SparkContext(master, "BasicMap", System.getenv("SPARK_HOME"))
      val input = sc.parallelize(List(1,2,3,4))
      val result = input.map(x => x*x)
      println(result.collect().mkString(","))
    }
}

添加第二个文件/src/main/scala/com/oreilly/learningsparkexamples/mini/scala/WordCount.scala

/**
 * Illustrates flatMap + countByValue for wordcount.
 */
package com.oreilly.learningsparkexamples.mini.scala

import org.apache.spark._
import org.apache.spark.SparkContext._

object WordCount {
    def main(args: Array[String]) {
      val inputFile = args(0)
      val outputFile = args(1)
      val conf = new SparkConf().setAppName("wordCount")
      // Create a Scala Spark Context.
      val sc = new SparkContext(conf)
      // Load our input data.
      val input =  sc.textFile(inputFile)
      // Split up into words.
      val words = input.flatMap(line => line.split(" "))
      // Transform into word and count.
      val counts = words.map(word => (word, 1)).reduceByKey{case (x, y) => x + y}
      // Save the word count back out to a text file, causing evaluation.
      counts.saveAsTextFile(outputFile)
    }
}

点击右上角的Build Project图标就编译成功了,如果没有报错,那么恭喜你,环境配置成功了。

第5步:使用spark-submit来运行应用

spark-submit脚本可以为我们配置 Spark 所要用到的一系列环境变量。

首先需要将我们编译好的项目打包,最方便的方式就是进入wordcount目录下,输入

$ sbt package

打包好的文件就在/wordcount/target/scala-2.11/wordcount_2.11-1.0.jar

接下来就是利用Spark为我们提供的spark-submit来运行应用了,进入wordcount目录下

$ $SPARK_HOME/bin/spark-submit \
--class com.oreilly.learningsparkexamples.mini.scala.WordCount  \
./target/scala-2.11/wc_2.11-1.0.jar \
./input.txt ./wordcounts

下面来简单解释一下上面的命令,--class为使用的Class,后面为jar包的路径,最后两个为wordcount的两个参数,分别为输入文件,和输出文件路径

我们的输入文件\wordcount\input.txt是这样的

one two three four
four five six
one five six
one one three

运行后,如果成功会在\wordcount\wordcounts\part-00000中看到

(two,1)
(one,4)
(six,2)
(three,2)
(five,2)
(four,2)

至此,我们的整个环境都配置成功啦,有问题请留言

参考资料

Spark官方文档Quick-start

用SBT编译Spark的WordCount程序

Big Data Analysis with Scala and Spark 洛桑联邦理工学院 - Coursera

上一篇下一篇

猜你喜欢

热点阅读