Spark+Jupyter=在线文本数据处理逻辑测试平台

2016-08-04 本文已影响1237人蔡菜寀

前言

最近在学习Spark，除了原生的Scala以外，Spark还提供了一个pyspark支持Python。以前曾经搭过一个基于IPython notebook的在线代码运行平台，其中用到的numpy，scipy，matplotlib，pandas等文本/数据处理库让我觉得如果能和pyspark结合说不定是个不错的组合——可以直观的测试代码逻辑，比起shell不知道要高到哪里去了。

至于这个平台，你可以搭载在树莓派，阿里云ecs，甚至是本机架设，方便快捷简单易上手。

事实上对于这篇文章，你也可以单纯把它看作是单机布置伪分布式Spark的教程，因为前面步骤一样一样的。

前期准备

硬件：

Linux/Mac计算机 x1

Linux用Ubuntu作为示例，Mac默认有HomeBrew或者Macport

软件：

Java环境，配置过JAVA_HOME
Python环境，默认为Python2

需联网，没有网络的请自行下载源码包并上传至机器

下载

Spark:

前往Apache官网下载:

hadoop2.6.0.tar.gz
spark-1.6.1-bin-hadoop2.6.tar.gz
scala-2.10.6.tar.gz

下载并统一使用

tar xvzf XXX.tar.gz

进行解压，之后执行

$mv hadoop2.6.0 /usr/local/hadoop
$mv spark-1.6.1-bin-hadoop2.6 /usr/local/spark
$mv scala-2.10.6 /usr/lcoal/scala

将文件夹移动到/usr/local备用

IPython：

之前用的Ipython notebook已经独立出来变成了jupyter，在这个步骤Python首先要安装setuptools，之后执行

$easy_install pip virtualenv

Virtualenv是Python的一个沙盒环境，适合配置不同版本的库来适配不同应用。
之后用Virtualenv创建一个IPython ENV

$cd /your/IPython/path/
$virtualenv ipython
$source ipython/bin/activate
(ipython)$

当前缀出现(ipython)的时候，说明这个env已经创建成功并正在使用中，如果需要退出就执行

(ipython)$cd ipython/bin && deactivate
$

之后在ipython环境中执行

(ipython)$pip install ipython jupyter numpy scipy pandas snownlp

安装matplotlib库则稍微麻烦些，需要先安装其依赖的包libpng和freetype
安装libpng:

$apt-get install libpng-dev

安装freetype:

$cd ~/Downloads
$wget http://download.savannah.gnu.org/releases/freetype/freetype-2.4.10.tar.gz
$tar zxvf freetype-2.4.10.tar.gz
$cd freetype-2.4.10/
$./congfigure
$make
$make install

之后执行

pip install matplotlib

配置环境变量

在这一步，Ubuntu请执行

$vim ~/.bashrc

Mac执行

$vim ~/.bash_profile

在文件末尾输入:

export PATH="$PATH:/usr/local/share/scala/bin"
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/lib/py4j-0.9-src.zip
IPYTHON_OPTS="notebook"$SPARK_HOME/bin/pyspark

:wq保存退出之后可以开始进行最后一步的spark环境配置了

Spark配置：

说是Spark的配置其实是更像是Hadoop的配置，毕竟Spark默认配置就能运行。
首先进入Hadoop的配置文件夹

$cd /usr/local/hadoop/etc/hadoop
$ls

你可以看到以下几个文件

core-site.xml
yarn-site.xml
mapred-site.xml
hdfs-site.xml

别急一个一个来

vim core-site.xml

写入

<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
</property>

vim yarn-site.xml

写入

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

如果没有mapred-site.xml

$ mv mapred-site.xml.template mapred-site.xml && vim mapred-site.xml

写入

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

vim hdfs-site.xml

写入

<property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>

呼，长嘘一口气
然后格式化一下namenode

$hdfs namenode -format

启动hadoop服务

$start-all.sh

输入数次密码，如果不想每次都输密码就百度一下hadoop的ssh免密配置

$jps

看到如下

17785 SecondaryNameNode 
17436 NameNode 
17591 DataNode 
18096 NodeManager 
17952 ResourceManager 
23635 Jps

很好你成功启动了hadoop，接下来进入spark文件夹

$cd $SPARK_HOME/sbin
$start-all.sh

输入一次密码之后查看jps是否多了一个worker和一个master，不出意外的话你的spark应该是能运行了

启动Jupyter

好累啊终于到了这一步了，进入ipython环境的前提下执行

(ipython)$jupyter notebook --generate-config
(ipython)$vim ~/.jupyter/jupyterA_notebook_config.py

写入

c.NotebookApp.ip='*'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888

然后执行

jupyter notebook

在浏览器输入http://ip_address:8888就能访问辣！
然后就愉快的新建notebook开始敲代码叭！
oh yeah