【机器学习】搭建pySpark ML开发环境
2017-10-24 本文已影响242人
PowerMe
- 安装pyCharm；
- 安装python，选用python 2.7.9版本；
- 安装py4j包：
从py4j 0.10.4(https://pypi.python.org/pypi/py4j/0.10.4)链接下载py4j包，这里选的是py4j 0.10.4版本
解压py4j包，打开py4j文件夹，在此路径下打开cmd，执行python setup.py install命令 - 安装numpy：
从https://pypi.python.org/pypi/numpy 路径下载numpy包，这里选择的是[numpy-1.13.3-cp27-none-win_amd64.whl]版本。在放置whl的路径下执行pip install numpy-1.13.3-cp27-none-win_amd64.whl命令即可 - 下载hadoop和spark包，选用的版本是hadoop-2.4.0（https://archive.apache.org/dist/hadoop/common/）和spark-2.1.0-bin-hadoop2.4.tgz（http://spark.apache.org/downloads.html）（基于hadoop-2.4.0的预编译版本）
- 将spark解压目录下python/pyspark包拷贝至python安装路径下的lib/site-packages下面
- pyCharm 配置Run configuration
SPARK_HOME = spark包解压目录
PYTHONPATH = %SPARK_HOME%/python - 如果想直接在pyCharm里面运行pySpark程序，需要保证spark Driver用的python版本（spark-2.1.0默认用的是python2.7）和pyCharm配置的python版本是一致的，否则会报版本不匹配错误：
