spark安装（单机）
2016-11-09 本文已影响50人
d33911380280
1.在该网站下载spark，这里仅进行单机版安装
Paste_Image.png
2.解压spak压缩包
Paste_Image.png
3.运行pyspark
Paste_Image.png
4.读取行数和第一行
Paste_Image.png
5.读取含Python字符的行，读取第一行
Paste_Image.png
6.在conf文件夹中，复制log4j的模板文件，然后在下图位置将INFO改为WARN
Paste_Image.png
7.新建外部.py文件
from pyspark import SparkContext,SparkConf
conf=SparkConf().setMaster("local").setAppName("My App")
sc=SparkContext(conf=conf)
lines=sc.textFile("README.md")
print lines.count()
8.按图示运行，得到文件行数
Paste_Image.png
