环境部署

Spark1.6.0 on Hadoop-2.6.3 安装配置

算法架构

1. 【微信分享】王团结：如何用Hadoop/Spark构建七牛数据平台

2. 38 Sparkcore中的BlockManager

P.K.

1. SparkSQL与DataFrame

2. spark快速大数据分析之读书笔记-flatmap与map的区别

map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。
flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD

3. RDD、DataFrame和DataSet的区别

4. Spark on yarn有分为两种模式yarn-cluster和yarn-client

5. 看了之后不再迷糊-Spark多种运行模式

实战演练

1. SCALA_IDE开发Spark程序

2. Java开发Spark程序

3. SparkStreaming 打印输出demo

4. SparkStreaming wordcount demo

5. SparkStreaming 删选含有error的行