6.Spark的wordCount原理解析
2019-06-01 本文已影响2人
山间浓雾有路灯
针对以下wordCount的实现原理以画图的方式进行分析
代码
def main(args: Array[String]): Unit = {
//配置基本信息
val conf = new SparkConf().setAppName("wordCount").setMaster("local")
//程序入口
val sc = new SparkContext(conf)
//文件路径
val input_path = "C:\\Users\\Desktop\\text\\The_Man_of_Property.txt";
val result = sc.textFile(input_path)//读取文件
.flatMap(x => x.split(" "))//对单词按照空格分词
.map(x => (x,1))//对单词进行标记次数
.reduceByKey(_ + _)//根据单词为key进行次数累加
result.foreach(println)//数据打印
}