spark

Spark 开发语言及运行模式介绍

Scala安装

下载 Scala
配置到系统环境变量
配置成功

Spark环境搭建及 wordCount 案例实现

下载 spark
解压编译
spark-shell可执行程序

如何提交应用程序

开启2个即可

./spark-shell --master local[2]

读取输出文件内容

3行数据
按空格拆分

为每个单词赋1,表出现频率
a.map(word => (word,1))
统计

以上操作其实通过一条方法链即可完成!!!

sc.textFile("file:///Volumes/doc/data/hello.txt").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_).collect
GUI 管理界面
访问该地址即可
http://localhost:4040

Flink 概述

• https://flink.apache.org/
  官网首页

使用 Flink 完成 wordcount 统计

Flink 环境部署

下载
下载镜像到本地
解压

查看官网指南

启动本地的一个 flink


浏览器访问:http://localhost:8081/

使用方法

Beam 概述

• https://beam.apache.org/
  
  官网
  

将 wordCount的 Beam 程序以多种不同 Runner运行

Java 版本快速入门指南

maven 命令执行成功
运行命令

生成文件
查询结果