Spark
2020-03-22 本文已影响0人
inspiredhss
image.png
image.png
- driver-core是Java的
image.png
image.png
- 提交 脚本命令 提交 客户端 集群 resource application master Java进程
Java申请资源 分发 创建 汇报给Java 任务执行代码 worker端分布式执行
image.png
image.png
image.png
image.png
image.png
- Action算子 决定Job任务
image.png
- 根据key进行重分区
a
image.png
*task-reducetask
image.png
- 一个worker端 可能多个小文件
image.png
- 一个worker一个task下的文件 =CPU个数 CPU文件复用追加
image.png
*少了根据Key在内存中排序的操作
image.png
- reduceByKey=GroupBykey+Map操作
image.png
*增大分区 产生shuffer; repartition
*减小分区 coalesce
*Spark默认分区200个参数 改变分区方式：根据算子 改变参数SparkConf
image.png
image.png
- 广播变量 Redis单节点集群运行 Java端变量分发到worker上；累加器可写；共享变量；
image.png
image.png
image.png
image.png
image.png
image.png
- checkpoint小文件问题；Zookerper中偏移量；预写日志会频繁访问namenode节点
image.png
- 偏移量在kafka中
image.png
- 窗口函数 基于checkpoint 基于历史数据叠加
image.png
image.png
-
Key聚合 sortBy
image.png
*Key聚合 分区 迭代排序；
image.png
image.png
*基于原有分区 不影其他分区
image.png
*DF 内存不够溢写到磁盘；RDD：内存不够 内存&初始端拉取
image.png
image.png
image.png
*小表在Java本地Join 然后广播到worker
image.png
image.png
image.png
- 数据倾斜导致某个task运行较慢
-
等数据处理完 再关闭
image.png
