spark技术
2019-02-04 本文已影响0人
风暴之芽
spark技术
1.spark core 基于RDD提供操作接口，利用DAG进行统一的任务规划
2.spark SQL：把hive的表和spark里的RDD，通过把hive的HQL转为spark DAG计算来实现
3.spark streaming：流式计算
4.MLIB：机器学习库，包含常用的机器学习算法
5.graphX：spark图并行操作库
spark技术
1.spark core 基于RDD提供操作接口，利用DAG进行统一的任务规划
2.spark SQL：把hive的表和spark里的RDD，通过把hive的HQL转为spark DAG计算来实现
3.spark streaming：流式计算
4.MLIB：机器学习库，包含常用的机器学习算法
5.graphX：spark图并行操作库
