大数据&云计算学习小殿互联网&大数据应用学习

Spark相关文章索引(5)

2018-04-01  本文已影响29人  司小幽

环境部署

  1. Spark on Yarn集群搭建详细过程
  2. Python pycharm(windows版本)部署spark环境
  3. Spark+Python+Pycharm在Windows下的配置

基本常识

Spark RDD概念学习系列之RDD的5大特点(五)

Debug

  1. 启动spark-shell后出现not found错误

  2. spark-shell启动报错:Yarn application has already ended! It might have been killed or unable to launch application master

P.K.

  1. Spark配置参数优先级

优先级从高到低为:代码,shell,配置文件

  1. spark中的cache() persist() checkpoint()之间的区别
  2. Spark:Yarn-cluster和Yarn-client区别与联系

实战演练

  1. 使用Spark SQL读取Hive上的数据
  2. sparksql on hive 配置
  3. spark on yarn模式下配置spark-sql访问hive元数据
上一篇 下一篇

猜你喜欢

热点阅读