[tools]Yarn & Spark/Spark-sh
简单之美 | Hadoop YARN架构设计要点
http://shiyanjun.cn/archives/1119.html
YARN整体架构
YARN是基于Master/Slave模式的分布式架构,我们先看一下,YARN的架构设计,如图所示(来自官网文档):
一次Hadoop集群宕机事故总结 - sdn_prc的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/sdn_prc/article/details/49802673
机房中心交换机坏掉,导致HDFS集群和【MR(YARN)集群】宕掉。
Hive使用Spark on Yarn作为执行引擎 – lxw的大数据田地
http://lxw1234.com/archives/2016/05/673.htm
Spark On Yarn:提交Spark应用程序到Yarn – lxw的大数据田地
http://lxw1234.com/archives/2015/07/416.htm
在Yarn上运行spark-shell和spark-sql命令行 – lxw的大数据田地
http://lxw1234.com/archives/2015/08/448.htm
SparkSQL On Yarn with Hive,操作和访问Hive表 – lxw的大数据田地
http://lxw1234.com/archives/2015/08/466.htm
前面的文章介绍过如何向Yarn中提交Spark应用程序《Spark On Yarn:提交Spark应用程序到Yarn》,
以及在Yarn上运行spark-shell和spark-sql命令行《在Yarn上运行spark-shell和spark-sql命令行》。
本文将介绍以yarn-cluster模式运行SparkSQL应用程序,访问和操作Hive中的表,这个和在Yarn上运行普通的Spark应用程序有所不同,重点是需要将Hive的依赖包以及配置文件传递到Driver和Executor上,因为在yarn-cluster模式下,Driver和Executor都是由Yarn和分配的。