在idea里使用spark远程操作hive

2021-09-04 本文已影响0人程序媛啊

1、将配置文件hive-site.xml复制到工程的resources下面
2、pom里添加spark-hive依赖

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.11</artifactId>
      <version>2.3.2</version>
</dependency>

3、在使用SparkSQL的时候需要创建一个SparkSession这样的入口点，而这个入口点是需要支持hive操作的

SparkSession ss = SparkSession.builder().master("local[2]").appName("the test of SparkSession").enableHiveSupport().getOrCreate()