Hive on Spark配置以及数仓开发环境
1 Hive on Spark配置
（1）兼容性说明
注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。
编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包。
（2）在Hive所在节点部署Spark
如果之前已经部署了Spark，则该步骤可以跳过
- Spark官网下载jar包地址：
http://spark.apache.org/downloads.html
- 上传并解压解压spark-3.0.0-bin-hadoop3.2.tgz
[yobhel@hadoop101 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
[yobhel@hadoop101 software]$ mv /opt/module/spark-3.0.0-bin-hadoop3.2 /opt/module/spark
（3）配置SPARK_HOME环境变量
[yobhel@hadoop101 software]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
source 使其生效
[yobhel@hadoop101 software]$ source /etc/profile.d/my_env.sh
（4）在hive中创建spark配置文件
[yobhel@hadoop101 software]$ vim /opt/module/hive/conf/spark-defaults.conf
添加如下内容（在执行任务时，会根据如下参数执行）
spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop101:8020/spark-history
spark.executor.memory 1g
spark.driver.memory 1g
在HDFS创建如下路径，用于存储历史日志
[yobhel@hadoop101 software]$ hadoop fs -mkdir /spark-history
（5）向HDFS上传Spark纯净版jar包
-
说明1：由于Spark3.0.0非纯净版默认支持的是hive2.3.7版本，直接使用会和安装的Hive3.1.2出现兼容性问题。所以采用Spark纯净版jar包，不包含hadoop和hive相关依赖，避免冲突。
-
说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径，这样集群中任何一个节点都能获取到。
1上传并解压spark-3.0.0-bin-without-hadoop.tgz
[yobhel@hadoop101 software]$ tar -zxvf /opt/software/spark-3.0.0-bin-without-hadoop.tgz
2上传Spark纯净版jar包到HDFS
[yobhel@hadoop101 software]$ hadoop fs -mkdir /spark-jars
[yobhel@hadoop101 software]$ hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars
（6）修改hive-site.xml文件
[yobhel@hadoop101 ~]$ vim /opt/module/hive/conf/hive-site.xml
添加如下内容
<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->
<property>
<name>spark.yarn.jars</name>
<value>hdfs://hadoop101:8020/spark-jars/*</value>
</property>
<!--Hive执行引擎-->
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
3）Hive on Spark测试
（1）启动hive客户端
[yobhel@hadoop101 hive]$ hive
（2）创建一张测试表
hive (default)> create table student(id int, name string);
（3）通过insert测试效果
hive (default)> insert into table student values(1,'abc');
若结果如下，则说明配置成功
image.png
2 .数据仓库开发环境
数仓开发工具可选用DBeaver或者DataGrip。两者都需要用到JDBC协议连接到Hive，故需要启动HiveServer2。
1）启动HiveServer2
[yobhel@hadoop101 hive]$ hiveserver2
2）配置DataGrip连接
（1）创建连接
image.png
（2）配置连接属性
所有属性配置，和Hive的beeline客户端配置一致即可。初次使用，配置过程会提示缺少JDBC驱动，按照提示下载即可。
image.png
3）测试使用
创建数据库gmall，并观察是否创建成功。
（1）创建数据库
image.png
（2）查看数据库
image.png
（3）修改连接，指明连接数据库
image.png
（4）选择当前数据库为edu2077
image.png
3.Hive 常见问题及解决方式
1）DataGrip 中注释乱码问题
注释属于元数据的一部分，同样存储在mysql的metastore库中，如果metastore库的字符集不支持中文，就会导致中文显示乱码。
不建议修改Hive元数据库的编码，此处我们在metastore中找存储注释的表，找到表中存储注释的字段，只改对应表对应字段的编码。
如下两步修改，缺一不可
（1）修改mysql元数据库
我们用到的注释有两种：字段注释和整张表的注释。
COLUMNS_V2 表中的 COMMENT 字段存储了 Hive 表所有字段的注释，TABLE_PARAMS 表中的 PARAM_VALUE 字段存储了所有表的注释。我们可以通过命令修改字段编码，也可以用 DataGrip 或 Navicat 等工具修改，此处仅对 Navicat 进行展示。
（i）命令修改
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE mediumtext character set utf8;
（ii）使用工具
以 COLUMNS_V2 表中COMMENT 字段的修改为例
a）右键点击表名，选择设计表
image.png
b）在右侧页面中选中表的字段
image.png
c）在页面下方下拉列表中将字符集改为 utf8
image.png
修改字符集之后，已存在的中文注释能否正确显示？不能。为何？
数据库中的字符都是通过编码存储的，写入时编码，读取时解码。修改字段编码并不会改变此前数据的编码方式，依然为默认的 latin1，此时读取之前的中文注释会用 utf8 解码，编解码方式不一致，依然乱码。
（2）修改url连接
修改 hive-site.xml 在末尾添加
&useUnicode=true&characterEncoding=UTF-8
xml 文件中 & 符是有特殊含义的，我们必须使用转义的方式 & 对 & 进行替换
修改结果如下
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop101:3306/metastore?useSSL=false&useUnicode=true&characterEncoding=UTF-8
</value>
</property>
只要修改了 hive-site.xml，就必须重启 hiveserver2。
2）DataGrip 刷新连接时 hiveserver2 后台报错
（1）报错信息如下
FAILED: ParseException line 1:5 cannot recognize input near 'show' 'indexes' 'on' in ddl statement
原因：我们使用的是 Hive-3.1.2，早期版本的 Hive 有索引功能，当前版本已移除， DataGrip 刷新连接时会扫描索引，而 Hive 没有，就会报错。
3）OOM 报错
Hive 默认堆内存只有 256M，如果 hiveserver2 后台频繁出现 OutOfMemoryError，可以调大堆内存。
在 Hive 家目录的 conf 目录下复制一份模板文件 hive-env.sh.template
[yobhel@hadoop conf]$ cd $HIVE_HOME/conf
[yobhel@hadoop101 conf]$ cp hive-env.sh.template hive-env.sh
修改 hive-env.sh，将 Hive 堆内存改为 1024M，如下
export HADOOP_HEAPSIZE=1024
可根据实际使用情况适当调整堆内存。
4）DataGrip ODS 层部分表字段显示异常
建表字段中有如下语句的表字段无法显示
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
上述语句指定了 Hive 表的序列化器和反序列化器 SERDE（serialization 和 deserialization 的合并缩写），用于解析 JSON 格式的文件。上述 SERDE 是由第三方提供的，在 hive-site.xml 中添加如下配置即可解决
<property>
<name>metastore.storage.schema.reader.impl</name>
<value>org.apache.hadoop.hive.metastore.SerDeStorageSchemaReader</value>
</property>
