hive安装与配置
hive安装与配置
准备工作
- 下载jdk8 jdk安装配置略过
- 下载hadoop 略过
- 下载hive 下载对应的发行版本即可
无论是准备安装2.X版本，或者3.X版本的hive，均建议使用jdk8，hive的版本要与hadoop版本对应.官网上会有介绍,注意查看。
url: hive官网下载
注意对照红色标注部分
安装与配置
解压tar包后,将hive-x-x重命名成hive,进行配置工作
环境变量
vim ~/.bash_profile
新增如下，目录请自行调整
# Hive
export HIVE_HOME=/usr/xxx/hive
export PATH=$PATH:$HIVE_HOME/bin
刷新环境变量
source ~/.bash_profile
hive配置
进入$HIVE_HOME/conf目录，从自带的.template文件中复制或者新建两个文件
- hive-env.sh
- hive-site.xml
hive-env.sh内容如下，路径自行调整
export HADOOP_HEAPSIZE=2048
export HADOOP_HOME=/usr/hive/hadoop
export HIVE_CONF_DIR=/usr/hive/conf
export HIVE_AUX_JARS_PATH=/usr/hive/lib
hive-site.xml内容如下，路径同
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--如果使用mysql数据库做元数据库需要配置-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!--关闭验证-->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<!--设置hdfs上的存储路径 /hive是hdfs的上的路径 不是系统路径-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive</value>
</property>
<!--如果要开启远程连接配置如下-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://127.0.0.1:9083</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>127.0.0.1</value>
</property>
<!--如果要开启web管理界面配置如下-->
<property>
<name>hive.server2.webui.host</name>
<value>127.0.0.1</value>
</property>
<property>
<name>hive.server2.webui.port</name>
<value>10002</value>
</property>
<!--不开启严格模式-->
<property>
<name>hive.exec.dynamic.partition.mode</name>
<value>nonstrict</value>
</property>
</configuration>
初始化元数据库
元数据库是用来记录hive分区等等信息的数据库，一般使用关系型数据库来存储，hive自带了derby，当然也可以使用mysql来弄
derby
$HIVE_HOME/bin/schematool -initSchema -dbType derby
自带的derby用起来很不可描述，迟早你还是会回归mysql的怀抱。
mysql
先把mysql的jar包弄到hive的lib目录. 懵懂小白不知道去哪找jar包?点我!
cp mysql-connector-java-5.1.38.jar /usr/hive/lib/
再登陆到mysql上,创建hive库
mysql -u root -h 192.168.1.1 -p
create database hive;
exit;
最后初始化mysql
$HIVE_HOME/bin/schematool -dbType mysql -initSchema
登陆到mysql上查看结果,如图:
元数据库
hadoop配置
创建hive的写入目录
hdfs dfs -mkdir /hive
hdfs dfs -chmod 777 /hive
修改hadoop的core-site.xml,配置写入用户,新增内容如下
<property>
<name>hadoop.proxyuser.zhangsheng.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.zhangsheng.groups</name>
<value>*</value>
</property>
将zhangsheng替换成你的用户名
hive日志配置
注意:hive2.x版本配置hive-log4j.properties文件，hive3.x版本配置hive-log4j2.properties文件
由于每个人习惯不同，所以此处仅贴出我个人修改部分以供参考
hive-log4j.properties
只修改了如下4个属性
hive.log.threshold=ALL
hive.root.logger=DEBUG,DRFA
hive.log.dir=/usr/logs/hive
hive.log.file=hive.log
hive-log4j2.properties
基本同上
property.hive.log.level = DEBUG
property.hive.log.dir = /usr/logs/hive
property.hive.log.file = hive.log
启动
先启动hadoop,然后命令行输出hive直接启动hive,启动成功后输出set;回车查看配置,如下:
set
开启远程访问
${HIVE_HOME}/bin/hive --service metastore >>/dev/null 2>&1 &
${HIVE_HOME}/bin/hive --service hiveserver2 >>/dev/null 2>&1 &
远程连接,端口位10000，可以使用datagrip或者其他支持hive的数据库工具，也可以使用beeline
jdbc:hive2://127.0.0.1:10000
如果展示datagrip访问
1
!22
webui访问http://127.0.0.1:10002/,第一次会很慢，稍微等待会
web
常见错误
Exception in thread "main" java.lang.NoSuchMethodError: 'void com.google.common.base.Preconditions.checkArgument(boolean, java.lang.String, java.lang.Object)'
hadoop中的guava包版本比hive的高
/Users/zhangsheng/cdh/hadoop/share/hadoop/yarn/csi/lib/guava-20.0.jar
/Users/zhangsheng/cdh/hive/lib/guava-19.0.jar
/Users/zhangsheng/cdh/spark/jars/guava-14.0.1.jar
删除hive的低版本包,复制hadoop的高版本包过来
class jdk.internal.loader.ClassLoaders$AppClassLoader cannot be cast to class java.net.URLClassLoader
安装jdk8,不要使用高版本
