Hive安装配置指南（含Hive Metastore三种方式详解

本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填好各种坑，安装配置成功，遂记录下本文，供大家参考。

1. 相关概念

Hive Metastore有三种配置方式，分别是：

1. Embedded Metastore Database (Derby) 内嵌模式
2. Local Metastore Server 本地元存储
3. Remote Metastore Server 远程元存储

1.1 Metadata、Metastore作用

• metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。
  元数据存储在关系型数据库中。如Derby、MySQL等。

• Metastore的作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。

1.2 三种配置方式区别

• 内嵌模式使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来实验，不适用于生产环境。

• 本地元存储和远程元存储都采用外部数据库来存储元数据，目前支持的数据库有：MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。

• 本地元存储和远程元存储的区别是：本地元存储不需要单独起metastore服务，用的是跟hive在同一个进程里的metastore服务。远程元存储需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。远程元存储的metastore服务和hive运行在不同的进程里。

在生产环境中，建议用远程元存储来配置Hive Metastore。

2. 集群规划

本教程Hadoop相关软件全部基于CDH5.5.1，用yum安装，系统环境如下：

• 操作系统：CentOS 7.2
• Hadoop 2.6.0
• Hive1.1.0
• Spark1.5.0
• MySQL 5.6
• JDK 1.8
• Maven 3.3.3
• Scala 2.10

各节点规划如下：

192.168.117.51     Goblin01           nn1  jn1  rm1  worker  master  hive  metastore  mysql
192.168.117.52     Goblin02    zk2    nn2  jn2  rm2  worker          hive  metastore
192.168.117.53     Goblin03    zk3    dn1  jn3       worker          hive
192.168.117.54     Goblin04    zk4    dn2            worker          hive

说明：Goblin01~04是每台机器的hostname，zk代表zookeeper，nn代表hadoop的namenode，dn代表datanode，jn代表journalnode，rm代表resourcemanager，worker代表Spark的slaves，master代表Spark的master

如果不需要Hive on Spark，只需要Hive on MR，则不需要安装Spark、Maven和Scala。

我们把metastore服务和MySQL都装在51上（装在哪一台都可以），51-54都安装Hive，这样多个客户端可以同时执行Hive命令。

在执行以下步骤之前，请确保已经安装了Hadoop集群

3. 安装MySQL

• 下载mysql的repo源

$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

• 安装mysql-community-release-el7-5.noarch.rpm包

$ sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm

安装这个包后，会获得两个mysql的yum repo源：/etc/yum.repos.d/mysql-community.repo，/etc/yum.repos.d/mysql-community-source.repo。

• 安装mysql

$ sudo yum install mysql-server

4. 配置MySQL和metastore

• metastore

安装metastore

yum install hive-metastore

启动metastore服务

service hive-metastore start

• MySQL

Step 1: Install and start MySQL if you have not
already done so

$ sudo yum install mysql-server
$ sudo service mysqld start

Step 2: Configure the MySQL Service and Connector

因为使用MySQL作为存储元数据的数据库，所以需要把连接MySQL的jar包放入或链接到$HIVE_HOME/lib目录下。

$ sudo yum install mysql-connector-java
$ ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar

To set the MySQL root password:

$ sudo /usr/bin/mysql_secure_installation
[...]
Enter current password for root (enter for none):
OK, successfully used password, moving on...
[...]
Set root password? [Y/n] y
New password:
Re-enter new password:
Remove anonymous users? [Y/n] Y
[...]
Disallow root login remotely? [Y/n] N
[...]
Remove test database and access to it [Y/n] Y
[...]
Reload privilege tables now? [Y/n] Y
All done!

To make sure the MySQL server starts at boot:

$ sudo /sbin/chkconfig mysqld on
$ sudo /sbin/chkconfig --list mysqld
mysqld          0:off   1:off   2:on    3:on    4:on    5:on    6:off

Step 3. Create the Database and User

$ mysql -u root -p
Enter password:
mysql> CREATE DATABASE metastore;
mysql> USE metastore;
mysql> SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.12.0.mysql.sql;

mysql> CREATE USER 'hive'@'metastorehost' IDENTIFIED BY 'mypassword';
...
mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'metastorehost';
mysql> GRANT ALL ON metastore.* TO 'hive'@'metastorehost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
mysql> FLUSH PRIVILEGES;
mysql> ALTER DATABASE metastore CHARACTER SET latin1;
mysql> quit;

5. Hive配置

5.1 HDFS存储位置配置

以下创建hdfs目录并赋予权限的语句必须执行，否则接下来执行./schematool --dbType mysql --initSchema来格式化数据库的时候会出错

hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod 777 /usr/hive/warehouse
hdfs dfs -chmod 777 /usr/hive/tmp
hdfs dfs -chmod 777 /usr/hive/log

上述语句涉及hive-site.xml hive.metastore.warehouse.dir等，表示数据在hdfs中的存储位置

5.2 hive-env.sh (所有节点）

export HADOOP_HOME=/usr/lib/hadoop
export HIVE_CONF_DIR=/usr/lib/hive/conf

5.3 hive-log4j.properties（所有节点）

首先创建log存放的文件夹

mkdir /usr/lib/hive/logs

然后配置hive-log4j.properties

hive.log.dir=/usr/lib/hive/logs

5.4 服务端hive-site.xml

服务端指的是Metastore服务所在的机器，即安装metastore的机器，这里是51和52。

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://Goblin01:3306/metastore?createDatabaseIfNotExist=true</value>
  <description>the URL of the MySQL database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>

<property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/usr/hive/warehouse</value>
</property>

<property>
<name>hive.exec.scratchdir</name>
<value>/usr/hive/tmp</value>
</property>

<property>
<name>hive.querylog.location</name>
<value>/usr/hive/log</value>
</property>

5.5 客户端hive-site.xml

这里指的是53和54。

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://Goblin01:9083,Goblin02:9083</value>
  <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
</property>

<property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/usr/hive/warehouse</value>
</property>

<property>
 <name>hive.exec.scratchdir</name>
 <value>/usr/hive/tmp</value>
</property>

<property>
 <name>hive.querylog.location</name>
 <value>/usr/hive/log</value>
</property>

6. 启动Hive

1.启动MySQL

$ service mysqld start

2.格式化数据库（这步必须要做，否则无法起hive）

$ cd /usr/lib/hive/bin
$ ./schematool --dbType mysql --initSchema

执行这步的时候可能会出各种各样的错，详情见后面。

3.启动metastore服务

$ service hive-metastore start

4.启动Hive CLI

因为在4台机器上都安装了hive，并且作了相关的配置，所有四台机器均可以启动Hive CLI（Hive交互式shell）

$ hive

7.报错及解决

7.1
运行：./schematool --dbType mysql --initSchema

报错：Duplicate key name 'PCS_STATS_IDX'....

解决：进入MySQL,删掉metastore数据库再重新创建metastore数据库即可

7.2
运行：service hive-metastore start

报错：Caused by:...unkown column 'OWNER_TYPE' in 'field list'

原因：未运行schematool

解决：运行./schematool --dbType mysql --initSchema

7.3
运行：hive(起Hive CLI）

报错：

hive启动.png

原因：服务端的metastore server没有起

解决：启动服务端的metastore server：service hive-metastore start

8. 参考资料

• https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin#AdminManualMetastoreAdmin-RemoteMetastoreDatabase

• http://www.cloudera.com/documentation/archive/cdh/4-x/4-2-0/CDH4-Installation-Guide/cdh4ig_topic_18_4.html

可进入我的博客查看原文

微信公众号:FullStackPlan

扫一扫可以关注微信公众号哦~