Hive | Hive 安装详解

2019-02-18 本文已影响238人 Ada54

一、Hive 介绍

二、准备工作

三、Hive下载

四、Hive 安装

五、Hive 启动

一、Hive 介绍

Hive 是构架在 hadoop 之上的数据仓库工具，提供简单的 sql 查询功能，被称为HiveQL 或 HQL，然后将 sql 语句转换为 MapReduce 任务进行运行，来处理结构化数据

优点：

1）操作接口采用类SQL语法，容易上手

2）避免了用 Java 写 MapReduce，降低开发人员的学习成本；通过SQL可轻松访问数据，从而实现数据仓库任务，如提取-转换-加载（ETL），报告和数据分析

3）统一的元数据管理，可与 impala/spark 等共享元数据

4）数据的离线处理，如日志分析，海量结构化数据离线分析

缺点：

1）Hive执行延迟比较高，因此 hive 常用于数据分析的，不适合实时性要求高的场景

2）因为Hive的执行延迟比较高，对于处理小数据没有优势，适合处理大数据

二、准备工作

1. 检查Java JDK 是否安装

输入 java -version

若显示以上信息，则说明有安装；若没有安装，先进行 jdk 的安装

Java JDK 下载和安装过程链接：https://www.jianshu.com/p/cff2b88883e4

2. 检查 Hadoop 是否安装

输入 hadoop version

本人安装了 hadoop 2.2.0，若没有安装hadoop，则安装以下步骤进行 hadoop 的下载和部署：

step1: Linux系统Hadoop下载

step2: Hadoop伪分布式模式部署

3. 检查 Mysql 是否安装

输入 yum list installed | grep mysql

安装Mysql链接：CentOS7系统下 Mysql 的安装

三、Hive下载

1. 官网下载 Hive

Hive官网链接：http://hive.apache.org/downloads.html

step1：在DOWNLOADS下点击 Download a release now! 进入

step2：在 HTTP 下可看到多个下载 Hive 的链接，选择一个进入

step3：点击需要下载的版本，进入

step4：选择 apache-hive-bin.tac.gz 下载到本地

注：

xx-bin.tac.gz 是 class 文件，java 已编译过

xx-src.tac.gz 是 java 文件，是 java源代码

.tac.gz 是 linux 下的安装包

2. 将本地下载的 Hive 安装包上传到 Linux 上

本人是通过 Xshell 的 lrzsz 软件上传文件

step5：Xshell 连接 linux服务器，进入放置该文件的目录

本人将文件上传到 /opt/software 目录下

输入 cd /opt/software 进入到该目录

输入 rz 运行该命令，弹出一个文件选择窗口，则从本地选择文件上传到服务器

上传完毕后，可在指定目录下，看到上传的 hive 安装包

四、Hive 安装

1. 安装Hive

step1：创建存放 hive 目录

进入到本人存放软件的目录 /opt/modules

输入 mkdir hive 创建hive目录

step2：解压 hive 安装包到 hive目录下

输入 tar -zxf /opt/software/apache-hive-1.2.2-bin.tar.gz -C /opt/modules/hive

将存放在 /opt/software/ 目录下的安装包 apache-hive-1.2.2-bin.tar.gz 解压到 /opt/modules/hive 目录下

2. 加载 mysql 驱动包

链接：mysql-connector-java驱动包下载地址

step3：下载 mysql 驱动包后，放入到 hive安装目录的 lib 目录下

输入 cd /hive/apache-hive-1.2.2-bin/lib 进入到 lib 目录

输入 rz 弹出一个文件选择窗口，从本地选择mysql 驱动包上传到服务器

上传完毕后，可在 lib 目录下，看到上传的 mysql-connector-java-5.1.27.jar 包

3. 配置 Hive 环境变量

step4：进入 /etc/profile 文件，配置环境变量

输入：sudo vim /etc/profile 进入到 profile 配置文件

输入 i 键 进入编辑模式

输入 export HIVE_HOME=/opt/modules/hive/apache-hive-1.2.2-bin

export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

/opt/modules/hive/apache-hive-1.2.2-bin 路径是hive安装的目录路径

输入 Esc 键，输入 ：wq 保存并退出

step5：重新执行 profile 文件

输入 source /etc/profile 重新执行 profile 文件使其生效

4. 修改 Hive 的 hive-env.sh 、hive-site.xml 和 hive-log4j.proprties 配置文件

step6：进入到 hive安装目录的 /conf 目录下

问题一：/conf 目录下木有hive-env.sh 、 hive-site.xml 和 hive-log4j.proprties，但是看到 hive-env.sh.template 、 hive-default.xml.template 和 hive-log4j.properties.template 文件

解决方法：可直接复制，并分别重命名为 hive-env.sh 、 hive-site.xml 和 hive-log4j.proprties

输入 cp hive-env.sh.template hive-env.sh

输入 cp hive-default.xml.template hive-site.xml

同上创建 hive-log4j.proprties 文件

step7：修改 hive-env.sh 文件

输入 vim hive-env.sh 编辑 hive-env.sh文件

输入 i 键 进入编辑模式

输入 export JAVA_HOME=/usr/local/java/jdk1.8.0_181

export HADOOP_HOME=/opt/modules/hadoop-2.2.0

export HIVE_HOME=/opt/modules/hive/apache-hive-1.2.2-bin

分别添加你安装的 java jdk 路径、hadoop路径和hive路径

输入 Esc 键，输入 ：wq 保存并退出

输入 source hive-env.sh 重新执行 hive-env.sh 文件使其生效

step8：在修改 hive-site.xml 前，先创建warehouse、tmp、log目录

进入到hive的安装目录下，本文是进入到 /opt/modules/hive/apache-hive-1.2.2-bin

输入 mkdir warehouse 存储表数据

mkdir tmp 存储临时文件

mkdir log 存储日志文件

step9：修改 hive-site.xml 文件

进入到 conf 目录下

输入 vim hive-site.xml 编辑 hive-site.xml 文件

输入 i 键 进入编辑模式

1）首先添加以下信息，配置 mysql 数据库相关内容

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true;characterEncoding=UTF-8

</value>

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>mysql数据库登录密码</value>

<description>password to use against metastore database</description>

</property>