Hive
数据仓库和传统数据库的区别
数据仓库是相对稳定的，当中的数据不会发生频繁的变化，甚至不发生变化。很多情况下就只读了。当中存储了大量的历史数据。不断增加。
数据库只存储某一时刻的状态。不断变化，不保留历史数据。
Hive
Hive是构建在Hadoop顶层的数据仓库工具，因为Hadoop具有好的水平可扩展性，所以Hive也具有好的水平可扩展性。
Hive本身并不支持数据存储和数据处理，它相当于给用户提供了一种编程语言，让用户通过SQL语言去编写它的分析需求。
Hive是架构在底层的Hadoop核心组件基础之上的，通过HDFS完成数据仓库的存储，通过MapReduce完成数据仓库的分析。
Hive就是借助这两个组件来完成数据的存储和处理。这是和传统数据仓库的区别。
参考SQL语句，设计了新的语句HiveQL。用户通过运行HiveQL语句就可以运行具体的MR任务来完成数据仓库的分析。
Pig面向流式的处理语言，类似于SQL语句，Pig Latin脚本语言。它也是转换成MR。
Pig相对于Hive是一个轻量级的分析工具，它比较适合做实时交互式分析。而不是做大规模海量数据的批处理。所以Pig主要用于数据仓库的ETL环节。Hive主要用于数据仓库海量数据的批处理分析。
Pig可以替代Hive完成ETL。
交互式实时查询分析可以考虑使用HBase。
Hive分钟级响应。
Hive和Pig一般都是用于构建报表中心，为企业提供各种报表服务。报表不需要实时。
Hive使用
首先将hive的bin包上传到linux当中。
使用如下命令解压
解压成功:
cd到解压后的hive目录：
bin/hive就可以启动hive的交互式窗口：
如果启动的时候遇到如下问题：
ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory
参考：https://www.cnblogs.com/tijun/p/7598281.html
注意：Hive是建立在hadoop顶层上的，启动Hive之前一定要启动hadoop！否则启动不了Hive。
使用Hive自带存储元数据的数据库derby有缺陷，在哪个路径启动Hive，就会在哪个路径下建立一个metastore_db。导致不同路径下产生各自的元数据，无法共享。工业界往往不采用这种方式。
推荐使用mysql存储Hive元数据。
MySQL版本的Hive安装
首先要有一个MySQL的数据库：
yum在线安装，使用如下命令：
yum install mysql mysql-server mysql-devel
离线安装使用rpm包。
首次使用使用如下命令启动：
初始化启动
/etc/init.d/mysqld start
再一次敲mysql命令进入mysql
给mysql设置密码，并立即生效：
flush privileges; 刷新权限
这里设置账户名
root密码mysql
退出之后再一次进入mysql，就可以使用用户名密码进入了：
使用如下命令，可以远程访问：
GRANT ALL PRIVILEGES ON *.* TO '用户名'@'%' IDENTIFIED BY '密码' WITH GRANT OPTION;
查看mysql启动情况：
设置每次开机启动mysql:
配置Hive
1. 配置HIVE_HOME环境变量
进入到hive的conf目录下修改hive-env.sh配置文件：
vi hive-env.sh:
修改这里：
修改为：
小技巧，使用which 定位hadoop 的路径：
修改hive-env.sh文件之后保存退出。
2. 配置元数据库信息
地址，账号，密码
和hadoop相同，如果不去配置会有默认的配置：
vi hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>mysql</value>
<description>password to use against metastore database</description>
</property>
</configuration>
放置mysql的连接驱动。
cd lib
将mysql的驱动放置在这个目录下：
Hive的几种启动方式(4种)
启动Hive之前一定要先启动Hadoop，因为Hive是建立在Hadoop之上的。
-
Hive交互shell bin/hive
由于使用了mysql去存储hive的元数据，所以在不同的目录下进入hive都可以看到相同的元数据信息。
这里先是在hive的根目录下运行hive，创建数据库，然后在hive/bin下启动hive，可以看到之前创建的数据库还在。这是和hive自带的derby不同的。
- Hive JDBC服务(参考java jdbc连接mysql)
-
hive启动为一个服务器，来对外提供服务
在bin目录下有一个hiveserver2
启动之后不提示任何信息，光标一直在闪烁：
这个时候node-1上就有了hive这个服务。
在node-3上远程连接：
先要在node-3上要有hive，使其具备hive命令：
bin路径下有一个beeline，这是一个JDBC的客户端。使用它就可以连接一个已经远程启动的hive客户端。
远程连接使用beeline协议。它有自己的格式。
! connect jdbc:hive2://node-1:10000
hive2和hiveserver2对应。hive的端口号是10000。
这里输入的是linux node-1的用户名密码。
连接成功，可以查看到node-1上边Hive的信息。
而且这里显示的结果有了一个格式化的美观展示。
这里也显示出了使用mysql存储hive元数据的好处，不管是在node-2还是node-3等哪个客户端远程访问node-1的hive，都会得到相同的结果。
这是Hive最常用的方式。
- Hive命令
hive -e ‘sql’
bin/hive -e 'select * from t_test'
-e 表示后边是一条语句，这个只能执行一次，执行结束后就会退出Hive，回到linux。
总结：最常用的是1,3两种方式，1适合自己测试，3企业中最常用。
