大数据学习之Hive入门
Hive是基于Hadoop HDFS之上的数据仓库
**数据仓库：本质上就是一个数据库。但有别于我们通常意义上的数据库 **
数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业或组织的决策分析处理。
- 面向主题：主题是指用户使用数据仓库时关心的重点内容。
- 集成的：数据仓库可将不同类型数据库管理系统中的数据集成起来保存。
- 不可更新的：数据仓库一般只做数据查询，不做更新、删除等操作。
数据仓库的结构和建立过程：
数据源（可能来源于业务数据库系统、文档资料和其他数据）——>数据存储及管理（ETL：抽取（Extract）、转换（Transform）、装载（Load））——>数据仓库引擎（不同的服务器提供有不同的功能）——>前端展示（数据查询、数据报表、数据分析、各类应用来自不同的服务器）
抽取Extract：提取不同数据源的数据
转化Transform：转化格式，不同数据源的数据格式可能不一致
装载Load：将满足数据格式的数据装载到数据仓库
OLTP应用：联机事务处理，面向事物，银行转账，扣钱和加钱的动作应该同时完成，不能只有扣钱没有加钱，或者只有加钱，没有扣钱操作频率高，典型应用-银行转账
OLAP应用：联机分析处理，典型应用-商品推荐系统 ，一般只做查询，不做更新插入操作
数据仓库的数据模型：星型模型和雪花模型
以商品信息为核心构建的星型模型
什么是Hive
Hive是建立在Hadoop HDFS上的数据仓库基础架构。而传统的Oracle或MySQL数据仓库是直接建立在Oracle或MySQL数据库之上的。
②Hive可以用来进行数据提取、转化、加载（ETL）。
③Hive定义了简单的类似SQL查询语言，称为HQL它允许熟悉SQL的用户查询数据。
④Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理內建mapper和reducer无法完成的复杂的分析工作。
⑤Hive是SQL解析引擎，它将SQL语句转化成Map、Reduce Job 然后在Hadoop执行
⑥Hive的表其实就是HDFS的目录/文件。
Hive的体系结构
Hive的体系结构之元数据
Hive讲元数据存储在数据库中（metastore），支持mysql、derby、oracle等传统数据库，默认为derby。
Hive中元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在的目录等。
元数据被默认创建在derby数据库中，以表的形式保存数据。表的元信息、列元信息。
Hive的体系结构之HQL的执行过程
①解析器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划（plan）的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。
过程：HQL语句——》解析器：词法分析——》编译器：生成HQL的执行计划——》优化器：生成最优执行计划——》执行。
②在oracle数据库中：
执行计划
explanin plan for select * from emp where deptno=10；
查询执行计划
select * from table(dbms_xplan.display)；
全表扫描
创建索引
create index myindex on emp(deptno)
Hive的执行计划跟上面的oracle的执行计划类似。
Hive体系结构
•hadoop
–用HDFS进行存储，利用mapreduce进行计算。
•元数据存储（metastroe）
–通常存储在关系数据库中，如mysql，derby。
Hive Driver：驱动，包括编译器、解析器、优化器。
访问接口：①CLI：Command Line Interface；②通过JDBC/ODBC连接Thrift Server在连接驱动；③Web Console 控制台（只能查询）
Hive的安装
Hive的安装模式
①Apache的hive官网：hive.apache.org中下载hive.
bin.tar包为安装包
src.tar为源代码，可用来编译hive的可执行程序，通过源文件生成打包生成基于web的图形化管理工具，再部署到hive中，才可使用该图形化管理工具。
Hive的源码中集成有WEB UI管理工具, 需要自行编译发布到Hive环境中. 注意Hive的安装包中并不会集成WEB UI
②安装hive之前要先安装hadoop，hadoop可以是单机环境、伪分布环境和集群环境中的一种。
Hive的安装有三种模式：嵌入模式、本地模式和远程模式。
1. 嵌入模式： 即使用Hive自带的Derby数据库, 将元数据及其信息存储在Derby数据库上面, 但有个缺点, Derby在同一时间只能接受一个连接（即只能允许一个人对hive进行操作）, 故一般用作演示
2. 本地模式: 将元数据存储到同一机器中的MySQL数据库当中, 此模式一般用于开发与测试
3. 远程模式: 即是本地模式的升级版, 可将Hive的元数据存储到其它环境（可以是不同操作系统）机器上的MySQL当中.
Hive安装之嵌入模式
只需要解压Hive安装包, 然后直接执行bin目录的hive脚本（执行./hive命令）, 便会自动创建一个metastore_db目录来保存元数据. 注意: 这个metastore_db目录是自动创建在执行hive时的当前目录下面, 即在嵌入模式中任意一个目录下执行hive都会创建此目录.
将hive的目录加到系统的path路径下，这样就可以在任何地方使用hive命令了
vim ~/.bashrc
命令讲解：
quit; #退出hive命令行
Hive安装之远程模式和本地模式
远程配置HIVE；命名hive-site.xml，要配置mysql的url、驱动、用户名、密码。
Hive远程模型安装(与Hive本地模类似)
- 安装MYSQL在一台独立机子上（Windows上）
- 安装Hive在另一台独立机子上（Linux上）
本地先在mysql中创建一个hive数据库，用于保存hive的元数据信息
上传mysql的驱动包到hive的lib目录下
在conf目录下配置hive-site.xml文件（这个文件不存在）：
可以根据模文件:hive-default.xml.template 创建
参考官网文档：
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin#AdminManualMetastoreAdmin-RemoteMetastoreDatabase
最后执行hive命令，则元数据的信息就会保存到mysql数据库的hive数据库中了
Hive的管理
Hive管理之CLI方式
hive中的数据对应与hadoop hdfs中的一个文件夹
进入CLI（命令行）方式：
① 直接输入#/bin/hive的执行程序（配置好环境变量后可以直接执行hive命令）
②或者输入#hive --service cli
退出CLI方式：
① quit;
② exit;
常用的CLI的命令：
① 清屏： Ctrl + L 或者 !clear
② 查看数据仓库中的表： show tables;
③ 查看数据仓库中内置的函数： show functions;
④ 查看表的结构： desc 表名
⑤ 查看HDFS上的文件： dfs –ls 目录
dfs –lsr 目录 （-lsr表示以递归的方式查看子目录）
⑥ 执行操作系统的命令（如Linux命令）： ! 命令
⑦ 执行HQL语句： 例如select * from **，这个HQL语句不会产生MapReduce作业
上面这个url地址可以直接查看MapReduce的执行过程
⑧ 执行SQL的脚本： source SQL文件，如：source /root/my.sql
⑨ 命令“hive –S（大写S）”: 进入静默模式：不产生hive的调试信息(mapreduce过程)，只显示最后的结果。
⑩ hive –e ’HQL语句’ : 不进入hive命令行直接执行HQL.
注意：hive中用--表示注释，如show tables --查看表;
Hive管理之web界面方式
web界面只能进行查询的操作
启动web界面方式：
-端口号：9999
-启动方式：#hive --service hwi &
-通过浏览器来访问：http://<ip地址>:9999/hwi/
解决：下载hive的源代码包，解压
进入源码包的hwi目录下，里面有个web目录
打包war包：
jar cvfM0 hive-hwi-0.13.0.war -C web/ .
把web目录下的所有文件打包成hive-hwi-0.13.0.war包，然后就可以对这个war包进行部署
然后将这个war包拷贝到hive的lib目录下
修改conf目录下的hive-site.xml文件
<name>hive.hwi.listen.host</name>
<value>0.0.0.0</value>
<name>hivehwi.listen.port</name>
<value>9999</value>
<name>hive.hwi.war.file</name>
<value>lib/hive-hwi-0.13.0.war</value>
拷贝jdk的lib目录下的tools.jar到hive的lib目录下：
cp jdk/lib/tools.jar hive/lib/
Hive管理之远程模式
远程服务启动方式：
-端口号：10000
-启动方式：#hive --service hiveserver &
即启动了Hive Thrift Server
注意：如果以JDBC或ODBC的程序登录到hive中操作数据时，必须选用远程服务启动方式。
Hive的数据类型
基本数据类型
- tinyint/smallint/int/bigint : 整数类型
- float/double : 浮点数类型
- boolean : 布尔类型
- string : 字符串类型
复杂数据类型
- Array : 数组类型，由一系列相同数据类型的元素组成。
- Map : 集合类型，包含key-value键值对，可以通过key来访问元素。Array与map可以嵌套，比如array
creat table student
(sid int, sname string, grade array<float>);
{1,Tom,[80,90,75]}
creat table student1
(sid int, sname string, grade map<string, float>);
{1,Tom,<'语文'，85>}
array和map的嵌套使用
creat table student2
(sid int, sname string, grades array<map<string,float>>);
{1,Tom, [<'语文'，80>，<'英语'，90>]}
Struct：结构类型，可以包含不同数据类型的元素。这些元素可以通过“点语法”的方式来得到所需要的元素。
creat table student3
(sid int, info struct<name:string, age:int, sex:string>);
{1,{'Tom',10,'男'}}
时间数据类型
时间类型：
- Data : 从hive0.12.0开始支持。
- Timestamp : 从hive0.8.0开始支持。
Timestamp 时间戳 自UNIX产生以来的一个偏移量，是一个整型数据
Data与Timestamp的区别：Data类型描述的是一个特定的日期（不包含时间，即精确到日）：YYYY-MM-DD。而Timestamp是相对于linux基准时间的偏移量，其实就是一个长整型数值，例如要获取系统当前的时间戳可以在Hive命令行模式下执行：select unix_timestamp();。 这两者可以转换。
Hive的数据存储
当我们在Hive中创建了一张表，就相当于在HDFS中创建了一个文件夹，而表中的数据就相当于文件夹中的文件。
基于HDFS
没有专门的数据存储格式，可以用.txt、.csv，默认情况下可以用’\t’作为分隔符
存储结构主要包括：数据库、文件、表、视图。
可以直接加载文本文件（.txt文件等）
创建表时，制定hive数据的列分隔符与行分隔符
表：
- Table 内部表
- Partition 分区表
- External table 外部表
- Bucket table 桶表
视图
内部表
内部表（Table）
- 与数据库中的table 在概念上是类似的。
- 每一个table在hive中都有一个相应的目录存储数据（HDFS的一个目录）。
- 所有的table数据（不包括external table）都保存在这个目录中。
- 删除表时，元数据和数据都会被删除。
如果没指定保存的位置，则默认保存在user/hive/warehouse中
creat table student
(sid int, sname string, age int)
location '/mytable/hive/student';//可以指定报存的位置
指定行分隔符：row format delimited fileds terminated by ‘,’;
creat table student
(sid int, sname string, age int)
location '/mytable/hive/student';
row formats delimited fields terminated by ',';
修改表添加新的一列：alter table t1 add columns(列名 数据类型);
删除表时：如果开启了Hadoop的回收站功能，则drop表后会放在.trash，也就是说可以通过一定方式找回删除的表。
分区表
创建一个partition表
creat table partition_table
(sid int, sname string)
partitioned by (gender string)
row format delimited fields terminated by ',';
向partition表中添加数据
insert into partition_table partition(gender='M') select sid,sname from sample_data where gender='M';
分区表（Partition）
- Partition对应于数据库的Partition列的密集索引。
- 在hive中，表中的一个Partition对应于表下的一个目录，所有的Partition的数据都存储在对应的目录中。
作用：降低扫描的记录数，提高查询效率。当数据量很大的时候，我们就很需要创建分区。
查看分区与未分区情况下执行计划有何不同:
(执行计划读取的顺序是，从下往上，从右往左)
explain select * from from sample_data where gender = 'M'; //未分区
explain select * from from partition_table where gender = 'M'; //分区
可以通过explain语句查看HQL的执行计划，读执行计划STAGE PLANS的方式：从下往上，从右往左读。
Oracle中也有分区表，五种分区表。
外部表
外部表（external table）
- 指向已经在HDFS中存在的数据，可以创建Partition。
- 它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异
- 外部表只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个外部表时，仅仅删除该链接。
桶表
桶表（bucket table）
- 桶表是对数据进行哈希取值，然后放到不同文件中存储。
作用：减低系统热块，提高查询效率。
create table bucket_table
(id int,name string)
clustered by(name) into 3 buckets //按name进行哈希，哈希到3个表中
row format delimited
fields terminated by ‘\t’;
//clustered要在row的前面，否则报错。
视图
视图（view）
- 视图是一种虚表（不存数据），是一个逻辑概念；可以跨越多张表。
- 首先视图是一张表，操作视图和操作表的方式是一样的。
- 视图建立在已有表的基础上，视图赖以建立的这些表称为基表。
- 视图可以简化复杂的查询。
- hive的视图不存储数据的，oracle和mysql中的视图可以存储数据，称为物化视图.
例如：查询员工信息：员工号，姓名，月薪，年薪，部门名称。（需要主外键关联员工表和部门表）
create view empinfo
as
select e.empno, e.ename, e.sal, e.sal*12 annlsal, d.dname
from emp e, dept d
where e.deptno = d.deptno;
