Hive基础知识整理（1）
参考链接：视频教程
慕课网--走进Hive
一、数据仓库
数据仓库是一个面向主题的（有特定需求）、集成的（来自多个源）、不可更新的（只做查询操作）、随时间不变化的数据集合。它用于支持企业或组织的决策分析处理。
1、数据仓库的结构和建立过程：
数据仓库的结构和建立过程
2、OLTP && OLAP
OLTP:联机事务处理过程，面向事物，如银行转账系统
OLAP:联机事物分析，面向查询,如商品推荐系统
3、数据仓库中的数据模型：
星型模型——》雪花模型
星型模型
雪花模型
二、Hive
1、什么是Hive
(1) 建立在Hadoop HDFS上的数据仓库基础架构
(2) 可以用来进行ETL
(3) 定义了类似于SQL,成为HQL
(4) 允许MapReduce自定义
Hive是SQL解析引擎，将SQL——》M/R job
Hive的表其实就是HDFS的目录/文件
2、Hive的体系结构
hive体系结构
Hive的元数据：
Hive元数据
- Hive将元数据存储在数据库中（Metestore）,支持mysql、derby（默认）等
- Hive中的元数据包括表的名字、表的列、分区及其属性、表的属性等。
HQL的执行过程：
HQL执行过程
- 解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询技术（plan）的生成。生成的查询技术存储在HDFS中，并随后有MapReduce调用执行。
3、Hive的安装
Hive依赖于Hadoop的安装
Hadoop的安装：
(1)单机环境
(2)伪分布式环境
(3)集群环境
Hive的安装模式：三种
(1)嵌入模式
- 元数据信息存储在Hive自带的derby数据库中
- 只允许创建一个链接
- 多用于做demo演示
(2)本地模式
- 元数据信息被存储在Mysql数据库中
- Mysql数据库和Hive运行在同一台物理机器上
-多用于开发和测试
(3)远程模式
- Hive和MYsql运行在不同机器上，多用于生产环境
- 允许多个连接
4、Hive的启动方式：
(1) CLI命令行方式
(2) Web界面方式
默认端口号：9999
启动方式：
hive --service hwi &
通过浏览器来访问：http://<ip地址>：9999/hwi/
(3) 远程服务启动方式
端口号：10000
启动方式:
hive --service hwi &
5、Hive的数据类型
（1）基本数据类型
- tinyint/smallint/int/bigint:整数类型
- float/double:浮点数类型
- boolean:布尔类型
- string:字符串类型
（2）复杂数据类型 - Array:数组类型。一系列相同数据类型的元素
- Map :key-value键值对
- struct:结构类型：可以包含不同数据类型的元素
（3）时间类型 - Date 格式如YYYY-MM-DD
- TimeStamp 为自1970年起秒数
注:在Hive中两者相互转换的函数：cast()
6、Hive的数据存储
(1)基于HDFS
(2)没有专门的数据存储格式
(3)存储结构主要包括：数据库、文件、表、试图
(4)可以直接加载文本文件(.txt)
(5)创建表时，可以指定Hive的列分隔符与行分隔符（默认无分隔符）
7、Hive的数据模型
(1)内部表（table）
- 与数据库中的table概念是类似的
- 每一个Table在Hive中都有一个相应的目录存储数据
- 所有的Table(不包括Txternal Tale)都保存在这个目录中
- 删除表时，元数据与数据都会被删除
例:
Create table T1
(Tid int,tname string,age int)
Create table T2
(Tid int,tname string,age int)
Location ‘/mytable/hive/t2’
--指定表存储位置
Create table T3
(Tid int,tname string,age int)
Row format delimited fields terminated by ‘,’
--指定行的分隔符是逗号
Create table T4
as
select * from sample_data
--创建表的同时创建数据，用查询语句创建数据，t4表内容与结构与表sample_data相同
Create table T5
Row format delimited fields terminated by ‘,’
as
select * from sample_data
Alter table T1 add columns(English int)
--T1表加了一列,改变表的结构
(2)分区表
- partition对应于数据库的Partion列的密集索引
-
在Hive中，表中的一个Partition对应于表下的一个目录，所有的partition的数据都存储在对应的目录中。
分区表示意
例:
Create table Partion_table
(sid int,sname,string)
Partition by (gender string)
Row format delimited fields terminated by ‘,’
---创建分区表
Insert into table partition_table partition(gender=’F’)
Select sid,sname from sample_data where gender=’F’
分区表作用:在查询操作时，降低扫描次数，提高查询效率
如何知道查询效率提高,生成执行计划
explain select * from T where gender=‘M’
（3）外部表(extennal table)
-
执行已经在HDFS中存储的数据，可以创建Partition
-
他和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异
-
外部表只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个外部表时，仅仅删除该链接。
外部表示意
例：
Create external table external_student
(Tid int,tname string,age int)
Row format delimited fields terminated by ‘,’
Location ‘/input’
(4) 桶表(Bucket table)
- 桶表是对数据进行哈希取值，然后放到不同文件中存储。（把数据打散进行存储，避免造成”热块“）
桶表示意
Create table bucket_table
(Tid int,tname string,age int)
clusterd by(sname) into ５ buckets；
--根据sname字段进行哈希运算，放入５个桶中
(5) 视图（view）
- 是一个虚表，是一个逻辑概念
- 建立在已有表的基础上，试图赖以建立的这些表成为基表
- 视图可以简化复杂的查询
Create View empinfo
as
select e.emptno,e.ename,e.sale,e.sale*12 annlsal d.dname
from emp e,dept d
where e.deptno=d.deptno
其他知识点：
静默模式：不显示map/reduce过程
命令行:
hive -S
