Hive Partitioning
Hive 分区是一项特别强大的功能，通过分区可以将一个表划分为更多的 pieces（实际上一个分区物理上对应 HDFS 一个目录），从而可以以更细的粒度对数据进行管理和访问。
分区的优点如下：
- 分区也有助于查询性能的提升，我们可以直接查询某个分区的数据，避免了对表中的全量数据进行扫描。
- 借助分区，可以减少诸如 mapper 的数量，I/O 操作等系统资源。
分区的种类
分区可以进一步分为 静态分区 和 动态分区。
分区表的创建语法：
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS]
[db_name.]table_name
[(col_name data_type [column_constraint_specification] [COMMENT col_comment],
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)];
静态分区
静态分区需要明确指定向哪个分区写入。静态分区是可以 alter 的。
使用静态分区特性需要在 hive-site.xml 中设置属性 hive. mapred.mode = strict。
通过以下例子感受一下静态分区。
- 创建表
CREATE TABLE user_data (
user_id INT,
user_name string,
site_data string
) PARTITIONED BY (
date_dt string,
country string
);
create-table.png
- 插入数据
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-29', country='US') VALUES(201, 'Wick', 'Google');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-20', country='UK') VALUES(202, 'John', 'Facebook');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-20', country='UK') VALUES(203, 'Partick', 'Instagram');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-29', country='UK') VALUES(204, 'Hema', 'Google');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-28', country='INDIA') VALUES(205, 'Holi', 'Facebook');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-20', country='RUSSIA') VALUES(206, 'Michael', 'Insatgram');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-20', country='RUSSIA') VALUES(207, 'Chung', 'Instagram');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-22', country='NEPAL') VALUES(208, 'Anna', 'Instagram');
show-partitions.png
默认情况下，表会创建在 HDFS 的 /user/hive/warehouse 路径（本例指定创建位置为 /user/spark/spark-sql-warehouse）。
由于我们的分区列为 date_dt 和 country 两列，相应的，可以在 HDFS 看到 user_data 的数据为以 date_dt 的取值作为第一级目录，country 的取值作为第二级目录进行存储。
hdfs-ls-1.png
hdfs-ls-2.png
动态分区
动态分区可以自动识别分区，不需要明确指定分区。例如，如果数据已经存储在一个非分区的表中，现在需要将数据转储到一个分区表中，此时动态分区比较适合。
动态分区比静态分区更加耗时，且分区不可修改。
使用动态分区特性需要在 hive-site.xml 中设置属性 hive.exec.dynamic.partition.mode= nonstrict。
通过以下例子感受一下动态分区：
准备两个表，user_data_dyn 和 user_log_data。user_data_dyn 是分区表，以 date_dt 列和 country 列作为分区列。user_log_data 为非分区表，接下来将数据从非分区表 user_log_data 转储到分区表 user_data_dyn 中。
- 创建表非分区表 user_log_data
CREATE TABLE user_log_data (
user_id int,
user_name string,
site_data string,
date_dt string,
country string
);
- 向 user_log_data 中插入测试数据
INSERT INTO TABLE user_log_data VALUES(1001, 'John', 'Google', '2016-04-27', 'US');
INSERT INTO TABLE user_log_data VALUES(1002, 'Eric', 'Facebook', '2016-04-28', 'US');
INSERT INTO TABLE user_log_data VALUES(1003, 'Annie', 'Instagram', '2016-04-28', 'UK');
INSERT INTO TABLE user_log_data VALUES(1005, 'Ming', 'Google', '2016-04-29', 'CHINA');
INSERT INTO TABLE user_log_data VALUES(1006, 'Li', 'Facebook', '2016-04-29', 'CHINA');
INSERT INTO TABLE user_log_data VALUES(1007, 'Sota', 'Insatgram', '2016-04-29', 'JAPAN');
INSERT INTO TABLE user_log_data VALUES(1008, 'Yuto', 'Instagram', '2016-04-27', 'JAPAN');
INSERT INTO TABLE user_log_data VALUES(1009, 'Anna', 'Instagram', '2016-04-28', 'AUSTRALIA');
INSERT INTO TABLE user_log_data VALUES(1010, 'Ricky', 'Facebook', '2016-04-28', 'AUSTRALIA');
- 创建分区表 user_data_dyn
CREATE TABLE user_data_dyn (
user_id int,
user_name string,
site_data string
) PARTITIONED BY (
date_dt string,
country string
);
- 将数据从 user_log_data 转储到 user_data_dyn
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
INSERT OVERWRITE TABLE user_data_dyn
PARTITION(date_dt, country)
SELECT user_id, user_name, site_data, date_dt, country FROM user_log_data;
可以看到动态分区已经基于 date_dt 和 country 自动创建：
dynamic-partitions.png
- 分区删除
对 user_data_dyn 中的分区执行删除操作，感受一下分区的便捷。不知道为什么，就想删掉那个叫 JAPAN 的 country：
alter table user_data_dyn drop partition (date_dt='2016-04-27', country='JAPAN');
drop-partitions.png
最后对 静态分区 和 动态分区 做一下对比：
| 分区方式 | 优点 | 缺点 |
|---|---|---|
| 静态分区 | 速度快，分区设定后可以更改 | 需要明确指定分区 |
| 动态分区 | 速度慢，分区不可更改 | 自动创建分区 |
