关于HIVE2

普通查询:

SELECT [ALL | DISTINCT]select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BYcol_list]
[HAVING where_condition]
[ORDER BY col_list]
[CLUSTER BY col_list
  | [DISTRIBUTE BY col_list] [SORT BY col_list]
]
[LIMIT number]

三个排序:

ORDER  BY:  #对整体进行排序, 只能设置一个reduce.
#设置reduce的个数
set mapreduce.job.reduces=-1; 
sort by:  
#可以对每个reduce内部进行排序的操作, 并没有根据reduce进行排序.
#可以对每个reduce内部进行排序的操作, 前提reduce数量有多个, 如果只有一个, 和#order by是一样的
distribute by:  跟 sort by:  放在一起才能好用.
#注意: 指定按照那个字段作为分区的字段, 执行分区
cluster by:
#分区的字段和排序的字段都是同一个,并且升序,可省略写.

四个分析函数:

放置位置select之前from之后.

row_numver()  #顺序数字排列,12345
rank() #顺序数字并列排序123356
dense_rank()#顺序数字延续排列123345
ntile()#平均分112233

当前行跟其他行级联求各种的五个函数

max/min/sum/avg/count

当前行跟上下对比计算四个函数

LAG,LEAD,FIRST_VALUE,LAST_VALUE

hive的sql优化

#1.列裁剪
hive.optimize.cp=true; 默认就是TRUE
#2.分区裁剪
hive.optimize.pruner=true; 默认就是TRUE

3.动态分区表导入

#动态分区

insert into table 分区表2 partition(month) 
select * from 分区表1
--------------------------------------------------------------
#如果使用需要配置具体只设置前两个即可:
~ 1 .查询的原始表分区最后一个字段必须是分区字段
~ 2 .开启动态分区支持.默认既开启.
set hive.exec.dynamic.partition=true;
-----------------------------------------------------------
~ 3 .关闭HIVE严格语法模式.默认是开启.
set hive.exec.dynamic.partition.mode=nonstrict;
~ 4 .设置MR节点,一共最大创建多少个分区
set(默认100) hive.exec.max.dyanmic.partitions.pernode=10000
~ 5 .整个mr job中,最大可以创建多少个HDFS文件(默认十万个)
set hive.exec.max.created.files=10000;
~ 6 .有空分区时候是不是要抛出异常.(一般不用设置)
set hive.exec.on.empty.partition=false;

函数分类

UDF函数: 大部分的函数都是UDF函数

• 特点: 一进一出
• 例子: substr cast ....

UDAF函数:

• 特点: 多进 一出
• 例子: 聚合函数 sum count avg...

UDTF函数:

• 特点: 一进多出
• 例子: explode

hive的调优

hive的压缩方案

4.如何调整MAP,跟REDUCE的数量

减少MAP

在map读取之前进行文件合并操作.
set mapred.max.split.size=112345600;
set mapred.min.split.size.per.node=112345600;
set mapred.min.split.size.per.rack=112345600;
#-前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，
--小于128m,大于100m的，按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的），
set hive.input.format=
org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
#这个参数表示执行前进行小文件合并，

增加MAP

#把文件拆分成多个文件即可
set mapred.reduce.tasks=10;
create table a_1 as 
select * from tab_info  distribute by rand(123);
#按照123随机数,分散开十个文件.

调整reduce

set hive.exec.reducers.bytes.per.reducer=524288000;  调整每个reduce能够处理数据量
    当调小后, reduce数量增加 , 调大后, reduce数量就会减少

set mapred.reduce.tasks=15; 强制调整reduce的数量

4.并行执行

set hive.exec.parallel=true;
set hive.ex

案例:
select * from A 
union all
select * from B;
上下合并查询出来的