Hive面试题

1. 什么是数据倾斜, 如何处理

• 什么是数据倾斜
  大量相同的key被partition到一台机器, 造成这台机器计算任务量极大, 而其他机器计算量任务极小
• 即使数据倾斜, UDAF函数也可能不产生效率低下的问题?
  像sum, max, min, count等UDAF不怕数据倾斜, 因为会在map端进行一次数据聚合
• count(distinct)最受数据倾斜影响?
  因为count(distinct)要先按照group by分组, 再按distinct排序. 不会产生map端的聚合. 一般这中语句是很倾斜的;
  比如男uv，女uv，淘宝一天30亿的pv，如果按性别分组，分配2个reduce，每个reduce处理15亿数据。
• 如何处理
  1. key上加上随机数打散, 然后最后计算结果时恢复成原来的key
  2. 过滤空值, 或者将空值变成一个字符串并加上随机前缀, 由于随机的key找不到相同的而执行失败
  3. 将倾斜的key拿出来单独处理, 最后和其它结果union all在一起(不去重不排序)
  4. 开启参数hive.groupby.skewindata=true
     这会生成2个任务:
     1. 第一个任务: map的输出结果随机的分配到reduce上, 每个reduce按照key做第一次聚合
     2. 第二个任务: 将相同的key分布到同一个partition上, 再做第二次聚合
  5. 将count(distinct)替换成sum() group by

2. 如何调整mapper个数

mapper个数受一系列参数的影响, 最终由这些参数计算出一个表达式

• mapred.map.tasks : map任务的期望值, 默认为2
• default_mapper_num : 通过1个mapper处理1个block块的数据, 来计算一个mapper个数

  total_input_size : 输入文件的总大小   
  dfs.block.size : hdfs一个block块的大小  
  default_mapper_num : 为2个参数的商
  

• splitNumber : 通过把一个block块划分多个split, 每个mapper处理一个split的方式计算mapper个数

  mapred.min.split.size : split的最小size（默认值1B）
  mapred.max.split.size : split的最大size（默认值64MB) 
  split_size = max(mapred.min.split.size, min(mapred.max.split.size, dfs.block.size))；   
  
  split_num = total_input_size / split_size 
  

因此 :

• 只有把mapred.min.split.size的值设置的比dfs.block.size大, 才能达到1个mapper读取大于1个block块的目的
• 只有把mapred.max.split.size设置的比dfs.block.size小, 才能达到1个block块被多个mapper处理的目的 .

最终得到mapper的个数计算公式为:

由于 mapred.max.split.size默认为64M, 所以Hive每个map任务默认处理64M的数据(1个split)

3. 如何调整reduce个数

reducer的个数, 决定了job最后生成的文件个数, 这个数可以被用户直接指定; 若没有指定, hive会通过一个公司计算出来

• mapred.reduce.tasks : 直接指定reducer个数
• 公式推算

  hive.exec.reducers.bytes.per.reducer : 每个reducer处理的最大数据量   
  hive.exec.reducers.max : 最大的reducer个数   
  
  最终计算得出reducer_num = MIN(total_input_size / reducers.bytes.per.reducer, reducers.max)
  

4. 什么时候需要合并文件

• 什么时候会出现小文件
  1. 动态分区插入数据，产生大量的小文件，从而导致map数量剧增。
  2. reducer数量太多
  3. 数据源本身就包含大量的小文件

• 输入时合并文件 : 通过控制split大小控制mapper个数

  mapred.min.split.size : split的最小size（默认值1B）
  mapred.max.split.size=256000000;  
  mapred.min.split.size.per.node=100000000 : 一个交换机下split的至少的大小(这个值决定了多个交换机上的文件是否需要合并)
  mapred.min.split.size.per.rack=100000000 : 执行Map前进行小文件合并(100M)
  

• 输出合并文件控制 :

  hive.merge.mapfiles : 设置为true, 在mapped-only任务的输出进行合并
  hive.merge.mapredfiles : 设置为true, 在map-reduce任务的输出进行合并  
  
  hive.merge.size.smallfiles.avgsize : 指定输出文件的均值大小, 当输出文件小于这个值时, 开启一个任务对小文件进行合并
  

5. 什么是严格模式？

严格模式下, hive会阻止用户进行三种类型的sql与

• 对分区表的查询, wher条件中没有指定分区列的值
• 产生笛卡尔积的join操作
• 使用了order by 却没有使用limit

6. 谈谈hive的优化

• 1. mapper个数和reducer个数的优化
• 2. 对于count(distinct) 语法的优化
  使用count() group by进行优化

  因为这个语法在mapper端group by后, 会开启mapper端聚合减少reduce端的输入量;  
  而count(distinct) 计算全都压倒reduer, 把key分散到reducer后还要在每个reducer上对key进行排序去重
  

• 3. 对于order by 语法的优化
  order by是全局排序, 只会生成1个reducer来处理所有mapper的输出. 但是往往我们并不需要在某个字段上完全的全局有序, 而是希望局部上有序, 所以可是使用其他字段先进行distribute by,再在原字段上sort by

select uid,upload_time,event_type,record_data f
from calendar_record_log
where day_p between '20190101' and '20190131'
order by upload_time desc,event_type desc;   

-- 这个语句在数据量很大时无法计算, 可以做如下改写

select uid,upload_time,event_type,record_data
from calendar_record_log
where day_p between '20190101' and '20190131'
distribute by uid
sort by upload_time desc,event_type desc;

• 4. 对于join语法的优化

  1. 使用map join
     当使用join时, 如果发现其中某个表很小, 可以完全放进内存的时候, 就可以将这张表指定成map join分发的表. 有2中方法指定

     1. 手动指定:

     select /*+MAPJOIN(b)*/ a.a1,a.a2,b.b2 from tablea a JOIN tableb b ON a.a1=b.b1
     

     缓存多张小表:

     select /*+MAPJOIN(b,c)*/ a.a1,a.a2,b.b2 
        from tablea a 
     JOIN tableb b 
     ON a.a1=b.b1 
     JOIN tbalec c 
     on a.a1=c.c1
     

     2. 在Hive0.11后，Hive默认启动该优化
        可以通过以下两个属性来设置该优化的触发时机
        1. hive.auto.convert.join: 默认值为true，自动开户MAPJOIN优化
        2. hive.mapjoin.smalltable.filesize: 默认值为2500000(25M), 如果表的大小小于此值就会被加载进内存中

     此外, 使用使用MAPJOIN时，需要注意：
     * LEFT OUTER JOIN的左表必须是大表；
     * RIGHT OUTER JOIN的右表必须是大表；

  2. 调整map个数和reduce个数

7. 内部表和外部表?

内部表数据由Hive自身管理，外部表数据由HDFS管理；删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除。

8. 分区表和分桶表的区别

• 分区表: Hive 数据表可以根据某些字段进行分区操作，细化数据管理，让部分查询更快，不同分区对应不同的目录；
• 分桶表：表和分区也可以进一步被划分为桶，分桶是相对分区进行更细粒度的划分。分桶将整个数据内容按照某列属性值的hash值进行区分，不同的桶对应不同的文件。