Hadoop学习（四）——数据倾斜

一、什么是数据倾斜

正常的数据分布，在理论上都是数据倾斜的。
数据倾斜是大量的相同key被partition分配到一个分区里,造成了'一个人累死,其他人闲死'的情况，违背了并行计算的初衷，而且当其他节点计算好了还要等待这个忙碌节点的计算，效率就被拉低了。
分为2种情况：（注意：唯一值key指的是map阶段处理后产生的key-value对）
①唯一值非常少，极少数值有非常多的记录值(唯一值少于几千)
②唯一值比较多，这个字段的某些值有远远多于其他值的记录数，但是它的占比也小于百分之一或千分之一

二、为何会数据倾斜

出现的原因：①SQL语句编写本身存在数据倾斜；②key分布不均匀；③建表时分区还有字段设计等出现考虑不周；④业务数据本身存在数据倾斜。
根本原因：redurce数据处理不均匀

出现的操作：

• ①join操作
  当其中一个表比较小但是key很集中的时候，此时会导致分发到某一个或几个redurce的数据远高于平均值
  大表对小表连接，判断字段0值或null值过多，这些都是有一个redurce处理，导致处理慢
• ②group by操作
  当分组的维度过小，造成分组中某组值过多，这就导致了处理这组值的redurce负担过大。
• ③count distinct操作
  当某些特殊值过多，就导致了处理此特殊值的redurce缓慢

出现的表现：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。

三、如何应对数据倾斜

如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。
解决数据倾斜，无非是去观察数据先，查看执行计划，寻找原因的突破口。

• 方案一：如果是某个key值过大，我们可以使用combinner合并下,combinner是在map阶段,reduce之前的一个中间阶段,在这个阶段可以选择性的把大量的相同key数据先进行一个合并,可以看做是local reduce,然后再交给reduce来处理,这样做的好处很多,即减轻了map端向reduce端发送的数据量（减轻了网络带宽）,也减轻了map端和reduce端中间的shuffle阶段的数据拉取数量(本地化磁盘IO速率)。不过此方式在处理group by分组造成的数据倾斜时要注意聚合函数，如果是sum这种的倒是没影响，但如果是avg这种函数，最后会影响到数据结果的正确性所以就不是很行得通。

hive.map.aggr=true    //Map端部分聚合，相当于Combiner

hive.groupby.skewindata=true    //有数据倾斜的时候进行负载均衡，当选项设定为true，生成的查询计划会有两个 MR Job

• 方案二：如果确实数据本身就存在数据倾斜，redurce数量相对较少的话，我们可以进行参数设置增加redurce处理task的数目。

set mapred.reduce.tasks=100;    //设置每个redurce处理的task

• 方案三：如果数据有大量的null值或者特殊值，那么根据业务看看这些特殊值是否需要，不需要的话我们可以进行过滤掉。
• 方案四：大表对小表时，把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果。
• 方案五：group by维度过小，我们可以采用sum() group by的方式来替换count(distinct)完成计算。

四、典型业务场景

来源于https://blog.csdn.net/wyz0516071128/article/details/80997158 来源于https://blog.csdn.net/wyz0516071128/article/details/80997158 来源于https://blog.csdn.net/wyz0516071128/article/details/80997158 总结：
当大表关联小表时，判断小表不大于1G时，小表很小，尽量使用map join，hive在redurce阶段完成的join就是common join，在map阶段完成的join就是map join。
对于group by或distinct，设定 hive.groupby.skewindata=true

附学习参考文章：
1、hadoop数据倾斜应对
2、数据倾斜造成原因
3、hive各阶段原理
4、hive的common join和map join原理