(1)Hive的Join
2019-07-13 本文已影响0人
顽皮的石头7788121
1、Join实现过程为:
(1)Map:
以 JOIN ON 条件中的列作为 Key,如果有多个列,则 Key 是这些列的组合
以 JOIN 之后所关心的列作为 Value,当有多个列时,Value 是这些列的组合。在 Value 中还 会包含表的 Tag 信息,用于标明此 Value 对应于哪个表。
并按照 Key 进行排序。
(2)Shuffle:
根据 Key 的值进行 Hash,并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中。
(3)Reduce:
Reducer 根据 Key 值进行 Join 操作,并且通过 Tag 来识别不同的表中的数据。
具体实现过程如图:
image.png
2、mapjoin
hive 0.6 的时候默认认为写在select 后面的是大表,前面的是小表, 或者使用 /*+mapjoin(map_table) */ 提示进行设定.
hive 0.7 的时候这个计算是自动化的,它首先会自动判断哪个是小表,哪个是大表,这个参数由(hive.auto.convert.join=true)来控制.
然后控制小表的大小由(hive.smalltable.filesize=25000000L)参数控制(默认是25M),当小表超过这个大小,hive 会默认转化成common join.
小表会放在内存中,在map阶段进行join。
3、求并集 left semi join
在左表和右表中同时存在。
SELECT a.key, a.val FROM a LEFT SEMI JOIN b ON (a.key = b.key)
4、求差集 left outer join
在左表中存在,但是在右表中不存在。
Select user1.uid
from
user1
left outer join
user2
on user1.uid=user2.uid
where user2.uid is nulll
5、 Join 操作的 Reduce 阶段,位于 Join 操作符左边的表的内容会被加载进内存,将条目少的表放在左边,可以有效减少发生 OOM 错误的几率。