数据分析小伙伴应该经常会遇到各种奇葩的源数据，尤其是业务复杂的公司，底层表的备注信息里会有大量的业务信息（大多是json格式），因为产品经理和开发人员的习惯和喜好不同，备注字段的格式和内容也是千奇百怪。。。本文列经常遇到的备注信息和hive常用的json解析函数，以后如果碰到新的奇葩内容，我也会持续进行更新。。。

假设现有源数据：analyst.test_biao

area	goods_id	info1	info2	info3
a,b	1,2,3	[{"source":"7fresh","monthSales":4900}]	score=9.9,arg={"source":"7fresh","monthSales":4900}]	source=7fresh,monthSales=4900

1、get_json_object()函数

1.1 提取info列的source值

碰到info1这种其实很幸运了，此时应该先用regexp_repalce()函数将'['和']'替换为空（'['符号需要转义，所以这里需要写成'['），然后再用get_json_object()函数取出source的值

select 
        get_json_object(regexp_replace(regexp_replace(info1,'\\[',''),']',''),$source)  as info1_source 
from  analyst.test_biao 

运行结果：

info1_source
7fresh

1.2 提取info2列source的值

info2不是一个标准的json字符串，此时需要通过正则表达式先取出arg={...}这部分内容，然后再用get_json_object()函数取出source的值

select 
        get_json_object(regexp_extract(info2,'arg=(\{.*\})'),$source)  as info1_source 
from  analyst.test_biao 

运行结果：

info1_source
7fresh

2、keyvalue()函数

2.1 提取info3列source的值

select 
        keyvalue(info3,'=',source)  as info1_source 
from  analyst.test_biao 

运行结果：

info1_source
7fresh

3、explode()和 LATERAL VIEW()函数

explode()函数常常和LATERAL VIEW()函数一起使用，比如想要goods_id列按逗号拆分成3行，可以运行下面的代码:

select 
        goods_id2
       ,info1
from  analyst.test_biao 
LATERAL VIEW(explode(split(goods_id,','))) goods as goods_id2 

运行结果：

goods_id2	info1
1	{"source":"7fresh","monthSales":4900}]
2	{"source":"7fresh","monthSales":4900}]
3	{"source":"7fresh","monthSales":4900}]

也可以按照area和goods_id两列进行拆分，拆分后的area和goods_id两列做笛卡尔积

select 
        goods_id2
       ,info1
from  analyst.test_biao 
LATERAL VIEW(explode(split(area,','))) area1  as area1 
LATERAL VIEW(explode(split(goods_id,','))) goods_id2  as goods_id2 

运行结果：

area1	goods_id2	info1
a	1	{"source":"7fresh","monthSales":4900}]
a	2	{"source":"7fresh","monthSales":4900}]
a	3	{"source":"7fresh","monthSales":4900}]
b	1	{"source":"7fresh","monthSales":4900}]
b	2	{"source":"7fresh","monthSales":4900}]
b	3	{"source":"7fresh","monthSales":4900}]