Impala skill

1. impala 使用concat_ws将多列合并为一列

首先查看一下表的信息

select uid, category, tags from dmr.edu_course_profile;

select 
uid,
trim(concat_ws(' ',isnull(c.category,''),isnull(c.tags,''))) as course_tags
from dmr.edu_course_profile c;

其中
trim( )函数是将合并后的course_tags字段两边的空格清除
concat_ws( )函数的第一个参数指定字段连接符，这里我使用的是空格,第二个参数是要合并的列名
isnull()函数的第一个参数是字段名，第二个参数是当字段为空时的替换字符,这里我设置的是空
效果如下图：

2. impala 使用group_concat将多行合并为一行

首先照旧来看下表的信息

select uid, group_concat(name,' ') as tags
from  c
group by uid

其中
group_concat( )第一个参数是要合并的字段名，第二个参数是指定行间的连接符。

3. 使用 ROW_NUMBER() OVER来进行业务去重

去重原因：例如，业务方不知道之前已经添加过了该课程，然后再次添加，导致同一课程或者课组的信息被添加了多次
去重逻辑：

• 以主键来进行分区和区内排序:

SELECT *,
       ROW_NUMBER() OVER(PARTITION BY id ORDER BY id DESC)
FROM table_name

• 只取每个分区的第一个，完成去重

INSERT OVERWRITE TABLE test_table
SELECT * FROM(SELECT *,
                     ROW_NUMBER() OVER(PARTITION BY id1,id2 ORDER BY id1,id2 DESC) RN 
              FROM test_table)T 
WHERE T.RN = 1 AND id1 is not null and id2 is not null

或者使用 ROW_NUMBER() OVER来进行组间排序

照旧看下表信息：

SELECT *, Row_Number() OVER (partition by deptid ORDER BY salary desc) rank FROM employee

效果如下图：