玩转大数据大数据大数据 爬虫Python AI Sql

hive自定义函数

2020-01-03  本文已影响0人  愤怒的谜团

一:自定义UDF函数

UDF函数的特点是:多参数/单参数-》单个返回值,并且多个参数是一行当中的数据,不能实现跨行。常见的UDF函数有很多,比如concat,lenth等等,下面举一个自定义的例子。

测试数据准备:

select name,age,attribute
from dw_tmp.mydefineUDF  
测试数据.png

自定义UDF函数代码实现步骤:
1:自定义类继承UDF
2:至少实现一个evaluate方法,入参和返回值根据需求自己定义

import org.apache.hadoop.hive.ql.exec.UDF;

public class TestUDF extends UDF {
    public String evaluate(String param1, int param2){
        return param1+String.valueOf(param2);
    }
}

接下来测试一下:

add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION myconcat as 'com.husor.bigdata.udf.base.TestUDF';

select name,age,myconcat(name,age) as nameAge
from dw_tmp.mydefineUDF;

找一台hive执行机,把jar上传到自己指定的目录,然后进入hive shell,执行以上命令,得出如下结果:


UDF结果.png

二:自定义UDAF函数

UDAF函数的特点是对多行的字段进行聚合相关操作,一般伴随着group by分组关键字出现,hive自带的UDAF函数有很多,比如AVG,SUM,MAX等,以下是一个自定义的UDAF函数实现:

import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;

public class TestUDAF extends UDAF {
    public static class MyTestUDAF implements UDAFEvaluator {

        private int result;

        @Override
        public void init() {
            result = 0;
        }

        public boolean iterate(int age) {
            result = result + age;
            return true;
        }

        public int terminatePartial() {
            return result;
        }

        public boolean merge(int other) {
            result = result + other;
            return true;
        }

        public int terminate() {
            return result;
        }
    }
}

其实这就是一个很简单的sum函数,解释一下如何实现:
1:自定义一个类继承UDAF
2:在类内部创建静态内部类实现UDAFEvaluator
3:init()函数就是初始化用的
4:iterate(入参),这个函数就分组后,针对组内元素做具体逻辑操作的函数,比如上述例子是累加。
5:terminatePartial(),这个函数相当于combine操作,就是map端的reduce,即局部聚合,这里只要将局部聚合的值返回就好。
6:merge(),这个函数是将多个局部聚合的值进行合并
7:terminate()返回最终的结果

测试一下UDAF函数效果:

add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION my_sum as 'com.husor.bigdata.udf.base.TestUDAF';

select my_sum(age) as sumAge
from dw_tmp.mydefineUDF;
测试结果.png

三:自定义UDTF函数

UDTF函数的特点是可以输出多行数据,结合lateral view创建虚拟表使用。举个例子,之前表的attribute字段用@分行,用|分字段,现在要用一个UDTF函数将其解析成多行两个字段的数据,并且使用lateral view做成虚拟表使用。参考一下自定义的UDTF代码:

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;

public class TestUDTF extends GenericUDTF {

    // 1.此方法返回UDTF的返回行的信息(返回个数,类型)
    @Override
    public StructObjectInspector initialize(ObjectInspector[] argOIs)
            throws UDFArgumentException {
        if (argOIs.length != 1) {
            throw new UDFArgumentLengthException("argOIs takes only one argument");
        }
        if (argOIs[0].getCategory() != ObjectInspector.Category.PRIMITIVE) {
            throw new UDFArgumentException("argOIs takes string as a parameter");
        }

        ArrayList<String> fieldNames = new ArrayList<String>();
        ArrayList<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
        fieldNames.add("hobby");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        fieldNames.add("address");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,fieldOIs);
    }
    @Override
    public void process(Object[] objects) throws HiveException {
        if (objects.length != 1) {
            throw new UDFArgumentLengthException( "objects args num is not correct.");
        }
        if (objects[0] == null) {
            throw new UDFArgumentException("objects args has null value");
        }
        String hobbyAddress = objects[0].toString();
        String[] line = hobbyAddress.split("@");
        for (String s : line){
            String[] field = s.split("\\|");
            forward(field);
        }
    }

    @Override
    public void close() throws HiveException {

    }
}

解释一下如何实现:
1:首先继承UDTF函数,并实现其方法。
2:initialize函数,初始化使用,用来定义返回行的字段个数和类型。
3:process函数,真正做解析时调用的函数,使用forward返回一个数组,即一行数据。
4:close函数,收尾函数,结束以后清洗操作。

测试一下,看一下效果:

add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION myUDTF as 'com.husor.bigdata.udf.base.TestUDTF';
select name
    ,age
    ,t2.hobby as hobby
    ,t2.address as address
from dw_tmp.mydefineUDF t1 lateral view myUDTF(attribute) t2 as hobby,address
测试结果.png

最后结果显示的爱好和地址没有对上,之前在构造数据的时候没构造好,不过不影响理解。

上一篇 下一篇

猜你喜欢

热点阅读