【Spark 自定义UDF】

在sparksql中使用udf，比较简单，先在spark中自定义udf算子函数,然后进行注册，之后再sql中就可以直接使用该udf

val len = udf{(str:String) => str.leng}

sparkContext.udf.register("len",len)

val  ds = spark.read.json("file:///opt/five.json")

ds.createOrReplaceTempView("temp")

ds.show()

spark.sql("select len(name) from temp where age >25")