方案1:自定义udf插件开发
1. Presto插件机制
presto不能像hive那样配置自定义的udf,而是采用插件机制实现。Presto 的插件(Plugin)机制,是 Presto 能够整合多种数据源的核心。通过实现不同的 Plugin,Presto 允许用户在不同类型的数据源之间进行 JOIN 等计算。Presto 内部的所有数据源都是通过插件机制实现, 例如 MySQL、Hive、HBase等。Presto 插件机制不仅通过加载 Connector 来实现不同数据源的访问,还通过加载 FunctionFactory 来实现 UDF 的加载。 Presto 的 Plugin 遵循 Java 中的 ServiceLoader 规范, 实现非常简单。
2. Function实现
package com.facebook.presto.demo;import com.facebook.presto.spi.function.Description;
import com.facebook.presto.spi.function.ScalarFunction;
import com.facebook.presto.spi.function.SqlType;
import com.facebook.presto.spi.type.StandardTypes;
import io.airlift.slice.Slice;
import io.airlift.slice.Slices;public class MyFunctions {
@ScalarFunction("to_upper") // 固定参数,表示函数名的意思,也就我们在使用Presto的时候用的函数名
@Description("我的大小写转换函数") // 函数的注释
@SqlType(StandardTypes.VARCHAR) // 表示数据类型
public static Slice toUpper(@SqlType(StandardTypes.VARCHAR) Slice input) {
// 将获取到的数据转换大写
String s = input.toStringUtf8().toUpperCase();
// 在转换后的数据放入内存返回
return Slices.utf8Slice(s);
}
}
3. Plugin实现
package com.facebook.presto.demo;import com.facebook.presto.spi.Plugin;
import com.google.common.collect.ImmutableSet;import java.util.Set;public class PrestoUdfPlugin implements Plugin {
@Override
public Set<Class<?>> getFunctions() {
return ImmutableSet.<Class<?>>builder()
// 添加插件class
.add(MyFunctions.class)
.build();
}
}
4. 加载plugin
在src/main/resources下创建目录,注意META-INF是父目录services是子目录,只是idea合并显示了,不是说文件名里面有点.
然后创建文件com.facebook.presto.spi.Plugin。
然后文件内容为:
com.facebook.presto.demo.MDAFunctionPlugin
注: 包名 + 插件类名
5. 打包
mvn clean package -Dmaven.test.skip=true -U
6. 新建一个插件包文件
在生产环境上在$PRESTO_HOME/plugin目录下新建一个文件夹,用来存放自己的写的UDF Function。
mdkir -p presto-server/plugin/demo
7. 上传jar包
将package 后的jar包和相关的依赖,上传到我们上一步新建的文件夹中。
注意:插件必须安装在Presto集群中的所有节点上(协调器和工作器)。
8. 重启服务
${PRESTO_HOME}/bin/launcher restart
9. 查看function
重启presto服务后,使用客户端连接presto。
${PRESTO_HOME}/bin/presto --catalog hive
10.输入show functions就可以看到我们注册的方法。
11.问题:
问题1:
报错内容:
Failed to execute goal com.mycila:license-maven-plugin:2.3:
check (default) on project presto-demo:
Some files do not have the expected license header
问题原因:
因为maven会对license进行检车check,而配置文件缺少头部license声明,所以报错,无法执行下去。
解决方法:
pom.xml 文件添加:
<plugin>
<groupId>com.mycila</groupId>
<artifactId>license-maven-plugin</artifactId>
<configuration>
<skip>true</skip>
</configuration>
</plugin>
问题2:
报错内容:
(regexp) RegexpMultiline: Blank line before end of file
问题原因:
presto会对文件进行检查,格式不规范都会报错。
解决方法:
文件必须以空行结尾。
文件末尾不能有多余的空行。
不能有没有引用的类型。
3如List并没有使用,这种也会报错。
4.implement等关键字需要换行
5.不能有多余的空行。
总结:
presto实现自定义函数比较简单,但是如果是在presto代码下新建工程,然后进行开发,这种情况presto对于开发的格式要求比较多,索引编译会一直报错,这种情况比较麻烦,不是很推荐。
方案2:基于presto源码插件开发打包(推荐)
1.创建Maven项目,使用官方插件打包
presto
<plugin><groupId>com.facebook.presto</groupId><artifactId>presto-maven-plugin</artifactId><version>0.3</version><extensions>true</extensions></plugin>
trino
<plugin><groupId>io.trino</groupId><artifactId>trino-maven-plugin</artifactId><version>11</version><extensions>true</extensions&g