presto / trino plugin(自定义UDF函数)开发指南

 方案1:自定义udf插件开发

1. Presto插件机制
presto不能像hive那样配置自定义的udf,而是采用插件机制实现。Presto 的插件(Plugin)机制,是 Presto 能够整合多种数据源的核心。通过实现不同的 Plugin,Presto 允许用户在不同类型的数据源之间进行 JOIN 等计算。Presto 内部的所有数据源都是通过插件机制实现, 例如 MySQL、Hive、HBase等。Presto 插件机制不仅通过加载 Connector 来实现不同数据源的访问,还通过加载 FunctionFactory 来实现 UDF 的加载。 Presto 的 Plugin 遵循 Java 中的 ServiceLoader 规范, 实现非常简单。
2. Function实现
 
package com.facebook.presto.demo;import com.facebook.presto.spi.function.Description;
import com.facebook.presto.spi.function.ScalarFunction;
import com.facebook.presto.spi.function.SqlType;
import com.facebook.presto.spi.type.StandardTypes;
import io.airlift.slice.Slice;
import io.airlift.slice.Slices;public class MyFunctions {
    @ScalarFunction("to_upper") // 固定参数,表示函数名的意思,也就我们在使用Presto的时候用的函数名
    @Description("我的大小写转换函数") // 函数的注释
    @SqlType(StandardTypes.VARCHAR) // 表示数据类型
    public static Slice toUpper(@SqlType(StandardTypes.VARCHAR) Slice input) {
        // 将获取到的数据转换大写
        String s = input.toStringUtf8().toUpperCase();
        // 在转换后的数据放入内存返回
        return Slices.utf8Slice(s);
    }
}

3. Plugin实现
package com.facebook.presto.demo;import com.facebook.presto.spi.Plugin;
import com.google.common.collect.ImmutableSet;import java.util.Set;public class PrestoUdfPlugin implements Plugin {
    @Override
    public Set<Class<?>> getFunctions() {
        return ImmutableSet.<Class<?>>builder()
                // 添加插件class
                .add(MyFunctions.class)
                .build();
    }
}

4. 加载plugin
在src/main/resources下创建目录,注意META-INF是父目录services是子目录,只是idea合并显示了,不是说文件名里面有点.
然后创建文件com.facebook.presto.spi.Plugin。

然后文件内容为:

com.facebook.presto.demo.MDAFunctionPlugin


注: 包名 + 插件类名

5. 打包
 
mvn clean package -Dmaven.test.skip=true -U

6. 新建一个插件包文件


在生产环境上在$PRESTO_HOME/plugin目录下新建一个文件夹,用来存放自己的写的UDF Function。

mdkir -p  presto-server/plugin/demo


7. 上传jar包


将package 后的jar包和相关的依赖,上传到我们上一步新建的文件夹中。


注意:插件必须安装在Presto集群中的所有节点上(协调器和工作器)。

8. 重启服务
${PRESTO_HOME}/bin/launcher restart


9. 查看function


重启presto服务后,使用客户端连接presto。

${PRESTO_HOME}/bin/presto --catalog hive

10.输入show functions就可以看到我们注册的方法。

11.问题:

问题1:
报错内容:
Failed to execute goal com.mycila:license-maven-plugin:2.3:
check (default) on project presto-demo:
Some files do not have the expected license header


问题原因:
因为maven会对license进行检车check,而配置文件缺少头部license声明,所以报错,无法执行下去。

解决方法:
pom.xml 文件添加:

<plugin>
   <groupId>com.mycila</groupId>
    <artifactId>license-maven-plugin</artifactId>
    <configuration>
        <skip>true</skip>
    </configuration>
</plugin>



问题2:
报错内容:

(regexp) RegexpMultiline: Blank line before end of file


问题原因:
presto会对文件进行检查,格式不规范都会报错。

解决方法:
文件必须以空行结尾。

文件末尾不能有多余的空行。

不能有没有引用的类型。
3如List并没有使用,这种也会报错。


4.implement等关键字需要换行


5.不能有多余的空行。


总结:
presto实现自定义函数比较简单,但是如果是在presto代码下新建工程,然后进行开发,这种情况presto对于开发的格式要求比较多,索引编译会一直报错,这种情况比较麻烦,不是很推荐。

方案2:基于presto源码插件开发打包(推荐)

1.创建Maven项目,使用官方插件打包

presto

      <plugin><groupId>com.facebook.presto</groupId><artifactId>presto-maven-plugin</artifactId><version>0.3</version><extensions>true</extensions></plugin>

 trino

<plugin><groupId>io.trino</groupId><artifactId>trino-maven-plugin</artifactId><version>11</version><extensions>true</extensions&g

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/741199.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

10、设计模式之外观模式(Facade)

一、什么是外观模式 这个大家一定是经常使用的&#xff0c;外观模式&#xff08;门面模式&#xff09;是一种结构型设计模式。它提供一个统一的接口&#xff0c;用于访问子系统中的一组接口&#xff0c;隐藏了系统的复杂性。最简单的应用就是&#xff0c;当controller层的逻辑处…

每天一个数据分析题(二百零五)

在分类模型评估中&#xff0c;哪些描述准确地涉及到ROC曲线和混淆矩阵的概念&#xff1f; A. ROC曲线是根据模型预测的概率值而非预测的类别来绘制的。 B. ROC曲线下面积&#xff08;AUC&#xff09;的值越大&#xff0c;表示模型的区分能力越强。 C. 混淆矩阵中的真正&…

十大Linux发行版各自的特色

Linux有许多不同的发行版&#xff0c;每个发行版都有自己的特色和用途。以下是一些主流Linux发行版及其特色&#xff1a; Ubuntu 用户友好&#xff0c;适合Linux新手。 基于Debian&#xff0c;拥有庞大的软件库。 长期支持&#xff08;LTS&#xff09;版本提供长达5年的支持…

C#实现二分查找算法

C#实现二分查找算法 以下是一个使用 C# 实现的二分查找算法示例&#xff1a; using System;class Program {static int BinarySearch(int[] arr, int target){int low 0;int high arr.Length - 1;while (low < high){int mid (low high) / 2;// 如果目标值等于中间元素…

使用 Array.prototype.with 更新不可变数组

庆祝&#xff1a;此功能现已在所有三个主要浏览器引擎中可用&#xff01; 浏览器最近获得了一种新的可互操作方法&#xff0c;您可以在数组上调用它&#xff1a;Array.prototype.with() 。 Browser Support 浏览器支持&#xff1a; chrome 110Edge 110firefox 115Safari 16 …

doris安装(docker方式)

背景 doris有两个进程 fe,处理用户请求,查询,元数据管理,节点管理be,数据存储,查询计划执行 架构图如下: 参考:https://doris.apache.org/zh-CN/docs/get-starting/what-is-apache-doris 1、定义docker-compose文件 version: 3 services:docker-fe:image: "apac…

MySQL数据库自动备份(Linux操作系统)

方式一 参考&#xff1a;https://blog.csdn.net/qq_48157004/article/details/126683610?spm1001.2014.3001.5506 1.MySQL备份脚本 在/home/backups/下建立.sh文件&#xff0c;文件名称 mysql_backup.sh ,内容如下 #!/bin/bash #备份路径 BACKUP/home/backups/mysqlBackup…

Python实战:元组一次性数据的处理利器

Python元组是一种不可变的序列类型&#xff0c;非常适合用于存储不应该被修改的数据。本文将深入探讨Python元组在处理一次性数据方面的优势和应用场景&#xff0c;包括元组的定义、操作、函数和方法&#xff0c;以及如何利用元组提高代码的可读性和性能。 1. Python元组简介 …

快手,得物,蓝月亮,蓝禾,奇安信,三七互娱,顺丰,康冠科技,金证科技24春招内推

快手&#xff0c;得物&#xff0c;蓝月亮&#xff0c;蓝禾&#xff0c;奇安信&#xff0c;三七互娱&#xff0c;顺丰&#xff0c;康冠科技&#xff0c;金证科技24春招内推 ①得物 【岗位】技术&#xff0c;设计&#xff0c;供应链&#xff0c;风控&#xff0c;产品&#xff0c;…

参考线平滑 - FemPosDeviation算法

FemPosDeviation参考线平滑方法是离散点平滑方法 参考文章&#xff1a; &#xff08;1&#xff09;参考线平滑-FemPosDeviation-OSQP &#xff08;2&#xff09;Planning基础库——散点曲线平滑 &#xff08;3&#xff09;参考线平滑-FemPosDeviation-SQP &#xff08;4&#x…

ICCV 2023 | NeRF-Det

NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection 介绍 本文介绍了一种新颖的方法&#xff0c;用于仅使用RGB图像作为输入进行室内3D目标检测。作者提出了利用神经辐射场&#xff08;NeRF&#xff09;来显式估计3D几何形状&…

C# 协程的使用

C# 中的协程是通过使用 yield 关键字来实现的&#xff0c;它们允许在方法的执行中暂停和继续。协程通常用于处理异步操作、迭代和状态机等情况。以下是关于C#协程的介绍、使用场景以及优缺点的概述&#xff1a; 介绍&#xff1a; 在 C# 中&#xff0c;协程是通过使用 yield 语…

OCP Java17 SE Developers 复习题09

答案 A, E. For the first scenario, the answer needs to implement List because the scenario allows duplicates, narrowing it down to options A and D. Option A is a better answer than option D because LinkedList is both a List and a Queue, and you just nee…

动态规划 Leetcode 96 不同的二叉搜索树

不同的二叉搜索树 Leetcode 96 学习记录自代码随想录 要点&#xff1a;1.递推公式&#xff0c;想到以根节点数字不同作为分类条件求和得到dp[i]&#xff1b; class Solution { public:int numTrees(int n) {if(n 1 || n 2) return n;// 1.dp[i]返回输入i时的满足条件的二…

代码随想录 贪心算法-难度题目-其他题目

目录 53.最大子数组和 134.加油站 968.监控二叉树 53.最大子数组和 53. 最大子数组和 中等 给你一个整数数组 nums &#xff0c;请你找出一个具有最大和的连续子数组&#xff08;子数组最少包含一个元素&#xff09;&#xff0c;返回其最大和。 子数组 是数组中的一个…

git提交代码描述时如何换行(更新时间24/3/12)

问题复现&#xff08;信心满满使用转义字符换行&#xff09; 解决方法&#xff1a; 写多个-m字符串的结构可以实现自动换行 注意空格 git commit -m"第一行描述" -m"第二行描述" 效果演示&#xff1a;&#xff08;强迫症福利&#xff09;

大语言模型(LLM) RAG概念

RAG&#xff08;Retrieval-Augmented Generation&#xff09;是一种用于自然语言处理的模型架构&#xff0c;特别是针对生成式任务。RAG模型结合了检索和生成两种方法&#xff0c;以提高生成式任务的性能。它将信息检索&#xff08;Retrieval&#xff09;和文本生成&#xff08…

网络学习:BGP路径属性分类

目录 前言&#xff1a; 路径属性分类 公认必遵 公认任意 可选过渡 可选非过渡 前言&#xff1a; 在默认情况下&#xff0c;到达同一目的地&#xff0c;BGP只走单条路径&#xff0c;并不会在多条路径之间执行负载均衡。对于IGP路由协议&#xff0c;当有多条路径可以到达同…

代码编写规范

一、程序风格的探讨 1、代码编写规范 按照阿里巴巴《Java开发手册》编码规约进行约束自己的编码风格。严格要求自己。 2、复杂逻辑编写 拆分功能&#xff1a;befHandler() aftHandler()等 按照步骤拆分&#xff1a;step1Task() step2Task() step3Task()等 只遵守法律…

dangzero环境配置问题

文章目录 安装虚拟机dangzeroCompile the KML kernelObtain Ubuntu 20.04Create VMInstall UbuntuRun UbuntuMove KML kernel to VMInside VM: Install KernelUpdate grub to auto-select KML kernelBoot parametersRun KMLTest KMLObtain glibc-2.31Install gcc-5 for kernel …