presto插件机制揭秘:探索无限可能的数据处理舞台

在这里插入图片描述

文章目录

  • 1. 前言
  • 2. Presto插件架构
  • 3. Plugin接口
    • 3.1 插件协议
    • 3.2 插件实现类
  • 4. 插件加载过程
    • 4.1 PluginManager
  • 5. 插件应用
  • 6. 总结

关键词:Presto Plugin

1. 前言

本文源码环境:
presto: prestoDb 0.275版本

  • 在Presto框架中插件机制设计是一种非常常见和强大的扩展方式。它可以使软件系统更加灵活和可扩展,允许用户根据自己的需求和偏好自定义和扩展系统功能。在 Presto 这样的分布式 SQL 查询引擎中,插件机制发挥着重要的作用,为用户提供了丰富的扩展能力。

  • Presto 是一个基于内存的分布式查询引擎,旨在快速而高效地处理大规模数据。它被广泛应用于数据分析和处理场景,具有优秀的性能和灵活的查询能力。Presto 其插件架构是构建在 Presto 的核心架构之上,为用户提供了一种可扩展的方式来增强和定制 Presto 的功能。通过插件机制,用户可以加载自定义的插件,以增加新的查询功能、支持新的数据源、实现自定义的函数等。

2. Presto插件架构

在 Presto 插件架构中,插件是一个独立的模块,可以包含一个或多个相关功能的集合。每个插件可以有自己的配置、依赖和生命周期管理。插件可以与 Presto 的核心代码进行交互,使用 Presto 提供的API来扩展和定制系统功能。
Presto 插件可以提供以下功能:

  1. 数据源扩展:插件可以加载不同类型的数据源驱动程序,允许 Presto 查询和访问各种数据源,如关系型数据库、NoSQL 数据库、对象存储等。
  2. 函数库扩展:插件可以提供自定义的函数和聚合函数,以满足特定的业务需求。用户可以根据自己的需求加载相应的插件,并使用插件中定义的函数来进行数据处理和计算。
  3. 认证和授权扩展:插件可以提供自定义的认证和授权机制,允许用户根据自己的安全需求对查询进行访问控制和身份验证。
  4. 优化器和执行器扩展:插件可以实现自定义的查询优化规则和执行计划算法,以提高查询的性能和效率。

Presto 插件架构的核心组件是 PluginManager 类。PluginManager 类负责插件的加载、注册、维护和生命周期管理。它提供了一组方法来加载插件 JAR 文件,解析插件配置,注册插件,并确保插件的正确初始化和销毁。
通过 PluginManager 类,Presto 可以动态加载和管理插件,使用户能够根据自己的需要轻松地扩展和定制 Presto 的功能。插件的加载和管理过程是一个关键的环节,通过对此过程进行深入的源码分析,我们可以更好地理解 Presto 插件架构的工作原理,为开发和利用插件提供指导和技巧。

3. Plugin接口

Presto Plugin接口主要在Presto-spi模块中,presto-spi 是 Presto 的一个核心模块,它提供了一组公共的接口和服务提供者接口(Service Provider Interface,SPI),被其他模块用来定义和扩展 Presto 的行为和功能,Presto通过SPI模块实现了一种松耦合的插件化架构,使得各种组件和功能可以通过实现接口和服务提供者接口来定制和扩展。这样的架构能够方便地支持不同的数据源和扩展需求,同时保持 Presto 的核心逻辑的完整性和可维护性。

3.1 插件协议

com.facebook.presto.spi#Plugin接口定义的功能方法如下:

public interface Plugin
{// 返回插件ConnectorFactory实现 -- 连接外部数据源default Iterable<ConnectorFactory> getConnectorFactories(){return emptyList();}// 返回插件提供的 BlockEncoding 实现,用于压缩和解压 Presto 内部数据结构,提高内存和网络传输效率default Iterable<BlockEncoding> getBlockEncodings(){return emptyList();}// 返回插件提供的类型(Type)实现,用于扩展 Presto 内置类型,支持更多不同种类、不同格式的数据default Iterable<Type> getTypes(){return emptyList();}// 返回插件提供的 ParametricType 实现,用于支持更复杂的泛型类型,比如 MAP<ARRAY<STRING>> 等default Iterable<ParametricType> getParametricTypes(){return emptyList();}// 返回插件提供的自定义函数实现,可以是 SQL 函数,也可以是自定义聚合函数或标量函数,这可以大幅提高 Presto 的灵活性和扩展性default Set<Class<?>> getFunctions(){return emptySet();}// 返回插件提供的 SystemAccessControlFactory 实现,用于自定义 Presto 的系统访问控制策略,比如授权、资源限制等default Iterable<SystemAccessControlFactory> getSystemAccessControlFactories(){return emptyList();}// 返回插件提供的 PasswordAuthenticatorFactory 实现,用于支持自定义 Presto 的密码认证方式default Iterable<PasswordAuthenticatorFactory> getPasswordAuthenticatorFactories(){return emptyList();}// 返回插件提供的 EventListenerFactory 实现,用于自定义一些事件的监听和处理机制,比如在 SQL 执行前/后添加日志功能等default Iterable<EventListenerFactory> getEventListenerFactories(){return emptyList();}// 返回插件提供的 ResourceGroupConfigurationManagerFactory 实现,用于自定义 Presto 的资源管理策略,比如作业分组、优先级等default Iterable<ResourceGroupConfigurationManagerFactory> getResourceGroupConfigurationManagerFactories(){return emptyList();}// 返回插件提供的 SessionPropertyConfigurationManagerFactory 实现,用于自定义 Presto 的会话属性配置,并在 SQL 执行时按照这些属性进行处理default Iterable<SessionPropertyConfigurationManagerFactory> getSessionPropertyConfigurationManagerFactories(){return emptyList();}// 返回插件提供的 FunctionNamespaceManagerFactory 实现,用于实现 Presto 的函数命名空间管理,这样可以支持不同用户、不同组织、不同数据源之间的函数隔离和共享default Iterable<FunctionNamespaceManagerFactory> getFunctionNamespaceManagerFactories(){return emptyList();}// 返回插件提供的 TempStorageFactory 实现,用于将一些中间结果存储到外部临时存储中,从而避免内存消耗过大,甚至导致 OutOfMemoryError;default Iterable<TempStorageFactory> getTempStorageFactories(){return emptyList();}// 返回插件提供的 QueryPrerequisitesFactory 实现,用于自定义 Presto 执行 SQL Query 前的准备工作,比如生成优化计划前的数据准备、元数据加载等;default Iterable<QueryPrerequisitesFactory> getQueryPrerequisitesFactories(){return emptyList();}// 返回插件提供的 NodeTtlFetcherFactory 实现,用于获取 Presto 集群中各个节点的服务生命周期状态,从而支持动态的节点上下线功能;default Iterable<NodeTtlFetcherFactory> getNodeTtlFetcherFactories(){return emptyList();}// 返回插件提供的 ClusterTtlProviderFactory 实现,用于支持 Presto Query 过期的功能,也就是定时清理历史查询的记录;default Iterable<ClusterTtlProviderFactory> getClusterTtlProviderFactories(){return emptyList();}// 返回插件提供的 ExternalPlanStatisticsProvider 实现,用于收集 Presto 执行计划的运行时统计信息,以便分析和优化执行性能。default Iterable<ExternalPlanStatisticsProvider> getExternalPlanStatisticsProviders(){return emptyList();}}

常见的 Presto 插件功能和作用:

  1. Connector 插件:用于连接不同的数据源,比如 Hadoop HDFS、Amazon S3、Apache Kafka、MySQL 等,使 Presto 可以查询和分析这些不同数据源中的数据。
  2. Function 插件:提供新的内置函数或用户自定义函数,丰富 Presto 的查询功能。这些函数可以用于数据转换、数学计算、字符串处理、日期处理等。
  3. Authentication/Authorization 插件:用于提供认证和授权机制,确保只有授权用户可以访问 Presto 引擎并执行查询操作。这可以通过集成现有的身份验证系统(如 Kerberos)或提供自定义的用户认证和授权逻辑来实现。
  4. SerDe 插件:提供用于序列化和反序列化数据的解析器,使得 Presto 可以读取和分析不同的数据格式,比如 JSON、Avro、Parquet 等。
  5. Metadata 插件:用于在 Presto 的元数据系统中添加新的数据源、表和列类型,使 Presto 可以理解和管理这些新的数据结构。
  6. Connector Manager 插件:负责管理和维护连接到 Presto 引擎的各个数据源连接。它可以提供连接池、连接的生命周期管理等功能。

3.2 插件实现类

在这里插入图片描述
Presto 插件常见接口及其对应的实现类:

  1. Connector:该接口定义了与外部数据源连接的功能。一些常见的 Connector 接口的实现类包括:
    ○ JdbcConnector:用于连接支持 JDBC 协议的关系型数据库,如 MySQL、PostgreSQL、Oracle 等。
    ○ HiveConnector:用于连接 Hive 数据仓库,支持查询 Hive 表格和视图。
    ○ KafkaConnector:用于连接 Apache Kafka 流处理平台,支持读取和写入 Kafka 主题。
  2. Function:该接口定义了自定义 SQL 函数的功能。一些常见的 Function 接口的实现类包括:
    ○ ScalarFunction:实现标量函数,接收一个或多个输入参数,并返回一个结果。
    ○ AggregateFunction:实现聚合函数,对一个数据集进行计算,返回一个聚合结果。
    ○ WindowFunction:实现窗口函数,对数据窗口进行聚合计算,并返回一个结果集。
  3. Type:该接口定义了自定义数据类型的功能。一些常见的 Type 接口的实现类包括:
    ○ ArrayType:实现数组类型,表示包含多个元素的数组。
    ○ MapType:实现映射类型,表示键值对映射的数据结构。
    ○ RowType:实现行类型,表示一组具有命名字段的数据。
  4. Split:该接口定义了查询任务(split)的功能。一些常见的 Split 接口的实现类包括:
    ○ FileSplit:用于处理文件分割任务。
    ○ TableSplit:用于处理表格分割任务。
    ○ PartitionSplit:用于处理分区分割任务。
    在 presto-main 、presto-hive、presto-jdbc 等模块中,都提供了相应的实现类来实现上述接口,以便连接不同的数据源、定义自定义函数和类型,并处理查询任务。此外,还可以根据需要自定义实现这些接口,以满足特定需求。

常见的JDBCPlugin(关系库插件); HivePlugin 示例:
在这里插入图片描述

4. 插件加载过程

Presto插件加载是在Presto启动时进行如下:
com.facebook.presto.server#run


....
// 创建 Bootstrap 对象:通过创建 Bootstrap 对象来启动 Presto,并传入一个模块列表。
// Bootstrap 是 Presto 提供的一个启动类,用于初始化 Presto 的运行环境并加载必要的模块。
Bootstrap app = new Bootstrap(modules.build());try {// 初始化并获取 Injector:使用 app.initialize() 方法初始化 Bootstrap 对象,// 返回一个 Injector 实例。Injector 是 Guice 框架提供的依赖注入容器,// 用于管理 Presto 中的对象依赖关系。Injector injector = app.initialize();// 加载插件:通过获取 PluginManager 实例,调用 loadPlugins() 方法加载插件。//PluginManager 是 Presto 的插件管理器,负责加载、管理和扩展 Presto 的插件。injector.getInstance(PluginManager.class).loadPlugins();ServerConfig serverConfig = injector.getInstance(ServerConfig.class);if (!serverConfig.isResourceManager()) {injector.getInstance(StaticCatalogStore.class).loadCatalogs();}.......

4.1 PluginManager

在这里插入图片描述
Presto的插件管理器(PluginManager)负责加载所有的插件。以下是其基本的工作流程:

  1. Presto在启动时,会通过配置文件(通常是config.properties)来确定插件的目录(plugin.dir)。
  2. 插件管理器会扫描这个目录以及其子目录,寻找任何有效的插件。
  3. 对于每个找到的插件,插件管理器会创建一个新的类加载器,然后使用这个类加载器来加载插件的类。
  4. 插件管理器会调用插件的ConnectorFactory,创建一个新的Connector实例。
  5. 这个新的Connector实例会被添加到Presto的全局Connector列表中。

这个过程是在Presto启动时自动进行的,所以所有的插件都会在Presto启动后立即可用。
如果你想要添加一个新的插件,你只需要将插件的jar文件和一个名为presto-plugin.properties的配置文件放到插件目录的一个新的子目录中。然后,你可以重新启动Presto,新的插件就会被自动加载。
注意:在加载插件时,Presto不会检查插件的版本或者兼容性。因此,你需要确保你的插件是与你的Presto版本兼容的。

loadPlugins加载方法如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其中加载配置路径由 config.properties文件中plugin.bundles或者plugin.dir 进行指定,plugin.bundles 是一个包含插件 JAR 文件路径的逗号分隔列表。每个 JAR 文件通常包含一个或多个 Presto 插件。这些 JAR 文件可以位于本地文件系统中,也可以是远程位置(如 HDFS 或 S3)。
当 Presto 启动时,它会扫描 plugin.bundles 中指定的 JAR 文件,加载其中的插件。
plugin.dir 则是指定一个目录,Presto 会在启动时扫描该目录下的所有 JAR 文件,并尝试加载其中的插件。与 plugin.bundles 不同的是,plugin.dir 只能指定一个目录路径,而不能包含多个逗号分隔的路径。
plugin.bundles 适用于在启动时加载预定义的插件 JAR 文件,而 plugin.dir 则适用于动态加载特定目录下的所有插件 JAR 文件。选择使用哪种方式取决于你的需求和插件管理的方式。

在这里插入图片描述

最终installPlugin()方法就是将插件中定义的各种功能注册到Presto中,使得Presto具备这些功能,扩展了Presto的能力和灵活性。通过安装插件,用户可以根据自己的需求来定制和配置Presto,满足不同场景下的数据处理需求。

在这里插入图片描述

5. 插件应用

由于篇幅有限这里仅分析函数的扩展案例:
比如我们要在SQL中实现一个集成支持向量机SVM进行分类模型的训练的机器学习函数,只需要直接集成Plugin

在这里插入图片描述
按照 如类似UDF等函数的写法实现自己的Presto机器学习函数
LearnClassifierAggregation 该类定义了三个方法:input()、combine() 和 output(),它们分别对应于聚合函数的三个阶段:输入(即接受输入行数据)、合并(将多个聚合器合并为一个)和输出(生成最终结果)

在这里插入图片描述

6. 总结

Presto以其插件机制设计,实现了高度的灵活性和可扩展性。通过插件接口,用户可以轻松地扩展和定制数据源、函数库、认证和授权、优化器和执行器等方面的功能。这种灵活性为用户提供了广泛的扩展和定制选项,使得Presto能够更好地适应多样化的应用场景。

作为一个大数据分布式计算框架,Presto拥有强大的功能和优势。它能够无缝地处理不同数据源、执行分布式内存计算,并具备灵活的执行器和监控功能。这些特性使得Presto在大数据领域的分布式计算环境中具有重要的地位和作用。

综上所述,Presto的插件机制为用户提供了灵活性和可扩展性,使其成为一个功能强大且适用广泛的分布式计算框架。在未来的大数据分析和处理中,Presto有望继续发挥重要的作用,并在不断演进的大数据环境中保持领先地位。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/132938.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

lombok依赖介绍(帮助我们消除冗长代码,如get,set方法)

前言 lombok 是一个 Java 工具库&#xff0c;通过注解的方式&#xff0c;简化 Java 开发。要想使用 lombok 中的注解&#xff0c;我们需要先引入依赖&#xff0c;推荐看idea必装插件EditStarters&#xff08;快速引入依赖&#xff09;&#xff0c;lombok是⼀款在编译期⽣成代码…

随身wifi编译Openwrt的ImmortalWrt分支

背景&#xff1a; 之前用酷安上下载的苏苏亮亮版友提供的Openwrt&#xff0c;在高通410棒子上刷机成功&#xff0c;但编译一直就没搞定。近期听说又出了个分支版本ImmortalWrt&#xff0c;刷了个版本&#xff0c;感觉界面清爽不少&#xff0c;内核也升级&#xff0c;遂打算搞定…

【Redis】SSM整合Redis注解式缓存的使用

&#x1f389;&#x1f389;欢迎来到我的CSDN主页&#xff01;&#x1f389;&#x1f389; &#x1f3c5;我是Java方文山&#xff0c;一个在CSDN分享笔记的博主。&#x1f4da;&#x1f4da; &#x1f31f;推荐给大家我的专栏《Redis》。&#x1f3af;&#x1f3af; &#x1f4…

【ML】分类问题

分类问题 classification&#xff1a;根据已知样本特征&#xff0c;判断输入样本属于哪种已知样本类。 常用入门案例&#xff1a;垃圾邮件检测、图像分类、手写数字识别、考试通过预测。 分类问题和回归问题的明显区别&#xff1a; 分类问题的结果是非连续型标签&#xff0c…

Netty入门指南之传统通信的问题

作者简介&#xff1a;☕️大家好&#xff0c;我是Aomsir&#xff0c;一个爱折腾的开发者&#xff01; 个人主页&#xff1a;Aomsir_Spring5应用专栏,Netty应用专栏,RPC应用专栏-CSDN博客 当前专栏&#xff1a;Netty应用专栏_Aomsir的博客-CSDN博客 文章目录 参考文献前言多线程…

基于APM(PIX)飞控和missionplanner制作遥控无人车-从零搭建自主pix无人车无人坦克

前面的步骤和无人机调试一样&#xff0c;可以参考无人机相关专栏。这里不再赘述。 1.安装完rover的固件后&#xff0c;链接gps并进行校准。旋转小车不同方向&#xff0c;完成校准&#xff0c;弹出成功窗口。 2.校准遥控器。 一定要确保遥控器模式准确&#xff0c;尤其是使用没…

轻量封装WebGPU渲染系统示例<20>- 美化一下元胞自动机(源码)

当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/feature/rendering/src/voxgpu/sample/GameOfLifePretty.ts 系统特性: 1. 用户态与系统态隔离。 2. 高频调用与低频调用隔离。 3. 面向用户的易用性封装。 4. 渲染数据(内外部相关资源)和渲染机制分离…

使用Anaconda安装TensorFlow环境以及没有搜到的报错的解决方法

1.在官网下载Anaconda 这一步几乎不会有人报错 下稳定的版本 或者最新的版本都可以 2.TensorFlow分两个版本 一个是用cpu跑 另一个是用gpu跑 显而易见 cpu的计算性能已经比不上现在主流的显卡了 所以有独显的电脑尽量安装gpu版本 CPU版本: 先给出cpu版本的安装方法: 打开A…

描述低轨星座的特点和通信挑战,以及它们在5G和B5G中的作用。

文章目录 2章4 章5章&#xff08;没看&#xff09;6章&#xff08;没看&#xff09; 2章 将卫星星座中每个物理链路中可实现的数据速率、传播延迟和多普勒频移与3GPP技术报告中的参数进行分析和比较[3]。 相关配置 面向连接的网络&#xff0c;预先简历链路 卫星和地面终端有…

自动化测试--验证邮件内容

场景 业务上有许多发送邮件的场景&#xff0c;发送的邮件基本上都是自动发送的&#xff0c;而且邮件内容是很重要的&#xff0c;对于邮件发没发送&#xff0c;发送的时间点对不对每次回归测试工作量太大了&#xff0c;所以考虑把这部分内容加入到自动化测试中 工具 python g…

了解计算机的大小端存储模式

我们在计算机中存储数据时&#xff0c;数据是如何组织和表示的是一个重要的问题。其中一个关键概念是 大小端存储模式&#xff08;Endianness&#xff09;&#xff0c;它描述了多字节数据在内存中的存储方式。本文将介绍大小端存储模式的原理、应用和区别。 什么是大小端存储模…

通过全流量查看部门或客户端网络使用情况

近年来&#xff0c;随着数字化转型和云计算服务的广泛应用&#xff0c;组织和企业对于网络带宽和性能的需求也在不断增长。 网络的稳定性、性能和安全性对于业务流程的顺畅运行至关重要。因此&#xff0c;了解部门或客户端网络的使用情况是网络管理和优化的关键。本文将通过Ne…

Docker数据管理、网络与Cgroup资源限制

目录 一、Docker的数据管理 1、数据卷 2、数据卷容器 3、端口映射 4、容器互联 二、Docker网络 2.1Docker网络实现原理 2.2Docker 的网络模式 3.3网络模式详解&#xff1a; host模式 container模式 none模式 bridge模式 自定义网络 创建自定义网络 三、Cgroup资源…

Maven修改仓库和镜像地址

目录 1、修改仓库地址2、修改镜像地址 1、修改仓库地址 使用IDEA时,如果不指定自己下载的Maven,idea会默认使用自带的Maven 3&#xff08;bundle)。maven 3默认的仓库路径一般是在c盘的用户文件夹中的.m2目录下&#xff1a; 当maven下的pom文件中的依赖逐渐增加时,maven仓库下…

0基础学习VR全景平台篇第116篇:认识修图软件Photoshop

上课&#xff01;全体起立~ 大家好&#xff0c;欢迎观看蛙色官方系列全景摄影课程&#xff01; 今天给大家讲解修图软件Photoshop&#xff0c;下面我们开始吧&#xff01; &#xff08;PS软件课程大纲&#xff09; 1.Photoshop是什么 发明人Adobe Photoshop&#xff0c;简称…

剑指Offer-推理二叉树

剑指Offer-推理二叉树 LCR 124. 推理二叉树 题目如下 某二叉树的先序遍历结果记录于整数数组 preorder&#xff0c;它的中序遍历结果记录于整数数组 inorder。请根据 preorder 和 inorder 的提示构造出这棵二叉树并返回其根节点。 注意&#xff1a;preorder 和 inorder 中均…

JavaScript作用域实战

● 首先&#xff0c;我们先创建一个函数&#xff0c;和以前一样&#xff0c;计算一个年龄的 function calcAge(birthYear) {const age 2037 - birthYear;return age; }● 然后我们创建一个全局变量&#xff0c;并调用这个函数 const firstName "IT知识一享"; cal…

Thread类的基本操作(JAVA多线程)

线程是操作系统中的概念&#xff0c;操作系统内核实现了线程这样的机制&#xff0c;并提供了一些API供外部使用。 JAVA中 Thread类 将系统提供的API又近一步进行了抽象和封装&#xff0c;所以如果想要使用多线程就离不开 Thread 这个类。 线程的创建(Thread类) 在JAVA中 创建…

中国多主数据库:压强投入,期待破茧

拿破仑曾说&#xff1a;“战争的艺术就是在某一点上集中最大优势兵力”&#xff0c;强调了力量集中的重要性。 如今&#xff0c;国际形势风云变幻&#xff0c;西方世界对中国的围剿不再仅仅体现在军事和地缘政治上&#xff0c;而更多表现在经济与科技上。在科技领域&#xff0…

Akshare获取同花顺行业

使用akshare可以很方便的获取同花顺行业列表&#xff0c;与每个行业对应的个股信息&#xff0c;流程如下&#xff1a; 使用ak.stock_board_industry_summary_ths()获取行业列表循环行业列表&#xff0c;使用ak.stock_board_industry_cons_ths()获取行业对应的个股信息 官方文…