Spark SQL----CREATE FUNCTION

Spark SQL----CREATE FUNCTION

  • 一、描述
  • 二、语法
  • 三、参数
  • 四、例子

一、描述

CREATE FUNCTION语句用于在Spark中创建临时或永久函数。临时函数的作用域位于会话级别,永久函数在持久目录中创建,并可用于所有会话。USING子句中指定的资源在第一次执行时可供所有执行器使用。除了SQL接口之外,spark还允许用户使用Scala、Python和Java API创建自定义的用户定义scalar和聚合函数。有关更多信息,请参阅Scalar UDFs和UDAFs。

二、语法

CREATE [ OR REPLACE ] [ TEMPORARY ] FUNCTION [ IF NOT EXISTS ]function_name AS class_name [ resource_locations ]

三、参数

  • OR REPLACE
    如果指定,则会重新加载函数的资源。这主要用于获取对函数实现所做的任何更改。此参数与IF NOT EXISTS互斥,不能一起指定。
  • TEMPORARY
    指示正在创建的函数的范围。当指定了TEMPORARY时,创建的函数是有效的,并且在当前会话中可见。目录中没有为这类函数创建持久条目。
  • IF NOT EXISTS
    如果指定,则仅在函数不存在时创建该函数。如果指定的函数已存在于系统中,则函数的创建将成功(不会引发错误)。此参数与OR REPLACE互斥,不能一起指定。
  • function_name
    指定要创建的函数的名称。函数名称可以选择性地用数据库名称限定。
    语法:[ database_name. ] function_name
  • class_name
    指定为要创建的函数提供实现的类的名称。实现类应按如下方式扩展其中一个基类:
    • 应在org.apache.hadoop.hive.ql.exec包中扩展UDF或UDAF。
    • 应在org.apache.hadoop.hive.ql.udf.generic包中扩展AbstractGenericUDAFResolver、GenericUDF或GenericUDTF。
    • 应在org.apache.spark.sql.expressions包中扩展UserDefinedAggregateFunction。
  • resource_locations
    指定包含函数实现及其依赖项的资源列表。
    语法:USING { { (JAR | FILE | ARCHIVE) resource_uri } , … }

四、例子

-- 1. Create a simple UDF `SimpleUdf` that increments the supplied integral value by 10.
--    import org.apache.hadoop.hive.ql.exec.UDF;
--    public class SimpleUdf extends UDF {
--      public int evaluate(int value) {
--        return value + 10;
--      }
--    }
-- 2. Compile and place it in a JAR file called `SimpleUdf.jar` in /tmp.-- Create a table called `test` and insert two rows.
CREATE TABLE test(c1 INT);
INSERT INTO test VALUES (1), (2);-- Create a permanent function called `simple_udf`. 
CREATE FUNCTION simple_udf AS 'SimpleUdf'USING JAR '/tmp/SimpleUdf.jar';-- Verify that the function is in the registry.
SHOW USER FUNCTIONS;
+------------------+
|          function|
+------------------+
|default.simple_udf|
+------------------+-- Invoke the function. Every selected value should be incremented by 10.
SELECT simple_udf(c1) AS function_return_value FROM test;
+---------------------+
|function_return_value|
+---------------------+
|                   11|
|                   12|
+---------------------+-- Created a temporary function.
CREATE TEMPORARY FUNCTION simple_temp_udf AS 'SimpleUdf' USING JAR '/tmp/SimpleUdf.jar';-- Verify that the newly created temporary function is in the registry.
-- Please note that the temporary function does not have a qualified
-- database associated with it.
SHOW USER FUNCTIONS;
+------------------+
|          function|
+------------------+
|default.simple_udf|
|   simple_temp_udf|
+------------------+-- 1. Modify `SimpleUdf`'s implementation to add supplied integral value by 20.
--    import org.apache.hadoop.hive.ql.exec.UDF;--    public class SimpleUdfR extends UDF {
--      public int evaluate(int value) {
--        return value + 20;
--      }
--    }
-- 2. Compile and place it in a jar file called `SimpleUdfR.jar` in /tmp.-- Replace the implementation of `simple_udf`
CREATE OR REPLACE FUNCTION simple_udf AS 'SimpleUdfR'USING JAR '/tmp/SimpleUdfR.jar';-- Invoke the function. Every selected value should be incremented by 20.
SELECT simple_udf(c1) AS function_return_value FROM test;
+---------------------+
|function_return_value|
+---------------------+
|                   21|
|                   22|
+---------------------+

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/871170.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

批量提取PDF指定区域内容到 Excel , 根据PDF文件第一行文字来自动重命名v1.3-附思路和代码实现

本次文章更新内容,图片以及扫描的PDF也可以支持批量提取指定区域内容了,主要是通过截图指定区域,然后使用OCR来识别该区域的文字来实现的,所以精度可能会有点不够,但是如果是数字的话,问题不大;…

高级java每日一道面试题-2024年7月13日

面试官问: 你对序列化了解多少 我回答 1. 什么是序列化和反序列化 序列化:是指将对象的状态转换为字节流的过程,使得对象可以被存储或在网络中传输。反序列化:则是将字节流还原成对象的过程。 2. 目的和用途 **数据存储:**将…

一周年——相遇知音

——献给ZINCFFO 有梦便追,何惧? “杂乱无章”的代码片在昏暗的灯光下显得让人心生些许倦意。“我为什么天天都要练习呢?”无奈地合上笔记本电脑,当时多么想把电脑䣹(fāi)在地上,那就仿佛放下…

OpenGL笔记五之VBO与VAO

OpenGL笔记五之VBO与VAO 总结自bilibili赵新政老师的教程 code review! 文章目录 OpenGL笔记五之VBO与VAO1.VBO2.VAO3.VBO与VAO对比 1.VBO 代码 void prepareVBO() {//1 创建一个vbo *******还没有真正分配显存*********GLuint vbo 0;GL_CALL(glGenBuffers(1, &vbo))…

使用uni-app和Golang开发影音类小程序

在数字化时代,影音内容已成为人们日常生活中不可或缺的一部分。个人开发者如何快速构建一个功能丰富、性能优越的影音类小程序?本文将介绍如何使用uni-app前端框架和Golang后端语言来实现这一目标。 项目概述 本项目旨在开发一个个人影音类小程序&#…

Spring Boot 实现统一异常处理:构建健壮的应用

在Web应用开发中,异常处理是确保应用稳定性和用户体验的关键环节。Spring Boot以其便捷的配置和强大的生态系统,为开发者提供了统一处理异常的强大工具。本文将详细介绍如何在Spring Boot项目中实现统一的异常处理,以提升应用的健壮性和可维护…

微分方程建模

微分方程建模是数学建模的重要方法,因为许多实际问题的数学描述将导致求解微分方程的定解问题。在高教杯数学建模竞赛中每年都会有一道微分方程建模问题,大体上可以按以 下几步: 1. 根据实际要求确定要研究的量(自变量、未知函数、必要的参数…

云盘挂载 开机自动模拟 cmd- alist server

云盘挂载 开机自动模拟 cmd- alist server 打开Kimi智能助手, 网址:Kimi.ai - 帮你看更大的世界 (moonshot.cn) 问他: 帮我写一个vbs命令:在D:\sky目录下, 然后cmd, 进入命令行后, 输入 alist server 然后回车 这里 这个目录, 换成自己的 alist.exe所在目录 下面是我完善的示…

GitHub连接超时问题 Recv failure: Connection was reset

用手机热点WIF拉取git项目的时候,遇到Recv failure: Connection was reset问题。 解决办法 一、手动开启本地代理 二、在终端(cmd)输入命令 git config --global http.proxy http://127.0.0.1:7890 git config --global https.proxy https:…

大模型-基于大模型的数据标注

法来自于这篇论文:Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine。 一.背景 假设,存在一批标注好的数据D_labeled,其包含m个标注样本(x, y)。 目标是,基于D_labeled&#xff…

Linux安全技术与防火墙

一、安全技术和防火墙 1.1 安全技术 入侵检测系统:特点是不阻断网络访问,主要是提供报警和时候报警,不主动介入。 入侵防御系统:透明模式工作,对数据包、网络监控、服务攻击、木马蠕虫、系统漏洞等等进行准确的分析和…

MySql 数据库 (基础) - 下载安装

MySQL数据库 简单介绍 数据库 数据存储的仓库数据库管理系统 操作和管理数据库的大型软件SQL 操作关系型数据库的变成语言,是一套标准 版本 MySQL官方提供了两种不同的版本: 社区版 免费,MySQL不提供任何的技术支持商业版 收费&#xff0c…

【研路导航】重庆大学计算机保研面试真题分享交流

写在前面 在保研的道路上,面试是非常重要的一环。这里是成功保研到重庆大学的学长的计算机保研面试的部分真题及详细解答 ! Q 快速排序和合并排序: 快速排序(quicksort) 和合并排序(merge sort) 两种方法都将输入的待排序序列划分为2个子序列&#xf…

树的概念与二叉树的实现

目录 一. 树的概念 二. 访问树的方法 1. 左孩子右兄弟法 2. 双亲表示法 3. 顺序表存孩子的指针(孩子表示法) 三. 二叉树 1. 二叉树的定义 2. 特殊二叉树 3. 二叉树的性质 4. 存储方式 四. 二叉树的前中后序遍历 1. 前序遍历 2. 中序遍历 3. …

通用型I2C接口的应用之综合应用(N32G45XVL-STB)

通用型I2C接口的应用之综合应用(N32G45XVL-STB) 目录 概述 1 软硬件接口 1.1 硬件接口 1.2 开发软硬件信息 1.3 SHT-20模块电路 1.4 0.9寸OLED模块介绍 2 驱动接口实现 2.1 SHT20驱动接口 2.2 OLED驱动接口 3 应用接口实现 3.1 软件框架 3.…

vue3 学习笔记08 -- computed 和 watch

vue3 学习笔记08 – computed 和 watch computed computed 是 Vue 3 中用于创建计算属性的重要 API,它能够根据其它响应式数据动态计算出一个新的值,并确保在依赖数据变化时自动更新。 基本用法 squaredCount 是一个计算属性,它依赖于 count…

C语言基础and数据结构

C语言程序和程序设计概述 程序:可以连续执行的一条条指令的集合 开发过程:C源程序(.c文件) --> 目标程序(.obj二进制文件,目标文件) --> 可执行文件(.exe文件) -->结果 在任何机器上可以运行C源程序生成的 .exe 文件 没有安装C语言集成开发环境,不能编译C语言程…

常见算法和数据结构(如排序、搜索、链表、树等)。

在计算机科学中,算法和数据结构是解决问题的基石。下面是一些常见的算法和数据结构的简要描述: 常见算法 排序算法: 冒泡排序:通过重复遍历要排序的数列,比较每对相邻元素的值,若发现顺序错误则交换之&am…

Scala学习笔记16: 注解

目录 第十六章 注解1- 常见的Scala注解1.1 标准注解1.2 Java注释 2- 自定义注解3- 注解的使用场景3.1 编译时处理3.2 运行时反射 4- 注解参数end 第十六章 注解 Scala 中的注解 (Annotations) 是一种元编程工具, 用于向编译器、运行时或其他工具提供元数据 ; 注解可以应用于各…

Open-TeleVision——通过VR沉浸式感受人形机器人视野的远程操作

前言 7.3日,我司大模型机器人(具身智能)线下营群里的一学员发了《Open-TeleVision: Teleoperation with Immersive Active Visual Feedback》这篇论文的链接,我当时快速看了一遍,还是有价值的一个工作(其有受mobile aloha工作的启发)&#x…