Kyuubi的介绍优势(官网链接)

官网链接:https://kyuubi.apache.org/

Apache Kyuubi™ 是一个分布式多租户网关,用于在数据仓库和 Lakehouse 上提供无服务器 SQL。

Kyuubi 在各种现代计算框架(例如 Apache Spark、 Flink、 Doris、 Hive和Trino等)之上构建分布式 SQL 查询引擎,以查询来自异构数据源的分布在大量机器上的海量数据集。

下面泳道的 Kyuubi 服务器通道将我们的潜在用户分为最终用户和管理员。一方面,它向最终用户隐藏了计算和存储的技术细节。因此,他们可以使用熟悉的工具专注于自己的业务和数据。另一方面,它向管理员隐藏了业务逻辑的复杂性。因此,他们可以在零维护停机时间的情况下升级服务器端的组件,通过清楚地了解最终用户正在做什么来优化工作负载,确保集群和数据安全的身份验证、授权和审计等等

在这里插入图片描述
总的来说,Kyuubi 的完整生态系统分为上图所示的层次结构,每一层之间都是松散耦合的。将上面的一些组件组合起来构建一个现代数据堆栈就像小孩子的游戏一样。例如,您可以使用 Kyuubi、Spark 和Iceberg来构建和管理 Data Lakehouse,并使用纯 SQL 进行数据处理(例如 ETL)和在线分析处理(OLAP)(例如 BI)。所有工作负载都可以在一个平台上使用一份数据副本和一个 SQL 接口来完成。

统一网关
Server模块起到统一网关的作用。该服务器可以通过入口点简化、安全地访问任何集群资源,从而为最终(远程)用户部署不同的工作负载。在这个单一条目的背后,管理员可以通过单一点来配置、安全和控制对集群的远程访问。最终用户可以使用他们所需的任何 Kyuubi 引擎进行无缝数据处理,从而获得更好的体验。

应用程序编程接口
最终用户可以使用下面列出的应用程序编程接口在支持的客户端和 Kyuubi 服务器之间进行连接和互操作。当前的实现是:

Hive 节俭协议
一个与 HiveServer2 兼容的接口,允许最终用户使用 thrift 客户端(跨语言支持,tcp 和 http)、基于 thrift的 Java 数据库连接(JDBC)接口或基于 JDBC的开放数据库连接(ODBC)接口。 to-ODBC 桥与 Kyuubi 进行通信。

RESTful API
它提供系统管理API,包括引擎、会话、操作和其他API。

它提供了允许客户端提交SQL查询并接收查询结果、提交元数据请求并接收元数据结果的方法。

它可以轻松提交用于批处理的独立应用程序,例如 Spark 作业。

MySQL协议
与 MySQL 兼容的接口,允许最终用户使用 MySQL 连接器(例如 Connector/J)与 Kyuubi 进行通信。

我们计划添加更多
如果您有任何想法或问题,请加入我们的邮件列表。

多租户
Kyuubi 支持端到端多租户。在控制层面,Kyuubi服务器提供集中式身份验证层,以降低数据和资源泄露的风险。它支持各种协议,例如 LDAP 和 Kerberos,以保护客户端和服务器之间的网络安全。在数据平面上,Kyuubi 引擎使用相同的可信客户端身份来实例化自身。资源获取以及数据和元数据访问都发生在它们自己的引擎内。因此,集群管理者和存储提供商可以轻松保证数据和资源的安全。此外,Kyuubi还提供引擎授权扩展,将数据安全模型优化到细粒度的行/列级别。请参阅安全页面以获取更多信息。

高可用性
Kyuubi 采用高可用性 (HA) 设计,确保其在指定时间内连续运行而不会出现故障。HA 致力于提供符合商定的运营绩效水平的 Kyuubi。

负载均衡
由于多租户访问,Kyuubi 在实际生产环境中必须确保高可用性。

有效防止单点故障。

它有助于实现计划系统维护的零停机时间

故障可检测性
kyuubi 服务器和引擎的故障和系统负载通过指标、日志等可见。

无服务器 SQL 及更多
Lakehouses 上的无服务器 SQL 使最终用户能够更轻松地从数据世界中获取洞察并优化数据管道。它可以:

使用熟悉的 SQL 处理各种工作负载,获得与 RDBMS 相同的用户体验。

跨不同数据源的广泛且安全的数据访问能力。

通过可扩展的计算资源实现大量数据的高性能。

此外,Kyuubi 还支持无服务器提交代码片段和独立应用程序,以实现更高级的使用。

易于使用
最终用户可以使用 JDBC + SQL 或 REST + 代码以无服务器方式探索数据世界,从而获得优化的体验。对于大多数场景来说,不再需要Spark、Flink等相应引擎的超强能力。也就是说,大部分与部署、运行时优化等相关的工作,应该由Kyuubi服务器端的专业人员来完成。适用于以下场景:

基本发现和探索
快速推断云存储或本地 HDFS 集群中数据湖中各种格式(Parquet、CSV、JSON、文本)的数据。

湖屋形成和分析
通过 Hudi、Iceberg 或/和 Delta Lake 轻松构建 ACID 表存储层。

逻辑数据仓库
在不同数据之上提供关系抽象,无需 ETL 作业(从收集到连接)。

随处、任意规模运行
大多数 Kyuubi 引擎类型都有分布式后端或者可以在运行时调度分布式任务。它们可以在单节点机器或集群(例如 YARN 和 Kubernetes)上处理数据。此外,Kyuubi服务器还支持在裸机或docker中运行。

高性能
查询性能是实施 Serverless SQL 的关键因素之一。在最先进的大数据查询引擎上实现可维护性为我们实现这一目标奠定了基础:

最先进的查询引擎

多种应用以实现高吞吐量

可共享执行运行时以实现低延迟

服务器端全局持续优化

辅助性能插件,例如 Z-Ordering、查询优化器等

Serverless SQL 的另一个目标是让最终用户不需要或很少关心棘手的性能优化问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/3744.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

全志F1C200S嵌入式驱动开发(GPIO输出)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 和v3s一样,f1c200s本身的外部引脚比较少。所以这个时候,不可避免地,很多引脚的功能就会重叠在一起。这种情况下,我们就要学会取舍了。比如说,如果是学习sd卡的时候,那么spi的…

MS1826 HDMI 四进四出多功能视频处理器

MS1826 是一款多功能视频处理器,包含 4 路独立 HDMI 音视频输入通道、4 路独立 HDMI 音视频输出通道以及四路独立可配置为输入或者输出的 SPDIF、I2S 音频信号。支持 4 个独立 的字库定制型 OSD;可处理隔行和逐行视频或者图形输入信号;有四…

CSS——基础知识及使用

CSS 是什么 CSS是层叠样式表 (Cascading Style Sheets)的简写.CSS 能够对网页中元素位置的排版进行像素级精确控制, 实现美化页面的效果. 能够做到页面的样式和结构分离。 基本语法规范 选择器 { 一条/N条声明 } 选择器决定针对谁修改 (找谁)声明决定修改啥. (干啥)声明的…

css3的新特性

动画效果 过渡 transition 鼠标放上去瞬间变大 过渡是变大的过程慢慢变化 第一个参数:对哪些值进行过渡。all为hover中所有,也可以指定属性 第二个参数:让动画过渡多长时间。要添加单位(s秒) 第三个参数&#xff1…

P5708 【深基2.习2】三角形面积

题目描述 一个三角形的三边长分别是 �a、�b、�c,那么它的面积为 �(�−�)(�−�)(�−�)p(p−a)(p−b)(p−c)​,其中 �12(&a…

D354周赛复盘:特殊元素平方和+数组最大美丽值(滑动窗口)+合法分割最小下标

文章目录 6889.特殊元素平方和思路完整版取模注意:不能对0取余/取模解答错误:本题的数组最后一个下标是nums[nums.size()] 6929.数组的最大美丽值(排序滑动窗口)思路1:排序滑动窗口注意点 6927. 合法分割的最小下标&am…

golang网络编程学习-TCP

golang网络编程学习-TCP 网络编程主要的内容是: 1.TCP网络编程 2.http服务 3.rpc服务 4.websocket服务 golang网络编程学习-TCP 一、TCP/IP TCP/IP是一种协议簇,它是网络通信的基础,是互联网的核心协议,负责数据在网络中的传输。它…

SpringBoot+actuator和admin-UI实现监控中心

使用SpringBoot很久了&#xff0c;但是很少使用到SpringBoot的查看和监控&#xff0c;将来八成也不会用到&#xff0c;万一有机会用到呢&#xff1f;所以记录一下以前学习SpringBootactuator和adminUI实现监控中心的方式 Springboot的版本2.0.x <parent><groupId>…

Spring学习记录---回顾反射机制

目录 10.回顾反射机制 10.1 分析方法四要素 //不使用反射机制调用这些方法 使用反射机制调用方法 代码&#xff1a; 运行结果&#xff1a; 10.4 假设你知道属性名 测试代码 运行结果 10.回顾反射机制 10.1 分析方法四要素 package com.dong.reflect;public class Som…

【java爬虫】将优惠券数据存入数据库排序查询

本文是在之前两篇文章的基础上进行写作的 (1条消息) 【java爬虫】使用selenium爬取优惠券_haohulala的博客-CSDN博客 (1条消息) 【java爬虫】使用selenium获取某宝联盟淘口令_haohulala的博客-CSDN博客 前两篇文章介绍了如何获取优惠券的基础信息&#xff0c;本文将获取到的…

Make:默认构建目标(终极目标)

相关文章 Make&#xff1a;目标&#xff08;Target&#xff09;构建的详细和依赖项的处理过程&#xff08;个人总结&#xff09; 默认情况下make命令的构建从第一个没有 . 前缀的目标&#xff08;target&#xff09;开始&#xff08;除非有 . 前缀的目标中有一个或更多 / &…

PyTorch 1.13简介

# 1.  PyTorch 1.13 据官方介绍&#xff0c;PyTorch 1.13 中包括了 BetterTransformer 的稳定版&#xff0c;且不再支持 CUDA 10.2 及 11.3&#xff0c;并完成了向 CUDA 11.6 及 11.7 的迁移。此外 Beta 版还增加了对 Apple M1 芯片及 functorch 的支持。 1.1 主要更新 Be…

php运算符的基本使用

$base 20; $height 10; $area $base * $height; 我用来将base与height相乘的* &#xff0c;就是乘法运算。 我们有相当多的运算符&#xff0c;让我们对主要的运算符做一个简单的总结。 首先&#xff0c;这里是算术运算符。,-,*,/ &#xff08;除法&#xff09;,% &#x…

C++第四讲

思维导图 仿照string类&#xff0c;实现myString类 /* ---------------------------------author&#xff1a;YoungZorncreated on 2023/7/19 19:20.--------------------------------- */ #include<iostream> #include<cstring>using namespace std;class myStri…

【Windows】查找占用端口的进程、结束进程

记录一下在windows环境下通过命令行窗口进行进程有关的几个操作。 1、查找占用端口的进程ID(PID)&#xff1a; netstat -ano|findstr 28087 假如PID为21812、根据PID找进程名称&#xff1a; tasklist | findstr 2181 发现是占用28087端口的进程为&#xff1a;java.exe。 3、…

【数据结构】时间复杂度---OJ练习题

目录 &#x1f334;时间复杂度练习 &#x1f4cc;面试题--->消失的数字 题目描述 题目链接&#xff1a;面试题 17.04. 消失的数字 &#x1f334;解题思路 &#x1f4cc;思路1&#xff1a; malloc函数用法 &#x1f4cc;思路2&#xff1a; &#x1f4cc;思路3&…

LeetCode(字节10日)-0714

648. 单词替换(中等) 思路&#xff1a;前缀树匹配 // 思路&#xff1a;前缀树匹配&#xff0c;成功返回前缀&#xff0c;失败返回 null&#xff0c;保留原来单词值 // 多个词根时使用最短词根&#xff0c;不需要 fail 指针 // string 处理使用 stringBuilder&#xff0c;避…

如何使用DiskPart命令行格式化分区?

想要格式化磁盘分区&#xff0c;您可以使用磁盘管理工具&#xff0c;或在Windows文件资源管理器中右键单击驱动器并选择“格式化”。如果您更想使用命令行来格式化磁盘&#xff0c;那么Windows自带的DiskPart将是首选。 DiskPart有很多优点&#xff0c;例如&#xff0c;如果您想…

最短Hamilton路径

题目 给定一张 n 个点的带权无向图&#xff0c;点从 0∼n−1 标号&#xff0c;求起点 0 到终点 n−1 的最短 Hamilton 路径。 Hamilton 路径的定义是从 0 到 n−1 不重不漏地经过每个点恰好一次。 输入格式 第一行输入整数 n。 接下来 n 行每行 n 个整数&#xff0c;其中第…

活动页服务端渲染探索

目标 通过采用在服务端渲染激励页的方式&#xff0c;降低页面加载白屏时间&#xff0c;从而提升激励 H5 渲染体验。 架构设计 前端服务框架调研选型 只对比分析以下两种方案&#xff1a; Vue3 Nuxt3 WebpackNext.js React Node.js ’Nuxt3Next.js介绍Nuxt是一个基于Vu…