HetuEngine简介

目录

HetuEngine是什么?

HetuEngine的特点以及使用场景

特点

使用场景

HetuEngine介绍

结构


近期用到了Hetu,了解下这个工具是起什么作用的。

HetuEngine是什么?

是引擎,设计是为了让与当前的大数据生态完美融合的引擎,这里的大数据生态例如存储层的Hive、HBase、ClickHouse等。

它是一个一站式SQL分析引擎,相当于在Hive、GaussDB这种异源数据上面新增了一个上层页面,我们在上层页面写一个SQL,这个SQL中可以同时用到Hive的A表和GaussDB的B表,底层会自动到相应的数据库中执行、返值等,也就是能把跨源、跨域的数据,关联到一起做分析,而不用关注多类的数据去写多类的SQL,中间去搞各种临时表。

“河图引擎”在华为的描述中,可以逻辑数据湖大规模数据融合分析提效50倍,开发效率提高210倍,后者我们倒是好理解,在开发者侧,引擎它屏蔽了底层的数据存储设施的复杂度,能像使用普通例如MySQL数据库一样使用大数据,能复用各种之前的技能、工具;前者对于分析效率的提高,我们接下来看看为什么怎么高。

HetuEngine的特点以及使用场景

特点

  1. 完全的内存计算,自动实现计算下推,动态过滤等,实现PB级数据毫秒级响应。
  2. 优化的计算引擎,先进的分布式计算框架和优化算法,能更高效地分配计算资源,并行处理数据,从而大大提高计算速度。
  3. 智能的数据缓存与预取,预测和提前加载常用数据,减少数据读取的时间开销,加速分析过程,减少IO浪费。
  4. 拥有强大的查询优化器,能够自动分析查询语句,制定最优的执行计划,避免不必要的计算和数据访问。
  5. 有效地管理和调度系统资源,确保在大规模数据处理时资源得到充分利用,避免资源竞争和浪费。

使用场景

主要还是跨数据源融合分析,整合来自不同数据源(如关系型数据库、大数据系统、NoSQL 数据库等)的数据,进行统一的分析,而不用把各种源的数据先统一抽取转换到一个统一的中间库中。

另外其实同理的就是,适用于跨域,即多个地域或者说数据中心的快速联合查询。

特别说下就是大批量、特别复杂逻辑的批处理场景其实不太适合用HetuEngine。

官网上也强调了“尤其适用于Hadoop集群(MRS)的Hive、Hudi数据的交互式快速查询场景”。

HetuEngine介绍

结构

数据层:即HetuEnging支持的数据源,其实也就是数据实际存储的位置。

引擎层:HetuEnging接收SQL、解析SQL、并行拉取数据层数据、分布式计算的地方。

服务层:门户、数据源连接以及管理等配置页面。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/42026.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

本安防爆手机:危险环境下的安全通信解决方案

在石油化工、煤矿、天然气等危险环境中,通信安全是保障工作人员生命安全和生产顺利进行的关键。防爆智能手机作为专为这些环境设计的通信工具,提供了全方位的安全通信解决方案。 防爆设计与材料: 防爆智能手机采用特殊的防爆结构和材料&…

Mysql部署MHA高可用

部署前准备: mysql-8.0.27下载地址:https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.27-1.el7.x86_64.rpm-bundle.tar mha-manager下载地址:https://github.com/yoshinorim/mha4mysql-manager/releases/download/v0.58/mha4mysql-mana…

【Selenium】 使用save_screenshot截图无法保存图片

Selenium 使用save_screenshot截图无法保存 代码如下 from time import sleep from selenium import webdriver driver webdriver.Chrome() driver.maximize_window() driver.get(http://www.baidu.com) # 截取当前窗口,指定截图图片的保存位置 driver.save_scre…

为什么需要做网络安全服务?

网络安全服务之所以重要,是因为它在保护数字资产、维护企业运营、确保法规遵从、防范恶意行为以及建立信任等方面扮演着关键角色。以下是一些主要的理由: 保护核心资产和数据: 数字化转型使得企业数据变得极其宝贵,包括知识产权、…

深度学习模型加密python版本

支持加密的模型: # torch、torch script、onnx、tensorrt 、torch2trt、tensorflow、tensorflow2tensorrt、paddlepaddle、paddle2tensorrt 深度学习推理模型通常以文件的形式进行保存,相应的推理引擎通过读取模型文件并反序列化即可进行推理过程. 这样一来&#…

数据库——事务管理

title: 数据库——事务管理 date: 2024-07-06 11:55:39 tags: 数据库 categories: 数据库 cover: /image/T1.jpg description: 数据库的事务管理的相关知识 事务管理 事务管理是对一系列数据库操作进行管理的过程,这些操作被视为一个不可分割的工作单元&#xff0…

20K Stars!一个轻量级的 JS 库

大家好,我是CodeQi! 一位热衷于技术分享的码仔。 Driver.js 是一个轻量级的 JavaScript 库,旨在帮助开发人员创建网站或应用程序的引导和教程。通过 Driver.js,您可以引导用户了解网站的各个功能和使用方式。 Driver.js 提供了高度可定制的功能,使其能够适应各种需求和…

宝塔-Linux模板常用命令-centos7

一、宝塔-Linux模板常用命令: 1.停止宝塔 /etc/init.d/bt stop 2.启动宝塔 /etc/init.d/bt start 3.重启宝塔 /etc/init.d/bt restart 4.卸载宝塔 /etc/init.d/bt stop && chkconfig --del bt && rm -f /etc/init.d/bt && rm -rf …

如何使用echart做K线图

使用ECharts制作K线图需要先引入ECharts的库文件&#xff0c;然后通过调用相应的API来配置和渲染K线图。以下是一个简单的示例代码&#xff1a; // 引入ECharts库文件 <script src"https://cdn.jsdelivr.net/npm/echarts5.0.0/dist/echarts.min.js"></scri…

使用Python绘制和弦图

使用Python绘制和弦图 和弦图效果代码 和弦图 和弦图用于展示数据的多对多关系&#xff0c;适合用于社交网络、交通流量等领域的分析。 效果 代码 import pandas as pd import holoviews as hv from holoviews import opts hv.extension(bokeh)# 示例数据 data [(A, B, 2),…

想在vue中预览doxc,excel,pdf文件? vue-office提供包支持

在浩瀚的Vue生态中&#xff0c;vue-office犹如一颗璀璨的星辰&#xff0c;以其独特的魅力照亮了开发者处理多种文件格式的预览之路。这款精心打造的Vue组件库&#xff0c;不仅拥抱了Vue2的经典&#xff0c;也紧密跟随Vue3的步伐&#xff0c;展现了卓越的技术前瞻性和兼容性。它…

印尼网络安全治理能力观察

在全国国际机场的移民服务完全瘫痪 100 多个小时后&#xff0c;印尼政府承认其新成立的国家数据中心 (PDN) 遭受了网络攻击。 恶意 Lockbit 3.0 勒索软件加密了存储在中心的重要数据&#xff0c;其背后的黑客组织要求支付 800 万美元的赎金。 不幸的是&#xff0c;大多数数据…

递推平均滤波法(又称滑动平均滤波法)

递推平均滤波法(又称滑动平均滤波法) 递推平均滤波法:把连续取得的N个采样值看成一个队列,队列的长度固定为N,每次采样到一个新数据放入队尾,并扔掉原来队首的一次数据(先进先出原则),把队列中的N个数据进行算术平均运算,获得新的滤波结果。 优点: 对周期性干扰有良…

性能测试相关理解(一)

根据学习全栈测试博主的课程做的笔记 一、说明 若未特别说明&#xff0c;涉及术语都是jmeter来说&#xff0c;线程数&#xff0c;就是jmeter线程组中的线程数 二、软件性能是什么 1、用户关注&#xff1a;响应时间 2、业务/产品关注&#xff1a;响应时间、支持多少并发数、…

深入解析 androidx.databinding.Bindable 注解

在现代 Android 开发中&#xff0c;数据绑定 (Data Binding) 是一个非常重要的技术。它使得我们能够简化 UI 和业务逻辑之间的连接&#xff0c;从而提高代码的可读性和维护性。在数据绑定中&#xff0c;Bindable 注解是一个关键部分&#xff0c;它帮助我们实现双向数据绑定和自…

Apache Doris的分区与分桶原理解析

介绍 在 Apache Doris 中,“分区”和“分桶”是两种用于管理和优化数据的技术,分别解决不同的数据存储和查询优化问题。 在 Doris 中,数据都以表(Table)的形式进行逻辑上的描述。 Row & Column 一张表包括行(Row)和列(Column): Row:即用户的一行数据; Colu…

redis7新特性、源码解析

版本&#xff1a;第2位版本号为奇数是非稳定版&#xff0c;偶数才是稳定版本https://download.redis.io/releases/ redis7新特性 multi-AOF: 7之前的版本AOF只有一个文件&#xff0c;现在有多个处于同一目录的AOF文件RDB文件格式更新&#xff0c;不兼容老版本的RDB格式redis …

【车载开发系列】GIT安装详细教程

【车载开发系列】GIT安装详细教程 【车载开发系列】GIT安装详细教程 【车载开发系列】GIT安装详细教程一. GIT软件概念二. GIT安装步骤三. GIT安装确认三. GIT功能使用1&#xff09;Git Bash2&#xff09;Git CMD3&#xff09;Git FAQs4&#xff09;Git GUI 一. GIT软件概念 G…

数据库系统原理 | 查询作业1

整理自博主本科《数据库系统原理》专业课自己完成的实验课查询作业&#xff0c;以便各位学习数据库系统概论的小伙伴们参考、学习。 *文中若存在书写不合理的地方&#xff0c;欢迎各位斧正。 专业课本&#xff1a; ​ ———— 本次实验使用到的图形化工具&#xff1a;Heidisql…

云端AI大模型群体智慧后台架构思考

1 大模型的调研 1.1 主流的大模型 openai-chatgpt 阿里巴巴-通义千问 一个专门响应人类指令的大模型。我是效率助手&#xff0c;也是点子生成机&#xff0c;我服务于人类&#xff0c;致力于让生活更美好。 百度-文心一言&#xff08;千帆大模型&#xff09; 文心一言"…