presto/trino native 向量化 大数据计算引擎

Velox(Facebook Intel, ByteDance字节, and Ahana)

一个旨在优化查询引擎和数据处理系统的 C++ 向量化数据库加速库。使用C++来实现Native计算引擎,追求极致的性能

https://github.com/facebookincubator/velox

https://velox-lib.io/

Presto+Velox:

Prestissimo facebook(已开源)

trino  https://github.com/trinodb/trino/issues/14237

Spark+Velox:

Gluten  intel 和Kyligence (已开源)

Intel and Alibaba GitHub - oap-project/Gluten-Trino: Gluten: Plugin to Boost Trino's Performance

Home | Apache Gluten incubating

Photon   Databricks 

Spruce facebook(未开源)

PyTorch(TorchArrow)+Velox 

其他

向量数据库 Milvus

 OmniRuntime 华为

一种采用Native Code(C/C++)实现大数据SQL算子来提高查询性能的特性,通过列式存储和向量化执行技术,同时利用鲲鹏加速库,提升算子的执行效率,从而提升查询引擎的查询性能。

  

参考:

https://baijiahao.baidu.com/s?id=1743187016205637139&wfr=spider&for=pc  Velox 简介:开源统一执行引擎

https://zhuanlan.zhihu.com/p/543880633?utm_id=0   从Photon论文谈大数据计算引擎的Native化

https://zhuanlan.zhihu.com/p/618675658?utm_id=0   论文阅读笔记:Photon: A Fast Query Engine for Lakehouse Systems

https://www.iteblog.com/archives/10196.html 

https://github.com/prestodb/presto/pull/17575

https://www.51cto.com/article/713357.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/52881.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++高精度算法--加法

一.头文件 1.<iostream> 2.<cstdio> 3.<cstring> *cstring 速度更快,尽量不用string 二.代码 #include <iostream> #include <cstdio> #include <cstring> using namespace std; const int N1e510; char s1[N],s2[N]; int a[N],b[N],c[N…

从零到精通:系统化的Java学习路线

Java学习路线 Java是一门流行且强大的编程语言&#xff0c;它在Web开发、移动应用开发、企业级应用和大数据领域都具有广泛的应用。对于想要进入Java开发领域的学习者来说&#xff0c;明确的学习路线是成功的重要保障。本文将为你提供一份清晰的Java学习路线&#xff0c;从基础…

Gitlab实现多项目触发式自动CICD

工作中可能会遇到这种场景&#xff0c;存在上游项目A和下游项目B&#xff0c;项目B的功能依赖项目A&#xff08;比如B负责日志解析&#xff0c;A是日志描述语言代码&#xff09;&#xff0c;这种相互依赖的项目更新流程一般如下&#xff1a; A项目更新&#xff0c;通知B项目开发…

Nature: 一种基于宏基因组序列空间生成无参考的蛋白质家族的计算方法

通过全局宏基因组学揭示功能性暗物质 Unraveling the functional dark matter through global metagenomics Article, 2023-10-11 Nature [IF: 64.8] DOI: https://doi.org/10.1038/s41586-023-06583-7 原文链接&#xff1a;https://www.nature.com/articles/s41586-023-06…

【C+继承】

继承 1.继承的概念及定义2.基类和派生类对象赋值转换3.继承中的作用域4.派生类的默认成员函数5.继承与友元6.继承与静态成员7.复杂的菱形继承及菱形虚拟继承8.继承的总结和反思 1.继承的概念及定义 ->继承的概念 继承的本质&#xff1a;就是继承的父类的成员 ->继承的…

基于AutoDL部署langchain-chatchat-0.3.1实战

一、租用AutoDL云服务器&#xff0c;配置环境 1.1 配置AutoDL环境 注册好autodl账户之后&#xff0c;开始在上面租服务器&#xff0c;GPU我选择的是RTX4090*2&#xff0c;西北B区&#xff0c;基础镜像选择的是Pytorch-2.3.0-python-3.12&#xff08;ubuntu22.04&#xff09;-…

垃圾回收相关概念

12.1. System.gc()的理解 在默认情况下&#xff0c;通过system.gc()或者Runtime.getRuntime().gc() 的调用&#xff0c;会显式触发Full GC&#xff0c;同时对老年代和新生代进行回收&#xff0c;尝试释放被丢弃对象占用的内存。 然而System.gc() 调用附带一个免责声明&#x…

网络原理2-网络层与数据链路层

目录 网络层数据链路层 网络层 网络层做的工作&#xff1a; 1、地址管理–>IP地址 2、路由选择–>数据包传输的路径规划 网络层主要的协议就是IP协议 IP协议的报头结构&#xff1a; 4位版本&#xff1a; 有两个取值&#xff0c;4表示IPv4&#xff0c;6表示IPv6&am…

C++ IO流

文章目录 C语言中的流式输入输出c中的输入输出继承关系c中的循环输入再次回顾类型转换 C语言中的流式输入输出 C语言的输入输出: scanf printf 输入输出是针对设备—内存之间的关系 比如:网卡,里面有一套类似文件系统的东西来记录, 这时就需要进行写入读取操作 在Linux中, 一…

Blender/3ds Max/C4D哪个软件好?

在3D建模和动画制作领域&#xff0c;Blender、3ds Max和Cinema 4D&#xff08;C4D&#xff09;都是备受赞誉的软件。每个软件都有其独特的优势和特点&#xff0c;选择哪个软件取决于用户的具体需求和个人偏好。今天&#xff0c;成都渲染101云渲染就来分析一些这三款软件的情况&…

C++前后缀分解

相关知识点 C算法与数据结构 打开打包代码的方法兼述单元测试 这个算法很容易想到&#xff0c;学习了本文后&#xff0c;可以更快得想到。 前后缀分解 分治法的一种&#xff0c;将数组和字符串&#xff0c;拆分成前缀和后缀。字符串(数组&#xff09;的前缀是字符串的前i个元…

【Vue】- Vue应用

文章目录 知识回顾前言Vue应用源码分析1. 组件化开发2. 组件注册与使用3. 组件样式冲突scoped4. 组件通信拓展知识设置默认值总结知识回顾 前言 Vue应用 源码分析 1. 组件化开发 组件化概念 组件化:一个页面可以拆分成一个个组件,每个组件有着自己独立的结构、样式、行为…

linux---压缩打包

linux打包和压缩文件和目录&#xff1a; 归档(打包)命令&#xff1a;tar 归档就是将多个文件或者目录打包成为一个文件&#xff0c;存放再磁盘中&#xff0c;方便文件或者目录丢失时&#xff0c;可以恢复。 归档文件名使用相对路径 &#xff08;注意区分归档文件和被归档文…

C# 禁止程序重复启动

修改&#xff1a;Program.cs [STAThread] static void Main() {Mutex mutex new Mutex(true, "NewGuid123456", out bool isCreatedNew);if (!isCreatedNew){MessageBox.Show(Application.ProductName "is running...");return;}Application.EnableVisu…

web安卓逆向之必学CSS基础知识

文章目录 CSS基础知识一、CSS的介绍1. CSS 的定义2. CSS 的作用3. CSS 的基本语法4. 小结 二、css 的引入方式1. 行内式语法格式&#xff1a;特点&#xff1a;适用场景&#xff1a; 2. 内嵌式&#xff08;内部样式&#xff09;语法格式&#xff1a;特点&#xff1a;适用场景&am…

Acrobat 9 安装教程

软件介绍 Adobe Acrobat 是由Adobe公司开发的一款PDF&#xff08;Portable Document Format&#xff0c;便携式文档格式&#xff09;编辑软件。借助它&#xff0c;可以以PDF格式制作和保存文档&#xff0c;以便于浏览和打印&#xff0c;同时还可以使用一些高级工具来创建、编辑…

[SWPU2019]Web11

考点&#xff1a; sql注入 buuctf上开启容器可以看到是个登录页面&#xff0c;注入的地方不在这里&#xff0c;我们首先需要进行注册一个账号&#xff0c;然后登录上去&#xff0c;可以看到有个申请发布广告。 既然登录页面没有东西&#xff0c;那么申请发布广告肯定会有东西…

Docker上安装mysql

获取 MySQL 镜像 获取镜像。使用以下命令来拉取镜像&#xff1a; 1docker pull mysql:latest 这里拉取的是最新版本的 MySQL 镜像。你也可以指定特定版本&#xff0c;例如&#xff1a; 1docker pull mysql:8.0 运行 MySQL 容器 运行 MySQL 容器时&#xff0c;你需要指定一些…

ARM驱动学习之8 动态申请字符类设备号

ARM驱动学习之8 动态申请字符类设备号 KernelCode: • 字符设备函数在文件“include/linux/fs.h”中 • alloc_chrdev_region() 是动态分配主次设备号。 • 宏定义MAJOR提取dev_t数据中的主设备号源码&#xff1a; /*** alloc_chrdev_region() - register a range of char dev…

通过Java设计模式提高业务流程灵活性的策略

引言 在软件开发中&#xff0c;随着业务需求的不断变化&#xff0c;系统的灵活性成为了一个重要的考量因素。Java设计模式作为一种经过验证的解决方案&#xff0c;可以有效地提高系统的可维护性、扩展性和灵活性。本文将探讨几种关键的设计模式&#xff0c;以及它们如何帮助我…