针对 AI 优化数据湖仓一体:使用 MinIO 仔细了解 RisingWave

RisingWave 是现代数据湖仓一体处理层中的开源流数据库,专为性能和可扩展性而构建。RisingWave 旨在允许开发人员在流数据上运行 SQL。鉴于 SQL 是数据工程的通用语言,此功能非常重要。它具有强大的架构,包括计算节点、元节点和压缩器节点,所有这些都针对 AI 基础的高吞吐量和低延迟操作进行了优化:例如数据质量、数据探索和预处理。请记住,您的 AI 计划仅与您的数据一样好。

RisingWave 将自己定位为 Apache Flink 和 ksqlDB 的替代品,并能很好地与该领域的其他 Kubernetes 原生技术配合使用;特别是那些也是为速度和规模而构建的。这篇博客展示了使用 Docker Compose 的 RisingWave 和 MinIO 之间的实现。

先决条件

您需要在系统上安装 Docker Desktop。下载并安装适合您的操作系统的版本,然后通过打开终端并运行以下命令来检查是否正确安装了它:

docker-compose --version

您还需要一个 PostgreSQL 客户端。 psql 根据您的操作系统按照这些说明进行操作。

接下来,在终端窗口中克隆 RisingWave 存储库并导航到包含 docker-compose 文件的文件夹:

git clone https://github.com/risingwavelabs/risingwave.git
cd risingwave/docker

启动服务

使用以下命令启动 RisingWave 和 MinIO 服务:

docker-compose up -d

使用此 Docker Compose 文件执行 docker-compose up 时,Docker Compose 会协调多个互连服务的部署,包括 risingwave-standalone 、 etcd-0 、 、 minio-0 prometheus-0 和 grafana-0 message_queue 。它根据指定的设置(如图像源、环境变量、卷映射和端口绑定)配置每个服务。管理服务之间的依赖关系,以确保正确的启动顺序。网络设置允许内部通信,而运行状况检查则监视服务稳定性。应用资源限制和重启策略来保持性能和可靠性。从本质上讲,此命令设置了一个复杂的多服务应用程序环境,该环境针对定义的配置进行了定制。

访问 RisingWave、Grafana 和 MinIO

成功启动服务后,您可以在 http://127.0.0.1:5691 访问 RisingWave 仪表板,查看集群的状态并管理流源、接收器和查询。

访问 MinIO Web 界面,网址为 http://127.0.0.1:9400。使用默认凭据 ( username: hummockadmin , password: hummockadmin ) 登录。您将看到已创建一个名为 hummock001 的存储桶。

访问 Grafana http://127.0.0.1:3001/ 导航到左侧的“仪表板”菜单。找到 risingwave_dashboard .在此仪表板中,您可以访问多个内部指标,包括节点计数、内存使用情况、吞吐量和延迟。这些指标对于诊断和增强集群的性能很有价值。

执行 SQL

通过在终端窗口中运行以下命令连接到 psql RisingWave:

psql -h localhost -p 4566 -d dev -U root

您现在已准备好使用此集成。下面的示例查询将帮助你开始在 Rising Wave 上执行 SQL。运行以下命令以创建名为 purchase records :

CREATE TABLE purchase_records (purchase_id int,product_id int,customer_id int,amount_spent real,purchase_date date
);

运行以下命令,将数据插入到刚刚创建的表中:

INSERT INTO purchase_records (purchase_id, product_id, customer_id, amount_spent, purchase_date)
VALUES(1, 301, 3001, 120.5, '2023-05-10'),(2, 301, 3002, 150.0, '2023-05-10'),(3, 301, 3003, 80.0, '2023-05-10'),(4, 302, 3001, 220.2, '2023-06-15'),(5, 302, 3003, 110.0, '2023-06-15');

从该表创建具有一些聚合的实例化视图,以进一步浏览数据:

CREATE MATERIALIZED VIEW product_spending_summary AS
SELECTproduct_id,AVG(amount_spent) AS average_spent,COUNT(amount_spent) AS total_purchases
FROMpurchase_records
GROUP BYproduct_id;

通过运行以下 SQL 查询从具体化视图中选择所有内容,请查看编译的数据:


SELECT * FROM product_spending_summary;

您可以在 http://127.0.0.1:9400 时再次使用 MinIO 进行检查,以查看您创建的 Materialized 视图和表中的对象是否已填充您的对象存储。

扩展本教程

将 RisingWave 与 MinIO 集成,为寻求构建和扩展实时分析应用程序的开发人员提供了强大的解决方案。这种组合提供了高效处理大量数据流所需的可靠性和可伸缩性。按照上述步骤,您可以设置一个利用 RisingWave 和 MinIO 优势的环境。与所有 Kubernetes 原生软件一样,如果您愿意,可以部署这种与 Kubernetes 的集成。无论您是运行复杂的查询还是管理庞大的数据集,这种服务组合都能确保您有能力应对现代数据处理的挑战,并确保您的组织为 AI 计划做好准备。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/32017.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分享一个 Fail2ban 过滤规则

今天明月给大家分享个 Fail2ban 的过滤(Filter)规则,有关 Fail2ban 的文章大家可以参考【服务器全面使用 Fail2Ban 初见成效】和【使用 Fail2ban 禁止垃圾采集爬虫,保护 Nginx 服务器】等文了解,总之 Fail2ban 是 Linu…

分流井设备的监测控制和智慧运维

分流井是一种用于将雨水和污水进行分离的设施,通常设置在雨水管和污水管的汇合处。它可以根据不同的情况,将雨水和污水分别排放到不同的管道中,从而实现雨污分流的目的。 以下是一些常见的分流井类型和工作原理: 1、智能分流井&a…

java-SpringBoot执行定时任务-任务调度-@EnableScheduling和@Scheduled

文章目录 java借助springBoot框架,执行定时任务0. 项目地址1. 需求分析2、新建springBoot项目3. 编写定时任务3.1 开启调度任务3.2 编写定时任务方法 java借助springBoot框架,执行定时任务 0. 项目地址 https://github.com/OrangeHza/JavaDemo 1. 需求…

Elasticsearch bool 查询:组合多个查询(must, should, must_not)

在Elasticsearch中,bool查询是一种强大的工具,它允许我们将多个查询子句组合在一起,以实现复杂的搜索逻辑。通过使用must、should和must_not等子句,我们可以构建出精确且灵活的查询语句,以满足各种搜索需求。本文将详细…

Redis小对象压缩

小对象压缩存储 如果Redis内部管理的集合数据结构很小,他会使用紧凑存储形式压缩存储。 Redis的ziplist是一个紧凑的字节数组结构,如下图所示,每个元素之间都是紧挨着的。 如果他存储的是hash结构,那么key和value会作为两个ent…

竞赛 机器视觉的试卷批改系统 - opencv python 视觉识别

文章目录 0 简介1 项目背景2 项目目的3 系统设计3.1 目标对象3.2 系统架构3.3 软件设计方案 4 图像预处理4.1 灰度二值化4.2 形态学处理4.3 算式提取4.4 倾斜校正4.5 字符分割 5 字符识别5.1 支持向量机原理5.2 基于SVM的字符识别5.3 SVM算法实现 6 算法测试7 系统实现8 最后 0…

supervisor进程管理

supervisor简介 一个python开发的进程管理工具 支持Linux、Unix系统,不支持Windows系统 能将一个普通的命令行进程变为后台deamon,并监控进程状态,异常退出时能自动重启。 supervisor安装 先安装seuptools模块(包管理工具&…

Maven添加reactor依赖失败

目录 情况说明 解决过程 情况说明 起初是自己在学spring boot3&#xff0c;结果到了reactor这一部分的时候&#xff0c;在项目的pom.xml文件中添加下列依赖报错&#xff1a; <dependencyManagement><dependencies><dependency><groupId>io.projectr…

[Django学习]如何在Django中声明“事务”(包括事务回滚)

一、事务概念 事务(transaction)是访问并可能操作各种数据项的一个数据库操作序列&#xff0c;这些操作要么全部执行,要么全部不执行&#xff0c;是一个不可分割的工作单位。比如某软件的转账功能&#xff1a;现在用户A要给B转账300块&#xff0c;其流程为&#xff0c;先检查A的…

模拟原神圣遗物系统-小森设计项目,设计圣遗物组件基类(生之花,死之羽,时之沙,空之杯,理之冠)父类,并且优化圣遗物

项目分析 模拟原神圣遗物系统-小森设计项目&#xff0c;设计圣遗物&#xff08;生之花&#xff0c;死之羽&#xff0c;时之沙&#xff0c;空之杯&#xff0c;理之冠&#xff09;抽象类 为啥设计圣遗物组件基类&#xff08;生之花&#xff0c;死之羽&#xff0c;时之沙&#x…

开发国外客户的软件

开发国外客户的软件通常需要考虑多个方面&#xff0c;包括目标市场的特点、客户需求、产品功能以及营销策略等。以下是一些关键点和建议&#xff0c;用于开发针对国外客户的软件&#xff1a; 市场调研与分析&#xff1a; 确定目标市场&#xff1a;通过市场调研&#xff0c;明确…

【CPP】插入排序、希尔排序

目录 1.插入排序1.1直接插入排序简介代码分析 1.2直接插入对比冒泡排序简介代码对比分析(直接插入排序与冒泡的复杂度效率区别) 1.3希尔排序简介代码分析 1.插入排序 基本思想&#xff1a;把一个待排数字按照关键码值插入到一个有序序列中&#xff0c;得到一个新的有序序列。 …

前沿技术丨S2S自动化测试解决方案

技术背景 随着面向服务的架构&#xff08;Service-Oriented Architecture&#xff0c;SOA&#xff09;在整车架构中的逐步推进及应用&#xff0c;车内网络通信中会一直并存基于以太网的面向服务和基于传统网络的面向信号的两类控制器&#xff0c;S2S&#xff08;Signal to Ser…

AXI学习笔记

文章目录 AXI口诀&#xff1a;AXI三种总线&#xff0c;三种接口&#xff0c;一个协议背景知识一、 AMBA&#xff1a;二、AXI2.1 通信协议与握手机制2.2 AXI协议特点2.3 三种AXI总线类型&#xff08;AXI4、AXI4-lite、AXI4-stream&#xff09;2.3.1 AXI通道&#xff08;5通道&am…

GD32 MCU的选项字节是什么?

GD32 MCU的选项字节是什么&#xff0c;有什么功能呢&#xff1f;选项字节被误篡改如何回复&#xff1f; 读者朋友们是否会有以上的疑问&#xff0c;首先我们先为大家介绍选项字节是什么以及选项字节的功能。 以GD32F30X系列MCU为例&#xff0c;其选项字节说明如下表所示&…

烦死了。没完的垃圾。

赶紧结束吧受不了了。

Spring Boot框架的原理及应用详解(七)

本系列文章简介&#xff1a; 在当今的软件开发世界中&#xff0c;快速迭代、高效开发以及易于维护成为了开发者们不断追求的目标。Spring Boot作为Spring框架的一个子项目&#xff0c;自其诞生以来就凭借其“约定大于配置”的理念和自动配置的特性&#xff0c;迅速在Java开发社…

第11天:API开发与REST framework

第11天&#xff1a;API开发与REST framework 目标 使用Django REST framework构建RESTful API。 任务概览 学习序列化器的概念和使用方法。创建API视图和路由。实现API的权限和认证。 详细步骤 1. 学习序列化器 序列化器是Django REST framework中用于数据转换的组件&am…

详解mysql安装、常见问题及解决方法

一、MySQL 简介 MySQL 是一个广泛使用的开源关系型数据库管理系统 (RDBMS)&#xff0c;由瑞典公司 MySQL AB 开发&#xff0c;后被 Sun Microsystems 收购&#xff0c;最终归属 Oracle 公司所有。它以其快速、可靠、可扩展的特性而闻名&#xff0c;并且因其开源的性质在各类应…

力扣每日一题 6/22 字符串/贪心

博客主页&#xff1a;誓则盟约系列专栏&#xff1a;IT竞赛 专栏关注博主&#xff0c;后期持续更新系列文章如果有错误感谢请大家批评指出&#xff0c;及时修改感谢大家点赞&#x1f44d;收藏⭐评论✍ 2663.字典序最小的美丽字符串【困难】 题目&#xff1a; 如果一个字符串满…