构建下一代数据解决方案：SingleStore、MinIO 和现代 Datalake 堆栈

SingleStore 是专为数据密集型工作负载而设计的云原生数据库。它是一个分布式关系 SQL 数据库管理系统，支持 ANSI SQL，并因其在数据引入、事务处理和查询处理方面的速度而受到认可。SingleStore 可以存储关系、JSON、图形和时间序列数据，以满足 HTAP 等混合工作负载以及 OLTP 和 OLAP 用例的需求。它将 SQL 查询编译为机器代码，并可以通过 Kubernetes Operator 部署在各种环境中，包括本地安装、公共/私有云和容器。

现代数据湖架构

在现代 Datalake 架构中，SingleStore 完全适合处理层。此层是用于转换的处理引擎、为其他工具提供数据、数据探索和其他用例的位置。处理层工具（如 SingleStore）可以很好地与其他工具配合使用：通常多个处理层工具来自同一个数据湖。通常，这种设计是在工具专用化的情况下实现的。例如，具有混合矢量和全文搜索功能的超快速内存数据处理平台（如 SingleStore）针对 AI 工作负载进行了优化，尤其是针对生成式 AI 用例。

先决条件

要完成本教程，您需要设置一些软件。以下是您需要的内容的细分：

**Docker 引擎：**这个强大的工具允许您在称为容器的标准化软件单元中打包和运行应用程序。
**Docker Compose：**它充当业务流程协调程序，简化多容器应用程序的管理。它有助于轻松定义和运行复杂的应用程序。

**安装：**如果您要重新开始，Docker 桌面安装程序提供了一个方便的一站式解决方案，用于在特定平台（Windows、macOS 或 Linux）上安装 Docker 和 Docker Compose。这通常被证明比单独下载和安装它们更容易。

安装 Docker Desktop 或 Docker 和 Docker Compose 的组合后，可以通过在终端中运行以下命令来验证它们的存在：


docker-compose --version

您还需要一个 SingleStore 许可证，您可以在此处获取。

记下您的许可证密钥和 root 密码。系统将为您的帐户分配一个随机的 root 密码，但您可以使用 SingleStore UI 更改您的 root 密码。

开始

本教程依赖于此存储库。将存储库克隆到所选位置。

此存储库中最重要的文件是 docker-compose.yaml 描述具有 SingleStore 数据库（ singlestore ）、MinIO 实例（ minio ）和依赖于 MinIO 服务的 mc 容器的 Docker 环境。

mc 容器包含一个 entrypoint 脚本，该脚本首先等待 MinIO 可访问，将 MinIO 添加为主机，创建 classic-books 存储桶，上传包含书籍数据 books.txt 的文件，将存储桶策略设置为 public，然后退出。


version: '3.7'services:singlestore:image: 'singlestore/cluster-in-a-box'ports:- "3306:3306"- "8080:8080"environment:LICENSE_KEY: ""ROOT_PASSWORD: ""START_AFTER_INIT: 'Y'minio:image: minio/minio:latestports:- "9000:9000"- "9001:9001"volumes:- data1-1:/data1- data1-2:/data2environment:MINIO_ROOT_USER: minioadminMINIO_ROOT_PASSWORD: minioadmincommand: ["server", "/data1", "/data2", "--console-address", ":9001"]mc:image: minio/mc:latestdepends_on:- minioentrypoint: >/bin/sh -c "until (/usr/bin/mc config host add --quiet --api s3v4 local http://minio:9000 minioadmin minioadmin) do echo '...waiting...' && sleep 1; done;echo 'Title,Author,Year' > books.txt;echo 'The Catcher in the Rye,J.D. Salinger,1945' >> books.txt;echo 'Pride and Prejudice,Jane Austen,1813' >> books.txt;echo 'Of Mice and Men,John Steinbeck,1937' >> books.txt;echo 'Frankenstein,Mary Shelley,1818' >> books.txt;/usr/bin/mc cp books.txt local/classic-books/books.txt;/usr/bin/mc policy set public local/classic-books;exit 0;"volumes:data1-1:data1-2:

使用文档编辑器，将占位符替换为您的许可证密钥和 root 密码。

在终端窗口中，导航到克隆存储库的位置，然后运行以下命令以启动所有容器：


docker-compose up

打开浏览器窗口，导航到 http://localhost:8080/，然后使用用户名“root”和您的root密码登录。

检查 MinIO

导航到 http://127.0.0.1:9001 以启动 MinIO WebUI。使用用户名和密码登录 minioadmin:minioadmin 。您将看到 mc 容器创建了一个调用 classic-books 的存储桶，并且存储桶中有一个对象。

使用 SQL 进行探索

在 SingleStore 中，导航到 SQL 编辑器并运行以下命令：


-- Create a new database named 'books'
CREATE DATABASE books;-- Switch to the 'books' databaseUSE books;-- Create a table named 'classic_books' to store information about classic books
CREATE TABLE classic_books
(title VARCHAR(255),author VARCHAR(255),date VARCHAR(255)
);-- Define a pipeline named 'minio' to load data from an S3 bucket called 'classic-books'
-- The pipeline loads data into the 'classic_books' tableCREATE PIPELINE IF NOT EXISTS minio
AS LOAD DATA S3 'classic-books'
CONFIG '{"region": "us-east-1", "endpoint_url":"http://minio:9000/"}'
CREDENTIALS '{"aws_access_key_id": "minioadmin", "aws_secret_access_key": "minioadmin"}'
INTO TABLE classic_books
FIELDS TERMINATED BY ',';-- Start the 'minio' pipeline to initiate data loading
START PIPELINE minio;-- Retrieve and display all records from the 'classic_books' table
SELECT * FROM classic_books;-- Drop the 'minio' pipeline to stop data loading
DROP PIPELINE minio;-- Drop the 'classic_books' table to remove it from the database
DROP TABLE classic_books;-- Drop the 'books' database to remove it entirely
DROP DATABASE books;

此 SQL 脚本启动一系列操作来处理与经典书籍相关的数据。它首先建立一个名为 books 的新数据库。在此数据库中，将创建一个名为的 classic_books 表，该表旨在保存标题、作者和出版日期等详细信息。

在此之后，将设置一个名为 minio 的管道，用于从标记 classic-books 的 S3 存储桶中提取数据并将其加载到表中 classic_books 。定义了此管道的配置参数，包括区域、终端节点 URL 和身份验证凭据。

随后，“minio”管道被激活，开始数据检索和填充过程。成功将数据加载到表中后，SELECT 查询将检索并显示存储在 classic_books 中的所有记录。

在完成数据提取和查看后， minio 管道将停止并删除， classic_books 表将从 books 数据库中删除，数据库 books 本身将被删除，从而确保干净的石板并结束数据管理操作。此脚本应帮助您开始在 SingleStore 的 MinIO 中处理数据。