CloudberryDB（二）演化路线图

CloudberryDB 制定了演化路线图（https://github.com/orgs/cloudberrydb/discussions/369）并在逐步改进，这是 Cloudberry Database 发挥独特价值之处。

计划、正在进行或已完成的一些工作。

支持轻松升级 PostgreSQL 内核版本。

原有 Greenplum Database 功能实现对 PostgreSQL 内核具有很强的侵入性，导致升级 PostgreSQL 版本非常困难。我们采取当前 PostgreSQL 生态流行的方式，以“扩展插件/Library”模式重构部分功能实现，降低与 PostgreSQL 内核的强耦合度，可以轻松实现 PostgreSQL 内核版本升级。如果你想在 Cloudberry Database 中增加什么功能，都可以像拼积木一样灵活扩展，这一策略贯穿到整个 Cloudberry Database 设计与开发之中。（已开源）

支持统一管理非结构化数据。

面对 AI 应用带来的非结构化数据管理挑战，我们在 Cloudberry Database 中引入了“Directory Table”概念特性，用于存储、管理和分析非结构化数据对象，实现集中管理和统一处理文档、音视频等非结构化数据。在此基础上，用户只需要使用简单的 SQL 语句就可以调用各种计算引擎，实现高效的数据加工和应用开发，降低非结构化语料数据的处理成本。（已开源）

多场景综合优化性能。

性能优化是个系统工程，涉及到多个方面，不同场景处理方式也不一样。我们重点推动了，如：

• 实现向量化，提升查询性能。当需要处理大规模数据集时，向量化执行引擎可以显著提高计算效率。通过将数据向量化，可以同时处理多个数据元素，利用并行计算和 SIMD 指令集加速计算过程。我们内部已经实现基于 Cloudberry Database 内核的向量化插件，会明显提升优化查询语句的性能。（准备开源）
• 下推聚集运算。聚集下推是使聚集操作的运算更接近数据源的一种优化技术。目前 Cloudberry Database 已支持将聚集运算下推，即将聚集算子提前到连接算子之前进行计算。在合适的场景下，聚集下推能够明显地减少连接算子或者聚集算子的输入集大小，进而提升算子的执行性能。（已开源）
• 实现增量物化视图、自动物化视图支持查询优化。（已开源）
- • 增量物化视图是物化视图的一种特殊形式，当数据在基础表中发生变化时（例如插入、更新、删除操作），增量物化视图不需要重新计算整个视图中的所有数据。相反，它只更新那些自上次刷新以来发生变化的部分，这样可以节省大量的计算资源和时间，显著提高性能，尤其是在处理大型数据集时。
- • 支持在查询规划阶段自动使用物化视图来计算部分或全部查询（即 AQUMV），这一功能特别适用于在大表上进行的查询，能显著提高查询处理时间。
• 使用 RuntimeFilter 优化 HashJoin 查询性能。RuntimeFilter 是在执行 HashJoin 运算时，实时产生过滤器 (Filter) 的优化技术，可以在执行 HashJoin 前预先对数据进行筛选，更快地执行 HashJoin。在某些场景下，通过 RuntimeFilter 优化能够使执行效率翻倍。HashJoin 常用于小表和大表的连接。Cloudberry Database 在执行 HashJoin 运算时，通常基于待连接的两表中较小的表来构建哈希表，然后循环地根据较大表中的元组，在哈希表中查找连接键匹配的元组来实现连接。（已开源）

同时，我们还实现了动态分区消除、针对不同运算符在查询不同阶段予以释放或重新分配内存、并发创建索引、并发执行查询、AO/AOCO 索引扫描（IndexScan）支持，以及提供基于规则的查询优化手段和基于代价的查询优化手段帮助用户生成更高效的查询执行计划等等。（已开源）

实现行列混合存储。

我们基于 Cloudberry Database 实现了行列混合存储方案，该方案结合了行式存储和列式存储的优点，旨在提高数据库的查询性能，尤其是缓存效率。该方案适合处理大量写入和频繁查询的复杂 OLAP 应用，既适应云环境下基于对象存储的存储模型，也能适应线下传统基于物理文件的存储方式。（准备开源）

支持全文检索引擎。

我们使用 ZomboDB 支持 Cloudberry Database 和 Elasticsearch 协同工作，让 Cloudberry Database 拥有 Elasticsearch 丰富的全文检索和文本分析能力。ZomboDB 支持大多数 Cloudberry Database 的 SQL 语法，可以管理 Elasticsearch 集群上的索引，并且保证事务层面上文本检索的正确性。（准备开源）

实现安全增强。

除 PostgreSQL 原有安全插件外，Cloudberry Database 提供了丰富的权限设置选项，满足不同用户和不同级别的对象需求，支持配置密码安全策略，可将策略应用于一个或多个用户，支持密码强度检查；支持数据脱敏或漂白，去除数据中的敏感信息；支持透明数据加密 TDE 功能，提升静态数据的安全性；除支持常用的 AES 加密算法外，支持国密算法、密文认证等等。（已开源）

支持集群弹性扩缩容。

Greenplum Database 已实现一定的集群扩容功能，Cloudberry Database 在此基础上将其持续增强，并实现了在集群资源空闲时的集群缩容功能。（已开源）

友好的图形化管理工具。

我们正在实现 Cloudberry Database 的图形化管理工具，可支持用户在图形界面中部署 Cloudberry Database 集群，可以提供各个粒度包括集群级、表级、Query 级的监控信息，支持 SQL Editor 等。（准备开源）

将推动流处理、湖仓一体等方案开源，通过连接器（Connector）或 Foreign Data Wrapper（FDW）形式，从 Kafka 中加载实时数据，或将 Hive 集群数据（含 Iceberg 和 Hudi 表格式）加载到 Cloudberry Database，打通数据仓库和数据湖；推动适配国产操作系统和服务器等等。

一般特性对比

说明

在以下表格中，✅ 代表支持，❌ 代表不支持。
以下表格中的对比，基于 Greenplum 7.0 Beta.3 版本。

功能名	Cloudberry Database	Greenplum
在 `EXPLAIN` 的结果中查看 WAL 的使用信息	✅	❌
Multiranges 类型	✅	❌
B 树自底向上索引清理	✅	❌
GiST的覆盖索引 (`INCLUDE`)	✅	✅（待发布）
`range_agg` 范围类型聚合函数	✅	❌
`CREATE ACCESS METHOD`	✅	✅（待发布）
`TOAST` 表上的 LZ4 压缩支持	✅	❌
JSONB 通过下标读取元素	✅	❌
配置复制插槽的最大 WAL 保留	✅	❌
验证备份的完整性 (`pg_verifybackup`)	✅	❌
客户端可以要求 SCRAM 通道绑定	✅	❌
Vacuum "紧急模式"	✅	❌
使用 `postgres_fdw` 的证书认证	✅	❌
`UPSERT`	✅	✅（待发布）
COPY FROM Where	✅	❌
VACUUM / ANALYZE 跳过锁定表	✅	❌
HASH 分区表	✅	❌
CTE (`SEARCH` 和 `CYCLE`)	✅	❌
存储过程 OUT 参数	✅	❌
外键表的外键约束	✅	❌
`pg_terminate_backend` 的超时参数	✅	❌
Coordinator 自动故障转移	✅	❌
支持在 Kubernetes 上部署	✅	❌

性能特性对比

功能名	Cloudberry Database	Greenplum
并发重建索引 `REINDEX CONCURRENTLY`	✅	❌
聚合运算下推	✅	❌
`CREATE STATISTICS` - `OR` 和 `IN/ANY` 统计	✅	❌
增量排序	✅	❌
窗口函数的增量排序	✅	❌
查询流水线	✅	❌
BRIN 索引（多最小最大值，bloom）	✅	❌
查询并行	✅	❌
基于 Abbreviated Keys 进行排序	✅	❌
哈希索引的 WAL 支持	✅	❌
`postgres_fdw` 聚合下推	✅	❌
添加列时无需重写整个表	✅	❌
表连接运算支持运行时过滤器 (Runtime Filter)	✅	❌
AppendOnly 表支持索引扫描	✅	❌