MatrixOne 1.1.0 Release

我们非常高兴地宣布:

MatrixOne内核1.1.0版本

正式发布啦!

项目文档网站

https://docs.matrixorigin.cn

MatrixOne是一款分布式超融合异构数据库,MatrixOne旨在提供一个云原生、高性能、高弹性、高度兼容MySQL的HSTAP数据库,让用户面对事务、分析、时序、流计算等混合负载时,通过MatrixOne一站式的完成整个数据处理过程。


重点关注 MatrixOne 1.1.0

MatrixOne在本迭代增加了多个重要功能,在整体HTAP的基础上增强了向量,流和时序方面的能力,进一步丰富了能力象限和适用范围。

向量数据类型

做为2023年AI与大模型热潮的数据基座能力,向量类型已经成为通用数据库的标配。本迭代MatrixOne支持了vecf32及vecf64的向量类型,分别对应float32和float64数据类型,同时支持了基本的算子和操作符,以及向量常见的求和,L1范数,L2范数,内积,余弦相似度等计算函数。用户使用的时候配合AI算法模型可以快速搭建一个AI应用。比如基于大语言模型LLM的RAG应用,如下图所示,用户仅需将自己的知识库调用OpenAI的Embedding接口生成向量数据存入MatrixOne中,再通过余弦相似度函数计算搜索最相似答案,再将答案通过OpenAI的Prompt接口交给LLM优化回答即可。

与专用的向量数据库不同的是,MatrixOne是一个高度兼容MySQL的通用数据库,用户几乎不需要额外的学习门槛即可快速上手,同时在构建AI应用的时候也可以将结构化数据与向量数据的处理合二为一。

时序能力

为了更好的处理数据快速流入的各类IoT场景,本迭代MatrixOne在时序方案的能力也大幅加强,具体体现在以下几点:

  • 比INSERT INTO性能大幅提升的流式写入能力LOAD INTO INLINE。
  • 支持建立按时间戳作为主键的专用时序表,并支持任意的维度/指标列。
  • 增加在时序表上的滑动窗口能力,可以按不同的时间进行降采样查询。
  • 支持针对空值的插值能力,并提供不同策略的插值方法。

Kafka Connector(beta)

本迭代在基础流计算的框架基础上实现了Kafka connector。用户可以通过CREATE DYNAMIC TABLE创建流式动态表,此类型的表是Append Only的表,同时用户可以通过CREATE SOURCE的方式配置外部数据源,本迭代已适配Kafka作为数据源,可以接入Kafka的Topic(JSON类型或者protobuf协议类型),接入后MatrixOne会自动将Kafka的Message写入到动态表中,用户可以对流式表进行窗口查询,或者与其他表一起进行关联查询。

自定义函数 UDF(beta)

本迭代MatrixOne开始支持用户编写自定义函数,目前第一个版本仅支持Python语言。在很多场景中数据库系统提供的系统函数并无法满足用户的业务需求,通过UDF的方式用户可以将业务的逻辑包装在Python文件中,并将其封装成SQL的函数,实现在SQL中直接调用。基于Python的UDF,用户可以非常方便的使用numpy和scikit-learn等Python的流行库,大幅度的提高MatrixOne在数据科学,机器学习及AI等领域的适用性。

其他新功能

1 DDL

  • 支持insert on duplicate key ignore
  • 支持create or replace view
  • 支持alter sequence
  • 支持Key, hash的分区裁剪能力 (beta)
  • 支持List/List column, Range/Range Columns partition分区存储能力(beta)

2 索引与约束

  • 完整实现次级索引secondary index,可实现动态查询加速

3 函数

  • 自定义函数UDF:支持用户创建Python语言的自定义函数UDF (beta)
  • 增加SAMPLE采样函数
  • 增加CONVERT_TZ转换时区函数
  • 增加SHA2加密函数
  • 增加Encode/Decode编解码函数

4 安全与权限

  • 支持通过创建Stage对select into的路径权限进行管理

5 周边工具

modump工具(逻辑备份)

  • 新增支持单独导出DDL语句
  • 支持导出多个数据库、多个表

mo_backup工具 

  • 支持物理备份
  • 支持文件系统、对象存储作为备份和还原的存储介质

mo_ctl(单机)工具 

  • 支持自动数据备份
  • 支持自动日志表数据清理
  • 支持数据文件从csv格式转换为insert或load data inline格式
  • 支持docker镜像自动构建
  • 支持docker模式

单机部署mo_ctl(分布式)工具 

  • 支持install一键部署分布式集群
  • 支持destroy一键销毁分布式集群

mo_ctl 分布式部署运维工具 

  • 支持install一键部署分布式集群
  • 支持destroy一键销毁分布式集群
  • 支持matrixone集群的起动/停止,升级/回滚操作
  • 支持在客户k8s集群中安装matrixone集群

mo_operator工具 

  • 支持配置自定义的S3证书
  • 支持通过 API 进行 matrixone 集群的备份恢复和备份数据管理
  • 支持自动为 matrixone 集群设置更优化的 Go GC 策略
  • 支持为 matrixone 集群启用 Python UDF
  • 支持 Kubernetes 上的 matrixone 与 Prometheus 集成

MySQL兼容性

  • 大幅减少与MySQL不兼容的保留关键字

Known Issues

  • 次级索引对于IN类型的查询没有加速作用
  • Kafka连接器仅在单机版本中运行
  • 高并发负载下偶现系统会卡住
  • 大数据量查询偶现内存溢出OOM问题

文档更新

  • 新增时序整体能力描述
  • 新增流式导入, 时序表,滑动窗口相关文档
  • 新增向量类型及函数文档
  • 新增流计算相关文档
  • 新增partition实现及加速相关文档
  • 新增SQL语句,系统函数的参考手册
  • 更新整体功能列表
  • 更新MySQL兼容性列表

了解更多详情,您可以访问我们的文档网站(https://docs.matrixorigin.cn)。您可以在该网站找到详细的架构说明、安装指南和开发教程,帮助您探索MatrixOne的能力。此外,我们的Github网站也可以用于提问、讨论或反馈。

MatrixOrigin 官网:新一代超融合异构开源数据库-矩阵起源(深圳)信息科技有限公司 MatrixOne

Github 仓库:GitHub - matrixorigin/matrixone: Hyperconverged cloud-edge native database

关键词:超融合数据库、多模数据库、云原生数据库、国产数据库。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/594597.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Oracle database 12cRAC异地恢复至单机

环境 rac 环境 byoradbrac Oracle12.1.0.2 系统版本:Red Hat Enterprise Linux Server release 6.5 软件版本:Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit byoradb1:172.17.38.44 byoradb2:172.17.38.4…

工具篇--Spring-Cloud--feign 通过feign 接口完成文件的下载

文章目录 前言一、feign接口获取文件流程:二、文件获取实现2.1 引入jar:2.2 实现: 总结 前言 通常在spring-boot 项目中,对于文件的下载都是直接调用到对应的服务中,而不是通过feign 接口获取文件;有时我们…

使用 Process Explorer 和 Windbg 排查软件线程堵塞案例分享

目录 1、问题说明 2、线程堵塞的可能原因分析 3、使用Windbg和Process Explorer确定线程中发生了死循环 4、根据Windbg中显示的函数调用堆栈去查看源码,找到问题 4.1、在Windbg定位发生死循环的函数的方法 4.2、在Windbg中查看变量的值去辅助分析 4.3、是循环…

HubSpot电子邮件自动化的关键功能和流程!

HubSpot提供了强大的电子邮件自动化工具,使用户能够创建、执行和跟踪复杂的电子邮件市场营销活动。以下是HubSpot电子邮件自动化的一些关键功能和流程: 1.电子邮件工作流程(Email Workflows): 用户可以使用HubSpot的工…

机器学习笔记 - 偏最小二乘回归 (PLSR)

一、偏最小二乘回归:简介 PLS 方法构成了一个非常大的方法族。虽然回归方法可能是最流行的 PLS 技术,但它绝不是唯一的一种。即使在 PLSR 中,也有多种不同的算法可以获得解决方案。PLS 回归主要由斯堪的纳维亚化学计量学家 Svante Wold 和 Harald Martens 在 20 世纪 80 年代…

【零基础入门TypeScript】判断条件和循环

目录 定环 无限循环 示例:while 与 do..while 中断语句 句法 流程图 例子 继续语句 句法 流程图 例子 输出 无限循环 语法:使用 for 循环的无限循环 示例:使用 for 循环的无限循环 语法:使用 while 循环进行无限循…

LeetCode-轮转数组的三种方法(189)

题目描述: 给定一个整数数组 nums,将数组中的元素向右轮转 k 个位置,其中 k 是非负数。 思路一: 建立一个两倍原数组长度的数组,然后其中保存两遍原数组中的元素,轮转的过程就可以看成是在这个新数组中截…

云计算:OpenStack 分布式架构管理VXLAN网络(单控制节点与多计算节点)

目录 一、实验 1.环境 2.各节点新增网卡准备VXLAN网络 3.控制节点配置私有网络 4.计算节点1配置私有网络 5.计算节点2配置私有网络 6.重启服务 7.修改Dashboard 8.新建项目(租户)及用户 9.新建网络与子网 10.新建实例 11.新建路由 12.新增浮…

物联网的网络管理技术开发

物联网并不是新的事物。不论称为物联网或者是传感网,物联网的基本组成可以看成为传感器网络接入互联网构成,当然也有仅仅是传感器网络组成的简单的物联网系统。但是总的来说,物联网有许多新的特点。这些特点导致物联网对于其网络的管理有新的要求。因此电信网和互联…

算法与数据结构之数组(Java)

目录 1、数组的定义 2、线性结构与非线性结构 3、数组的表现形式 3.1 一维数组 3.2 多维数组 4、重要特性:随机访问 5、ArrayList和数组 6、堆内存和栈内存 7、数组的增删查改 7.1 插入数据 7.2 删除一个数据 7.3 修改数组 7.4 查找数据 8、总结 什么…

视频监控可视化云平台EasyCVR智能视频技术优势分析

TSINGSEE青犀视频安防视频管理系统EasyCVR视频智能融合共享平台,是一个支持Windows/Linux(CentOS ubuntu)/国产化系统的视频管理平台。平台可以支持多协议接入,通过视频应用引擎将多种格式的视频数据转换为统一的视频流数据,支持无插件H5直播…

RK3568平台 input输入子系统

一.input子系统简介 Input 子系统是管理输入的子系统, 和 pinctrl 和 gpio 子系统一样, 都是 Linux 内核针对某一类设备而创建的框架。 input 子系统处理输入事务, 任何输入设备的驱动程序都可以通过 input 输入子系统提供的接口注册到内核&…

Java虚拟机介绍

JVM是一种用于计算设备的规范,它是一个虚拟出来的计算机,是通过在实际的计算机上仿真模拟计算机的各个功能来实现的。Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。每个Java虚拟机都着一个清晰的任务&#x…

用通俗易懂的方式讲解大模型:在 CPU 服务器上部署 ChatGLM3-6B 模型

大语言模型(LLM)的量化技术可以大大降低 LLM 部署所需的计算资源,模型量化后可以将 LLM 的显存使用量降低数倍,甚至可以将 LLM 转换为完全无需显存的模型,这对于 LLM 的推广使用来说是非常有吸引力的。 本文将介绍如何…

Flume基础知识(三):Flume 实战监控端口数据官方案例

1. 监控端口数据官方案例 1)案例需求: 使用 Flume 监听一个端口,收集该端口数据,并打印到控制台。 2)需求分析: 3)实现步骤: (1)安装 netcat 工具 sudo yum …

SVN服务端的下载、安装

地址 : Apache Subversion Binary Packages 下载 点击 VisualSVN 安装 都是点击 next 点击next ,即可安装成功

SpringBoot学习(三)-员工管理系统开发(重在理解)

注:此为笔者学习狂神说SpringBoot的笔记,其中包含个人的笔记和理解,仅做学习笔记之用,更多详细资讯请出门左拐B站:狂神说!!! 本文是基于狂神老师SpringBoot教程中的员工管理系统从0到1的实践和理解。该系统应用SpringB…

B端产品经理学习-需求挖掘

B端产品需求挖掘 目录 识别和管理干系人 决策人和负责人需求挖掘 针对用户进行需求挖掘 用户访谈结果整理 B端产品的需求来源是非常复杂的,要考虑多个方面;如果你是一个通用性的产品,要考虑市场、自身优劣势、干系人。而定制型B端产品会…

uniapp:签字版、绘画板 插件l-signature

官方网站:LimeUi - 多端uniapp组件库 使用步骤: 1、首先从插件市场将代码下载到项目 海报画板 - DCloud 插件市场 2、下载后,在项目中的uni_modules目录 3、最后 没有其它步骤,直接官网代码复制到vue文件中就可以了&#xff0c…

综合跨平台全端ui自动化测试框架Airtest——AirtestIDE录制微信小程序脚本教学

前言 有在自动化测试领域的小伙伴应该都知道,app和小程序自动化这一类的自动化测试在实际操作中有时候很棘手让人心烦,动不动就是用appium写代码脚本维护什么的,不仅步骤繁琐,环境配置方面也是繁琐无比,动不动就与客户…