马上解锁 StarRocks 存算分离,降本增效无需等!

StarRocks 于 4 月底正式发布了 3.0 版本,该里程碑版本带来了大家期盼已久的新特性--存算分离。此新功能一推出,立即受到社区热情追捧,用户纷纷开始在自己的业务中评估和测试存算分离效果。从芒果TV、聚水潭、网易邮箱、浪潮、天道金科等数十家客户的测试反馈来看,存算分离在查询性能,弹性扩缩容,降低存储成本等方面均有不错的表现!目前多个用户也开始在实际业务中陆续上线使用!StarRocks 存算分离上线的场景包含电商 ERP 订单分析系统、金融业务数据分析和制造业设备数据分析。由此可见,StarRocks 存算分离已达到生产可用的高标准

自 StarRocks 3.0 发布以来的三个月里,我们收到了众多来自社区小伙伴的热烈反馈。我们第一时间对这些反馈进行了梳理,针对大家共同感兴趣的几个问题进行了详尽分析。以下节选了部分社区伙伴的真实测试反馈,更多用户实测结果请参考:https://mp.weixin.qq.com/s/cQ88qm2xOJSlrb442uD_XA

性能是否强悍依旧?

大家首先关注的点还是存算分离能否继续保持 StarRocks 存算一体模式下强悍的查询性能,下图展示了在 TPC-DS 1TB 数据集规模下存算分离和存算一体的性能测试结果:

System

Excution time(s)

comparison to StarRocks native

StarRocks (native)

423.618

1

StarRocks (cloud-native)

428.167

1.01

StarRocks (cloud-native-no-cache)

667.887

1.57

标准数据集结果显示:

  1. 在 cache 全命中的条件下,存算分离性能与存算一体查询性能几乎保持一致

  2. 即使在 cache 完全 miss 情况下,查询性能下降也在可接受的范围内

除了标准数据集,社区小伙伴也拿真实业务验证了这一点,社区用户杨荣反馈了真实业务场景中测试的查询结果:

“从下面面的对比图可以看出,q2 - q5 四个 sql,local 表与 cloud native 表的查询性能基本持平,q1 在 10 并发以上的场景下 cloud native 表都比 local 表查询性能要好”。 👉🏻 参考报告: https://forum.mirrorship.cn/t/topic/7095

而来自社区用户聚水潭则从导入和高并发查询评估性能:

“对于单 SQL 查询来看,开启本地缓存后有明显优化,查询性能基本和存算一体表持平,根据回放测试表现来看,基本都可以符合在 100 左右的 QPS,对于当前的业务场景基本符合预期” 👉🏻 参考报告: https://forum.mirrorship.cn/t/topic/7038

所以,存算分离性能是否强悍依旧,用户给出的答案是 Yes!

功能是否完备?

StarRocks 存算分离版本自推出开始就在功能上与存算一体保持同步,存算一体上的各种新功能在存算分离版本上通过快速的版本迭代也能无缝体验。 在 4 月底推出的 3.0 版本中我们支持了明细模型、聚合模型的存储计算分离能力,并且支持了国内外所有主流对象存储系统以及 HDFS 等。在后续的 3.0.x 版本中社区将持续优化内核,保证在各种存储系统上都能完美运行。此外,在 3.0 版本中,我们也推出了基于 Local Disk 的热数据 Cache 能力,保障存算分离下极致的查询性能。 在即将推出的 StarRocks 3.1 版本中,我们将会重点支持主键模型的存算分离,不少社区小伙伴已经通过最近的 RC 版本抢先体验了该能力,基于对象存储,数据依旧可以实时更新!另外,我们还将推出自研的更细粒度 Cache 机制,进一步提升缓存效率。该版本也将成为我们的 LTS 版本,用户就可以在生产环境中大规模使用存算分离。 所以,存算分离和存算一体在功能上不仅保持一致,还有以下优势:

  • 支持公有云、私有化部署模式,随时随地开箱即用

  • 支持基于 S3 协议/HDFS 存储,节省存储空间的同时提升数据的可靠性

  • 支持所有的表模型(明显模型,聚合模型,更新模型,主键模型),用户切换 0 成本

  • 物化视图能力,外表查询等能力与存算一体一致,湖仓加速毫不费力

可否灵活弹性?

部分社区小伙伴业务有比较明显的峰谷特点,看中了存算分离的弹性能力,验证了在节点扩容时性能也能同步提升: 搭建 StarRocks 3.0 存算分离版本,通过增加 BE 计算节点的方式,对 SSB 和 TPCH 进行压测,得到如下测试结果。通过下面的图表(横坐标为 BE 数量,纵坐标为响应时长,单位 s)可知: 集群整体的查询能力随计算节点数增加而提升

由此可见,StarRocks 存算分离不仅可以灵活弹性,并且性能可随节点增加而提升!

可否真的降本增效?

看完了性能,聊完了弹性。接下来让我们简单算算账,看看存算分离能为用户省多少 money! 以下是某在线教育头部客户的某个集群统计数据,其当前 StarRocks 规模大概如下:

  • 每日新增导入数据量约为 1.6TB(最大,日常大概新增约 500GB),每秒导入次数最大约为 2(15 秒导入20+ 次),Tablet 数量 15

  • BE 节点数目为 5,集群总节点数量为 6(FE 和 BE 有混部),节点规格为 32core 128G 内存

  • 每年元数据 PutObject 调用产生的次数为 2 * 2 * 15 * 3600 * 24 * 365 = 1892160000

  • 每年 Segment 上传而产生的 PutObject 调用次数为 2 * 15 * 3600 * 24 * 365 = 946080000

总的次数为 2838240000 存储介质成本对比(1 TB 数据年费用)

存储介质

PutObjetc访问次数费用($)

存储容量费用($)

总费用($)

AliYun OSS

2838240000 * 0.001563 / 10000 = 443

0.0173 * 1024 * 12 = 213

656

AliYun ESSD LP 1

0

1024 * 12 * 3(副本数) / 7.1(汇率)= 5192

5192

所以,在性能不变的情况下,用户存储成本整体下降到原来的 1/8!

存算分离稳定了吗?

这也是许多用户最为关心的问题,毕竟新特性需要经过大量用户场景的实践验证。自 StarRocks 3.0 版本推出存算分离以来,我们已接受了大量社区小伙伴的测试,验证了其稳定性。截止目前,已经有聚水潭,天道金科,芒果TV等用户开始在实际场景对存存算分离进行上线验证,并取得了不错的效果。业务也开始逐步体验新架构带来的极速、弹性等优点。接下来,我们将发布相关的用户案例,社区会陆续邀请用户对存算分离最佳实践进行深入分享,让更多人了解存算分离在实际用户侧的业务成果和效益。

存算分离怎么用?

StarRocks 的存算分离版本目前已经在3.0版本发布,用户可自行前往官网下载体验测试,且存算分离同时支持物理机和K8S环境部署。另外,社区也正积极和国内各大云厂商合作,即将在各公有云EMR服务上线存算分离版本,用户可以通过各种不同渠道体验存算分离新能力。
下载链接:https://www.mirrorship.cn/zh-CN/download/community

StarRocks 存算分离立刻行动,即刻上线!

💬 StarRocks Feature Group-存算分离: 对 StarRocks 存算分离功能感兴趣的小伙伴们欢迎加入我们的“StarRocks 存算分离用户小组”。

下方添加小助手,回复关键字“存算分离”即可加入,马上开启你的降本增效之路!👇🏻

https://842372.ma3you.cn/articles/Oz4kpdl/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/19312.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

桥接模式——处理多维度变化

1、简介 1.1、概述 桥接模式是一种很实用的结构型设计模式。如果软件系统中某个类存在两个独立变化的维度,通过该模式可以将这两个维度分离出来,使两者可以独立扩展,让系统更加符合单一职责原则。与多层继承方案不同,它将两个独…

游戏APP开发:创新设计的秘诀

在游戏 APP开发中,创新设计是游戏开发公司的一大追求,为了可以为用户带来更好的游戏体验,这就需要对游戏 APP开发进行创新设计。那么,游戏 APP开发中的创新设计是什么呢?接下来,我们就一起来看看吧。 想要…

mongodb docker 及常用命令

MongoDB属于非关系型数据库,它是由C编写的分布式文档数据库。内部使用类似于Json的bson二进制格式。 中文手册 https://www.w3cschool.cn/mongodb/ 安装 https://www.mongodb.com/try/download/community 二进制安装可见另一篇: centos7 mongodb 4.0.28…

SSL原理详解

SSL协议结构: SSL协议分为两层,下层为SSL记录协议,上层为SSL握手协议、SSL密码变化协议和SSL警告协议。 1.下层为SSL记录协议,主要作用是为高层协议提供基本的安全服务 建立在可靠的传输之上,负责对上层的数据进行分块…

Vue3+Vite+TypeScript常用项目模块详解

目录 1.Vue3ViteTypeScript 概述 1.1 vue3 1.1.1 Vue3 概述 1.1.2 vue3的现状与发展趋势 1.2 Vite 1.2.1 现实问题 1.2 搭建vite项目 1.3 TypeScript 1.3.1 TypeScript 定义 1.3.2 TypeScript 基本数据类型 1.3.3 TypeScript语法简单介绍 2. 项目配置简单概述 2.…

小白到运维工程师自学之路 第六十三集 (dockerfile安装sshd、httpd、nginx)

一、概述 Dockerfile的指令根据作用可以分为两种,构建指令和设置指令。构建指令用于构建image,其指定的操作不会在运行image的容器上执行;设置指令用于设置image的属性,其指定的操作将在运行image的容器中执行。 1、FROM 镜像:T…

em3288 linux_4.19 sd卡调试

默认配置,根据实际配置即可。

Maven-学习笔记

文章目录 1. Maven简介2.Maven安装和基础配置3.Maven基本使用4.Maven坐标介绍 1. Maven简介 概念 Maven是专门用于管理和构建Java项目的工具 主要功能有: 提供了一套标准化的项目结构提供了一套标准化的构建流程(编译,测试,打包,…

语音识别 — 特征提取 MFCC 和 PLP

一、说明 语音识别是一种技术,通过计算机和软件系统,将人们的口头语言转换为计算机可读的文本或命令。它使用语音信号处理算法来识别和理解人类语言,并将其转换为计算机可处理的格式。语音识别技术被广泛应用于许多领域,如语音助手…

什么是图像特征?如何让计算机理解图像特征?

图像的特征 大多数人都玩过拼图游戏。首先拿到完整图像的碎片,然后把这些碎片以正确的方式排列起来从而重建这幅图像。如果把拼图游戏的原理写成计算机程序,那计算机就也会玩拼图游戏了。 在拼图时,我们要寻找一些唯一的特征,这…

企业AD域管理:ADManager Plus助您轻松掌控全局

在现代企业中,Active Directory(AD)域是一个至关重要的组成部分。它作为一种身份验证和授权机制,管理着企业网络中的用户、计算机、组和其他资源。然而,随着企业规模和复杂性的不断增长,AD域的管理变得越来…

ELK 企业级日志分析系统(一)

目录 一、ELK 简介 1.1 组件说明 1.2 为什么要使用ELK 1.3 完整日志系统的基本特征 1.4 ELK工作原理 二、Elasticsearch的介绍 2.1 Elasticsearch的核心: 三、Logstash 3.1 Logstash简介 四、Kibana 五、部署ELK日志分析系统 5.1 服务器配置 5.2 ELK Elasticse…

苹果电脑系统优化工具:Ventura Cache Cleaner for mac

Ventura Cache Cleaner for Mac是一款专门为苹果电脑开发的系统优化工具,旨在帮助用户清理和优化Mac电脑,提高系统性能和速度。该软件由美国公司Northern Softworks开发,已经推出了多个版本,适用于不同版本的Mac操作系统。 Ventu…

常见OOM异常分析排查

常见OOM异常分析排查 Java内存溢出Java堆溢出原因解决思路总结 Java内存溢出 java堆用于存储对象实例,如果不断地创建对象,并且保证GC Root到对象之间有可达路径,垃圾回收机制就不会清理这些对象,对象数量达到最大堆的容量限制后就会产生内存溢出异常. Java堆溢出原因 无法在…

【IMX6ULL驱动开发学习】21.Linux驱动之PWM子系统(以SG90舵机为例)

1.设备树部分 首先在 imx6ull.dtsi 文件中已经帮我们定义好了一些pwm的设备树节点&#xff0c;这里以pwm2为例 pwm2: pwm02084000 {compatible "fsl,imx6ul-pwm", "fsl,imx27-pwm";reg <0x02084000 0x4000>;interrupts <GIC_SPI 84 IRQ_TYP…

开源-基于ch9374b的KVM设计

文章目录 简介功能特性设计图实现功能开源链接 简介 平时总有一种需求&#xff0c;就是我在调试树莓派的时候&#xff0c;经常要在pc电脑和开发板之间来回操作&#xff0c;因此就需要两套键盘和鼠标&#xff0c;但是我的桌子实在是太小了&#xff0c;两套键鼠不能并排放置&…

13 springboot项目——准备数据和dao类

13.1 静态资源下载 https://download.csdn.net/download/no996yes885/88151513 13.2 静态资源位置 css样式文件放在static的css目录下&#xff1b;static的img下放图片&#xff1b;template目录下放其余的html文件。 13.3 创建两个实体类 导入依赖&#xff1a;lombok <!…

桥接模式(Brige)

桥接模式是一种结构型设计模式&#xff0c; 又称为柄体(Handle and Body)模式或接口(Interface)模式。桥接模式&#xff0c;可将将抽象部分与它的实现部分分离&#xff0c;使它们都可以独立地变化。如将一个大类或一系列紧密相关的类拆分为抽象和实现两个独立的层次结构&#x…

百度:文心千帆 网页搭建和示例测评

文章目录 官方文档代码示例token获取流式回答官网完整示例 制作一个网页端 官方文档 https://cloud.baidu.com/doc/WENXINWORKSHOP/s/flfmc9do2按照这个操作进行创建一个应用&#xff1a; 代码示例 token获取 # 填充API Key与Secret Key import requests import jsondef ma…

blender的下载安装和配置中文环境

引言 在3D建模和动画设计领域&#xff0c;Blender 作为一款强大且免费的开源软件&#xff0c;一直以优秀的性能和对众多技术的支持赢得了大批用户的喜爱。然而&#xff0c;对于刚接触这款软件的用户而言&#xff0c;其安装和配置过程可能会带来一定困扰&#xff0c;尤其是在设…