【性能优化】低配starRocks常驻内存优化

背景说明

由于服务器的实际资源小于starRocks官方的配置,导致starRocks在无任务的情况下,常驻内存偏高,可用于查询的资源变小。

在这里插入图片描述
官方文档

实际部署的集群一般是4C8G和8C16G,be的配置不达标

为了解决单次查询内存不足的问题,提升系统稳定性。放弃starRocks默认开启的通过内存换时间的优化逻辑,降低内存使用。

注意事项

部分参数无法在conf文件中配置,需要执行SQL语句,进行set操作。

参数调整

query_mem_limit

感觉是starRocks的BUG,默认是不配置的,就是不限制。但一段时间后会触发BUG,变成2G的效果,只能手动配置来解决。

Limit:2147483648,刚好是2GB。

ERROR 1064 (HY000) at line 1: Memory of Query4c93de21-7bb9-11ef-a38d-00163e3ad810 exceed limit. Pipeline Backend: 172.16.204.181, fragment: 4c93de21-7bb9-11ef-a38d-00163e3ad811 Used: 2150710904, Limit: 2147483648. Mem usage has exceed the limit of single query, You can change the limit by set session variable query_mem_limit.

SET GLOBAL query_mem_limit = 13743895347; 
--具体数值需要根据实际资源确认,大约是服务器的80%

enable_persistent_index

这个参数用于控制是否持久化主键索引。在主键表中,StarRocks可以使用磁盘和内存同时存储主键索引,以减少主键索引占用的内存空间。如果设置为true,则主键索引会被持久化到磁盘上,这样可以在使用大量数据的情况下节省内存。默认情况下,这个参数可能设置为false,意味着主键索引只在内存中维护,这可能会导致内存使用量较大。常驻内存使用问题之一,内存不足或导入操作多的表,可以考虑关闭。

disable_storage_page_cache

是否开启 PageCache。开启 PageCache 后,StarRocks 会缓存最近扫描过的数据,对于查询重复性高的场景,会大幅提升查询效率。true 表示不开启。该配置项与 storage_page_cache_limit 配合使用,在内存资源充足和有大数据量 Scan 的场景中启用能够加速查询性能。storage_page_cache_limit,默认20%,修改为0% 。BE 存储层 page 缓存可以使用的内存上限。

管理内存 | StarRocks

chunk_reserved_bytes_limit

其参数修改在【metadata常驻优化】中 chunk_reserved_bytes_limit=100000000

用于加速小块内存分配的 Cache,默认上限为 2GB。您可以在内存资源充足的情况下打开。

修改为0,不启用

管理内存 | StarRocks

metadata常驻优化

降低到常驻进程中metadata的占比

在be.conf中加上 
disable_column_pool=true
chunk_reserved_bytes_limit=100000000
data_page_size=524288

中间表落盘

中间结果落盘 | StarRocks

【默认】Data Cache

speedo系统默认是false,未开启

如需永久禁用 Data Cache,需要将以下配置添加到 CN 配置文件 cn.conf 中,并重新启动 CN 节点:

starlet_use_star_cache = false

Data Cache | StarRocks

【默认】Query Cache

speedo系统默认是false,未开启

Query Cache 特性,可以帮助您极大地提升聚合查询的性能。开启 Query Cache 后,每次处理聚合查询时,StarRocks 都会将本地聚合的中间结果缓存于内存中。这样,后续收到相同或类似的聚合查询时,StarRocks 就能够直接从 Query Cache 获取匹配的聚合结果,而无需从磁盘读取数据并进行计算,大大节省查询的时间和资源成本,并提升查询的可扩展性。在大量用户同时对复杂的大数据集执行相同或类似查询的高并发场景下,Query Cache 的优势尤为明显。

Query Cache | StarRocks

内存分析方法

管理内存 | StarRocks

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/54165.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL高阶2020-无流量的账户数

目录 题目 准备数据 分析数据 总结 题目 编写SQL查询以报告在 2021 购买订阅但没有任何会话的帐 户数。 准备数据 Create table If Not Exists Subscriptions (account_id int, start_date date, end_date date) Create table If Not Exists Streams (session_id int, a…

wsl(1) -- win11环境配置

1.前言 本专栏主要记录了我配置wsl的过程,以便日后回忆。 2. 开启WSL可选功能 打开设置,点击应用,点击可选功能,点击更多Windows功能,查看是否开启了【适用于Linux的Windows子系统】和【虚拟机平台】 3. 更新wsl …

FPGA-Vivado-IP核-逻辑分析仪(ILA)

ILA IP核 背景介绍 在用FPGA做工程项目时,当Verilog代码写好,我们需要对代码里面的一些关键信号进行上板验证查看。首先,我们可以把需要查看的这些关键信号引出来,接好线通过示波器进行实时监测,但这会用到大量的线材…

“不关心⚠️Warning”的代价:http自动升级https导致免费的存储服务扣费

背景 7 月 12 日的时候我手机突然收到一条短信:显示我在 LeanCloud 平台的账户欠费了。虽然只是欠费 0.01 元,但还是有些疑惑,怎么免费的存储服务突然扣费了? 然而这只是个开始。起初我并没有很在意这扣费的 0.01 元(…

【微服务即时通讯系统】——brpc远程过程调用、百度开源的RPC框架、brpc的介绍、brpc的安装、brpc使用和功能测试

文章目录 brpc1. brpc的介绍1.1 rpc的介绍1.2 rpc的原理1.3 grpc和brpc 2. brpc的安装3. brpc使用3.1 brpc接口介绍 4. brpc使用测试4.1 brpc同步和异步调用 brpc 1. brpc的介绍 1.1 rpc的介绍 RPC(Remote Procedure Call)远程过程调用,是一…

指纹定位的原理与应用场景

目录 原理 1. 信号特征收集 2. 定位算法 推导公式 距离估算公式 定位算法公式 使用场景 发展前景 指纹定位是一种基于无线信号强度(如Wi-Fi、RFID、蓝牙等)来实现室内定位的技术。它借助于环境中多个基站的信号特征来推断用户的位置。以下是对指纹定位的详细讲解,包…

节点分类、链路预测和社区检测的评价指标

文章目录 前言一、节点分类的评价指标1. 混淆矩阵 (Confusion Matrix)2. 准确率 (Accuracy)3. 精确率 (Precision)4. 召回率 (Recall)5. F1分数 (F1 Score)6. ROC曲线和AUC值 (Receiver Operating Characteristic and Area Under Curve) 二、链路预测的评价指标1. **AUC (Area …

C++入门基础 (超详解)

文章目录 前言1. C关键字2. C的第一个程序3. 命名空间3.1 namespace的定义3.2 命名空间的嵌套3.3 命名空间使用3.4 查找优先级总结 4. C输入和输出4.1 标准输入输出 (iostream库)4.2 文件输入输出 (fstream库)4.3 字符串流 (sstream库)4.4 C格式化输出4.5 std::endl和\n的区别 …

WMware安装WMware Tools(Linux~Ubuntu)

1、这里终端里面输入sudo apt upgrade用于更新最新的包 sudo apt upgrade 2、安装 open-vm-tools-desktop 包, Ps:这里是以为我已经安装好了。 udo apt install open-vm-tools-desktop -y3、最后重启就大功告成了 reboot 4、测试是否成功&#xff1a…

2024网安周 | 百度安全深度参与,探索人工智能与数字安全的融合发展之路

9月9日-15日,2024年国家网络安全宣传周在全国范围内统一举行,本届网安周继续以“网络安全为人民,网络安全靠人民”为主题,由中央宣传部、中央网信办、教育部、工业和信息化部、公安部、中国人民银行、国家广播电视总局、全国总工会…

0108 Spring Boot启动过程

Spring Boot 的启动过程可以分为以下几个关键步骤: 1. SpringApplication 初始化 Spring Boot 应用的启动是通过调用 SpringApplication.run() 方法完成的。在这个过程中,Spring Boot 会通过 SpringApplication 类对应用进行初始化,包括设置…

0708-指针和字符数组(上)(下)

一、计算字符串的大小: int main() {char C[20];C[0] J;C[1] O;C[2] H;C[3] N;C[4] \0;int len strlen(C);printf("Length %d\n", len); } 二、打印一个"Hello"字符串: 这部分可以看视频, char C[20] "H…

LabVIEW回转支承间隙自动化检测系统

开发了一种基于LabVIEW软件的回转支承间隙检测系统,通过高精度传感器和数据采集卡,自动化、高效地测量回转支承的轴向间隙和径向间隙,提高了检测精度和生产质量。以下是对系统的详细描述与应用案例分析,希望能为有类似需求的开发者…

【深度学习】—线性回归 线性回归的基本元素 线性模型 损失函数 解析解 随机梯度下降

【深度学习】— 线性回归 线性回归的基本元素 线性模型 损失函数 解析解 随机梯度下降 线性回归线性回归的基本元素 线性模型损失函数解析解随机梯度下降小批量随机梯度下降梯度下降算法的详细步骤解释公式 线性回归 回归(regression)是能为⼀个或多个⾃…

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-01

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-01 目录 文章目录 计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-01目录1. Beyond Text-to-Text: An Overview of Multimodal and Generative Artificial Intelligence for Education Using Topi…

QT-MySQL QSqlDatabase: QMYSQL driver not loaded

文章目录 问题解决操作:自己尝试编译,各种错误层出不穷: 解决问题检查总结: 问题 使用Qt连接mysql数据库,遇到了一个问题,就是QT5.14.1版本在连接MySQL数据库时候,提示驱动加载失败&#xff0c…

麒麟操作系统部分目录介绍

图形系统目录 文字系统目录 (1)/bin:存放普通用户可以使用的命令文件。 (2)/boot:包含内核和其它系统程序启动时使用的文件。 (3)/dev:设备文件所在目录。在操作系统中…

数据结构 ——— 单链表oj题:返回链表的中间节点

目录 题目要求 手搓简易单链表 代码实现 题目要求 给你单链表的头节点 head ,请你找出并返回链表的中间节点 如果有两个中间节点,则返回第二个中间节点 要求算法的时间复杂度为:O(N) 手搓简易单链表 代码演示: // 单链表中…

Java Web应用升级故障案例解析

在一次Java Web应用程序的优化升级过程中,从Tomcat 7.0.109版本升级至8.5.93版本后,尽管在预发布环境中验证无误,但在灰度环境中却发现了一个令人困惑的问题:新日志记录神秘“失踪”。本文深入探讨了这一问题的排查与解决过程&…

【湖南步联科技身份证】 身份证读取与酒店收银系统源码整合———未来之窗行业应用跨平台架构

一、html5 <!DOCTYPE html> <html><head><meta http-equiv"Content-Type" content"text/html; charsetutf-8" /><script type"text/javascript" src"http://51.onelink.ynwlzc.net/o2o/tpl/Merchant/static/js…