镜舟科技助力某大型电网企业破解数据架构升级难题,打造国产化湖仓标杆

在 “十四五” 规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为能源行业核心系统国产化升级提供了可复制的技术范本。

数字电力正面临日益复杂的数据挑战

随着数字化转型深入推进,该电网企业作为服务超 2.5 亿用户的特大型能源企业,面临着日益复杂的数据管理挑战:

  • 数据链路复杂,时效性低:数据供给路径冗长,导致延迟高,无法满足实时性要求。
  • 资源瓶颈:计算集群资源紧张,CPU 和 IO 高负载,限制了性能扩展。
  • 高并发挑战:先有的业务大量使用宽表设计,查询并发压力剧增,现有架构难以支撑。
  • 融合计算能力不足:数据分散,跨集群融合计算能力缺失,限制了个性化需求支持。
  • 数据治理难度大:全域的数据资产建设,没有统一的主题划分,数据分散。

解决方案:基于 StarRocks+TBDS 构建统一数据平台

作为 StarRocks 核心商业化公司,镜舟科技联合腾讯云为该电网企业设计了一套分层渐进式的技术升级方案。

该方案核心在于优化数据链路,通过缩短供给路径并引入实时分析引擎,有效提升数据时效性。同时,通过扩展集群规模提升资源利用率,解决计算资源瓶颈问题。

针对高并发查询压力,镜舟团队对查询引擎进行深度优化,增强缓存机制和负载均衡能力。此外,通过构建统一数据平台,实现跨集群数据整合和计算,满足多样化的分析需求,并为数据治理奠定坚实基础。

在该电网企业实际业务场景下的 POC 测试中,StarRocks 展现了显著的性能优势:现网系统查询耗时:1513 秒,StarRocks 查询耗时:0.176 秒,实现近 8600 倍的查询加速。

1. 基于 StarRocks+TBDS 的湖仓技术架构

该电网企业的湖仓架构包含四个关键层次,包含从数据采集到业务应用的全链路:

  • 数据接入层:Flink 实时数据处理
  • 数据湖存储:腾讯 TBDS(Iceberg 表格式)
  • 分析加速层:StarRocks 多集群(存算一体 + 存算分离)
  • 业务应用层:SmartBI 等可视化工具

2. 关键技术提升整体性能

方案实施过程中,团队重点解决了三大技术难题,确保系统平稳过渡的同时提升整体性能:

1. 国产化适配验证

完成包括海光芯片和麒麟 V10 操作系统在内的全栈国产化适配验证,保障系统在国产化基础设施上的稳定运行。

2. 业务平滑迁移

通过支持 Greenplum 语法兼容,成功保障了存量业务的平滑迁移,并利用多集群架构实现了网级与省侧业务高效协同。

3. 湖仓数据统一协同

基于腾讯 TBDS 数据湖构建统一元数据目录,同时借助 Flink 实现实时数据入湖,StarRocks 提供强大的分析加速能力,形成完整的数据流转与处理闭环。

StarRocks 数据底座:电力业务腾飞的新引擎

此次升级帮助该电网企业进一步构建统一的基础数据底座,为各业务平台提供数据存储、处理、治理、建模和计算分析等全数据生命周期能力服务,支撑网省各级单位数据应用需求。

  1. 业务连续性保障:StarRocks 兼容 Greenplum 近 10 万条 SQL 语法。支持渐进式改造,存算分离与存算一体混合部署模式灵活可选。
  2. 架构扩展性提升:多集群架构实现分散 MPP 集群的统一纳管,弹性扩缩容能力适配业务增长需求。
  3. 技术自主可控:全国产化技术栈(海光芯片 + 麒麟系统),并与腾讯 TBDS 实现数据湖管理标准统一。

未来,镜舟科技将持续完善 StarRocks 与腾讯 TBDS 的深度协同,为关键行业提供安全可靠的数据基座。

镜舟科技:企业级数据分析基座构建者

作为 StarRocks 开源项目的主要贡献者及商业化领军企业,镜舟科技基于 “开源 + 商业化” 双引擎模式,通过企业级产品镜舟数据库(Mirrorship)为企业级用户打造专业的 Lakehouse 解决方案:

  1. 技术领先性:镜舟数据库支持 PB 级实时分析的分布式数据库,同时镜舟科技技术团队深度参与 StarRocks 开源社区建设,并基于此给企业级用户提供更多技术保障。
  2. 行业实践经验积累:镜舟科技已成功支撑金融、智能制造等领域的数据分析平台建设,企业级客户已覆盖超百家头部企业。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/76024.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spark-SQL核心编程3

数据加载与保存 通用方式: SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API,根据不同的参数读取和保存不同格式的数据,SparkSQL 默认读取和保存的文件格式为parquet 数据加载方法: spark.read.lo…

使用HTML + CSS + JS,编写一个台球追分计分器

目录 一.代码 二.效果展示 三.该计分器的优点 一.代码 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><…

LLM小白自学笔记:1.两种指令微调

一、LoRA 简单来说&#xff0c;LoRA不直接调整个大模型的全部参数&#xff08;那样太费资源&#xff09;&#xff0c;而是在模型的某些层&#xff08;通常是注意力层&#xff09;加个“旁路”——两个小的矩阵&#xff08;低秩矩阵&#xff09;。训练时只更新这俩小矩阵&#x…

2026《数据结构》考研复习笔记一(C++基础知识)

C基础知识复习 一、数据类型二、修饰符和运算符三、Lambda函数和表达式四、数学函数五、字符串六、结构体 一、数据类型 1.1基本类型 基本类型 描述 字节&#xff08;位数&#xff09; 范围 char 字符类型&#xff0c;存储ASCLL字符 1&#xff08;8位&#xff09; -128…

基于骨骼识别的危险动作报警分析系统

基于骨骼识别的危险动作报警分析系统 【包含内容】 【一】项目提供完整源代码及详细注释 【二】系统设计思路与实现说明 【三】基于骨骼识别算法的实时危险行为预警方案 【技术栈】 ①&#xff1a;系统环境&#xff1a;Windows 10/11、macOS Ventura、Ubuntu 20.04 ②&#x…

【双指针】四数之和(medium)

四数之和&#xff08;medium&#xff09; 题⽬描述&#xff1a;解法&#xff08;排序 双指针&#xff09;算法思路&#xff1a; C 算法代码&#xff1a;Java 算法代码&#xff1a; 题⽬链接&#xff1a;18. 四数之和 题⽬描述&#xff1a; 给你⼀个由 n 个整数组成的数组 num…

Flask+Influxdb+grafna构建电脑性能实时监控系统

Influx下载地址&#xff0c;这里下载了以下版本influxdb-1.8.5_windows_amd64.zip 运行前需要先启动Influx数据库&#xff1a; 管理员方式运行cmd->F:->cd F:\influxdb\influxdb-1.8.5-1->influxd -config influxdb.conf&#xff0c;以influxdb.conf配置文件启动数…

如何在Keil中配置国民技术N32G系列MCU开发环境

如何在Keil及Jlink中搭建国民技术N32G系列MCU开发环境 根据自己的MCU型号&#xff08;我这里的型号是N32G452REL7&#xff09;访问国民技术官网&#xff0c;依次从N32G通用MCU-技术资源-固件和软件-软件开发套件&#xff0c;获取对应MCU型号的SDK&#xff0c;也可点击这里从网盘…

微软承认Win11出现极端错误,只能强制关机或重装系统

最近&#xff0c;不少使用 Windows 11 的用户反映&#xff0c;在系统更新后&#xff0c;“Windows Hello”突然失效&#xff0c;原本便捷的人脸识别和PIN登录功能统统无法使用。更糟的是&#xff0c;有人在重置系统后直接被挡在系统门外&#xff0c;这让人不禁发问&#xff1a;…

【android bluetooth 协议分析 02】【bluetooth hal 层详解 1】【uart 介绍】

一、什么是 UART&#xff1f; UART&#xff08;Universal Asynchronous Receiver/Transmitter&#xff09; 是一种 串行通信协议&#xff0c;它的特点是通信时不需要专门的时钟信号&#xff08;叫做“异步”通信&#xff09;&#xff0c;常用于两个设备之间的简单数据通信&…

天元证券|奶粉行业结构性回暖 乳企竞速全龄化、国际化

在过去几年中&#xff0c;中国婴配粉市场经历了量价齐增&#xff0c;量减价增&#xff0c;量减价减的三个周期。历经多年行业深度洗牌与竞争格局重塑&#xff0c;2024年中国婴配粉市场回暖态势愈发清晰可辨。 日前&#xff0c;包括中国飞鹤、澳优、健合集团在内的多家奶粉股披露…

第3.1节 调用链路分析简介

调用链路&#xff08;Call Chain / Call Path&#xff09; 是程序在执行过程中&#xff0c;按照调用顺序形成的函数、模块或组件之间的依赖关系链条&#xff0c;完整记录了从程序入口到当前执行点的动态调用路径。它反映了代码执行的逻辑流程&#xff0c;是分析程序行为、调试问…

System.Security.Cryptography.CryptographicException“填充无效,无法被移除。”

这个异常通常发生在以下几种情况&#xff1a; 1.密文损坏&#xff1a;密文在传输或存储过程中被篡改或损坏。 2.密钥不匹配&#xff1a;用于解密的密钥与加密时使用的密钥不同。 3.填充模式不匹配&#xff1a;加密时使用的填充模式与解密时指定的填充模式不一致。 4.使用了不正…

【网络入侵检测】Suricata之数据包内容匹配

【作者主页】只道当时是寻常 【专栏介绍】入侵检测。专注网络、主机安全&#xff0c;欢迎关注与评论。 1. 概要 本文详细介绍了网络入侵检测系统&#xff08;如 Suricata&#xff09;中用于检查数据包或流有效载荷的 Payload 关键字。content 用于匹配数据包内容&#xff0c;默…

Spring Boot 整合 Redis 实现点赞功能:从基础到实践

在当今互联网应用开发中&#xff0c;点赞功能几乎成为了各类内容平台的标配。它不仅能增加用户与内容之间的互动&#xff0c;还能直观地反映内容的受欢迎程度。本文将详细介绍如何使用 Spring Boot 整合 Redis 来实现一个简单的文章点赞功能&#xff0c;让你轻松掌握这一实用技…

openGauss DataVec + Dify,快速搭建你的智能助手平台

在当今数字化和智能化的时代&#xff0c;大语言模型&#xff08;LLM&#xff09;的应用正以前所未有的速度改变着各个领域的工作方式和用户体验。Dify 作为一个开源的大语言模型应用开发平台&#xff0c;为开发者们提供了便捷且强大的工具&#xff0c;助力构建从基础智能体到复…

OpenLayers:extent与view extent 介绍

一、范围的概念 1.什么是范围&#xff1f; 在Openlayers中范围&#xff08;Extent&#xff09;是用于表示地理空间区域的一种概念。它通常由一个数字数组构成&#xff0c;数组中的内容为&#xff1a;[最小x坐标&#xff0c;最小y坐标&#xff0c;最大x坐标&#xff0c;最大y坐…

can‘t set boot order in virtualbox

Boot order setting is ignored if UEFI is enabled https://forums.virtualbox.org/viewtopic.php?t99121 如果勾选EFI boot order就是灰色的 传统BIOS就是可选的 然后选中任意介质&#xff0c;通过右边的上下箭头调节顺序&#xff0c;最上面的应该是优先级最高的 然后就…

如何在 Kali 上解决使用 evil-winrm 时 Ruby Reline 的 quoting_detection_proc 警告

在使用 Kali Linux 运行 Ruby 工具&#xff08;例如 evil-winrm&#xff09;时&#xff0c;你可能会遇到以下警告&#xff1a; Warning: Remote path completions is disabled due to ruby limitation: undefined method quoting_detection_proc for module Reline这个警告会导…

工资管理系统的主要功能有哪些

工资管理系统通过自动化薪资计算、税务处理、员工数据管理、报表生成等功能&#xff0c;极大地提升了薪资发放的效率和准确性。在传统的人工薪资管理中&#xff0c;HR人员需要手动计算每位员工的薪资&#xff0c;并确保符合税务要求&#xff0c;极易出错且耗时。而现代工资管理…