酷克数据携手江西移动入选“星河(Galaxy)”数据库潜力案例

2024 年 12 月 18 - 19 日,为推动打造行业交流平台,驱动产业创新共荣,大数据技术标准推进委员会以“数据重塑价值 智能链接未来”为主题,在北京召开为期两天的“2024 数据资产管理大会”。


在会上,第八届大数据“星河(Galaxy)”案例评选结果正式公布。中国移动通信集团江西有限公司与酷克数据联合申报的《基于江西移动数据仓库架构的智能化升级与大数据应用创新实践》应用案例,成功入选第八届大数据“星河(Galaxy)”数据库潜力案例。
e3066c4f796d0d1c29d80bd7ed69284b.jpeg
为推动大数据技术与相关产业发展,释放数据作为新型生产要素的潜力,中国信通院与中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)已连续八年举办大数据“星河(Galaxy)”案例征集活动。活动主要面向甲方落地单位,旨在通过实地生产案例与场景,总结和推广真实可用的大数据实践与经验,在国内大数据产业具有公认的行业标杆性和极高的认可度。

项目背景


在数字化时代,数据已成为企业运营不可或缺的资源。江西移动一直致力于为客户提供卓越移动通信服务。然而,随着 5G 时代,移动通信业务的迅速扩张和数据量的急剧增加,原有基于 Greenplum 的数据仓库平台在数据处理、响应速度和数据融合方面逐渐暴露出局限,限制了数据价值的挖掘与利用。同时,江西移动面临国产化适配的挑战,数据平台需支持国产操作系统,以确保数据安全与自主可控。
为破局向新,江西移动毅然决定对现有数据平台进行全面改造升级,核心目标是提升数据仓库平台的应用支撑力,加速数据处理,优化数据融合。尤为关键的是,此次升级需在数据及调度自动适配、业务层零变更的前提下进行,以确保业务连续稳定,升级难度却也因此加大。

HashData 解决方案


为此,江西移动携手酷克数据,采用 HashData Enterprise 存算分离架构的云原生数据仓库构建核心数据分析平台,采用 HashData Lightning 存算一体架构的数据仓库构建实时数据仓库,并将原有 Greenplum 集群无缝升级,全面升级数据支撑底座。
核心数据处理层,江西移动采用了 HashData Enterprise 的云原生数据库,突破了原有存算紧耦合 MPP 架构的瓶颈。新的平台采用存算分离架构,不仅简化了运维,还解决了数据冗余和跨集群复制效率低等问题。通过全域数据共享和与现网 Hadoop 平台的无缝对接,核心数据分析平台大幅度提升了数据处理能力,支持了各类业务应用,并为后续的数据处理、KPI 计算和报表生成等提供了坚实的技术基础。
3f768bd3b78937a2335187dd257c39bd.jpeg
采用 HashData Lightning 构建的实时数仓显著提升了实时位置分析能力,解决了传统平台的两大难题:栅格覆盖信息无法有效持久化以及沉默信令用户导致的数据波动。通过 Kafka 和 Hive 等高效连接器,实时数仓提升了数据交互效率,并构建了静默用户识别与数据稳定性模型,确保了分析结果的准确性和稳定性。实时数仓的部署还大幅提高了数据同步效率,使得准实时指标获得了 75%的提升。
原有 Greenplum 数据仓库通过无缝升级到 HashData,全面提升数据仓库平台对各类应用的支撑能力,实现了数据处理效率实现质的飞跃。新平台承载了多维度数据存储、处理和分析工艺,显著提升了系统的数据处理能力和分析效率,为省级和地市级业务部门提供了更灵活的运营决策支持。

项目价值

江西移动携手酷克数据,通过构建多级集群与创新实时数仓,结合存算分离的云原生核心数据库,为江西移动提供了高效、灵活的数据处理能力,推动了数据驱动业务发展的转型升级。

  • 业务时效性,实现质的飞跃

HashData Lightning 实时数据仓库的成功部署,大幅提升了数据流转速度,使信息流动更加顺畅。实时数据处理能力的增强,赋予业务部门快速响应市场变化的能力,从而在竞争激烈的环境中实现业务的敏捷调整与持续增长。

  • 数据共享与集约化管理,迈向新高度

核心库的建设实现了全省专业数据的集中汇聚,打破了信息孤岛,提升了数据的集约管理和高效利用。统一的数据资产管理平台,优化了数据治理流程,支持多数据源的无缝整合和共享,极大丰富了数据应用的深度和广度,为各类业务场景提供了强大的支持。

  • 融合开放,赋能多场景应用

新平台采用存算分离与存算一体两种架构,兼顾灵活性与可扩展性,支持离线批处理、流式处理、在线处理及交互式分析等多种数据处理模式,满足了不同业务场景的需求。多租户管理模式确保资源隔离与冲突避免,保障了业务并行发展和高效运行。

  • 大数据生态深度对接,灵活性大幅提升

新平台采用 HDFS 作为底层数据存储,满足了大规模数据处理的需求,借助 Kafka、Hive 等标准化数据连接器,显著提升了数据处理的灵活性与集成效率。这一架构简化了数据处理流程,降低了系统集成复杂度,为江西移动未来在大数据生态中的深入探索和广泛应用提供了坚实基础,展现了前瞻性的战略价值。


结语


通过与酷克数据的深度合作,江西移动成功实现了数据平台的全面升级,采用 HashData 数据库技术为其信息技术基础设施注入了强大的创新动力。
此次升级不仅突破了数据处理、性能优化和业务敏捷性等多个领域的瓶颈,更为江西移动在大数据生态的深度整合和技术创新上奠定了坚实基础。尤其是在支持国产化替代的战略背景下,平台的高性能、高兼容性和良好的扩展性为江西移动的业务转型与发展提供了重要支撑。
未来,酷克数据将继续与江西移动携手并肩,推动数据库应用创新发展,积极响应国产化替代的战略要求。通过技术与架构的不断优化,开辟更广阔的数字化与智能化应用空间,为未来的数据资产化、智能化、可视化等多元化发展目标提供持续动力,为行业的数字转型与创新驱动贡献更多力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/64677.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Mysql语法之DQL查询的多行函数

Mysql的多行函数和分组 目录 Mysql的多行函数和分组多行函数概念常用的多行函数 数据分组概念语法where和having的区别 语句关键字及执行顺序语句关键字执行顺序 实际操作基本语句格式和多行操作筛选语句格式 多行函数 概念 不管函数处理多少条,只返回一条记录&…

Ubuntu22.04上安装esp-idf

一、安装准备# 建议使用Ubuntu 20.04 或 Ubuntu 22.04 操作系统 为了在 Ubuntu 22.04 中使用 esp-idf,需要安装一些依赖包 sudo apt-get install git wget flex bison gperf python3\python3-pip python3-venv cmake ninja-build ccache\libffi-dev libssl-dev dfu…

WPF 依赖属性和附加属性

除了普通的 CLR 属性, WPF 还有一套自己的属性系统。这个系统中的属性称为依赖属性。 1. 依赖属性 为啥叫依赖属性?不叫阿猫阿狗属性? 通常我们定义一个普通 CLR 属性,其实就是获取和设置一个私有字段的值。假设声明了 100 个 …

在linux系统的docker中安装GitLab

一、安装GitLab: 在安装了docker之后就是下载安装GitLab了,在linux系统中输入命令:docker search gitlab就可以看到很多项目,一般安装第一个,它是英文版的,如果英文不好可以安装twang2218/gitlab-ce-zh。 …

2024最新CF罗技鼠标宏

使用效果: 支持的功能 M4 7发一个点HK417 连点瞬狙炼狱加特林一个圈 下载链接 点击下载

JS CSS HTML 的代码如何快速封装

我们为什么要封装代码,是因为封装后的代码,会显得非常美观,减少代码的复用,方便我们更好的去维护代码,不用一个一个页面的去找去改,直接封装好的代码里面去改就可以了 目录 1.html代码封装 2.CSS代码封装…

使用docker拉取镜像很慢或者总是超时的问题

在拉取镜像的时候比如说mysql镜像,在拉取 时总是失败: 像这种就是网络的原因,因为你是连接到了外网去进行下载的,这个时候可以添加你的访问镜像源。也就是daemon.json文件,如果你没有这个文件可以输入 vim /etc/dock…

MySQL复制问题和解决

目录 环境介绍 一,主库执行delete,从库没有该数据 模拟故障 修复故障 二,主库执行insert,从库已存在该数据 模拟故障 故障恢复 三,主库执行update,从库没有该数据 模拟故障 故障恢复 四&#xf…

[RocketMQ] 发送重试机制与消费重试机制~

发送重试 RocketMQ 客户端发送消息时,由于网络故障等因素导致消息发送失败,这时客户端SDK会触发重试机制,尝试重新发送以达到调用成功的效果。 触发条件 客户端消息发送请求失败或超时。服务端节点处于重启或下线状态。服务端运行慢造成请…

mfc140u.dll是什么文件?如何解决mfc140u.dll丢失的相关问题

遇到“mfc140u.dll文件丢失”的错误通常影响应用程序的运行,这个问题主要出现在使用Microsoft Visual C环境开发的软件中。mfc140u.dll是一个重要的系统文件,如果它丢失或损坏,会导致相关程序无法启动。本文将简要介绍几种快速有效的方法来恢…

02-9.python入门基础一Python模块与包(一)

一、Python 模块的概念 (一)模块的基本定义 在 Python 中,模块(Module)是一种组织代码的基本单元,简单来说,一个以 .py 结尾的 Python 文件就是一个模块。例如,我们创建一个名为 ex…

当我用影刀AI Power做了一个旅游攻略小助手

在线体验地址:旅游攻略小助手https://power.yingdao.com/assistant/ca1dfe1c-9451-450e-a5f1-d270e938a3ad/share 运行效果图展示: 话不多说一起看下效果图: 智能体的截图: 工作流截图: 搭建逻辑: 其实这…

AI Agent与MEME:技术与文化融合驱动Web3创新

AI Agent如何引领Web3新时代? 随着Web3与区块链技术的迅速发展,AI Agent作为人工智能与区块链的交汇点,正在逐步成为推动去中心化生态的重要力量。同时,MEME文化凭借其强大的社区驱动力和文化渗透力,在链上生态中扮演着…

【STM32 Modbus编程】-作为主设备写入多个线圈和寄存器

作为主设备写入多个线圈和寄存器 文章目录 作为主设备写入多个线圈和寄存器1、硬件准备与连接1.1 RS485模块介绍1.2 硬件配置与接线1.3 软件准备2、写入多个线圈2.1 数据格式2.2 发送数据2.3 结果3、写入多个寄存器3.1 数据格式3.2 发送数据3.3 结果本文将实现STM32作为ModBus主…

Spring学习之——Sping-XML

一、Spring的概述 (一)什么是Spring? Spring是针对bean对象的生命周期进行管理的轻量级容器。提供了功能强大IOC、AOP及Web MVC等功能。Spring框架主要由七部分组成:分别是 Spring Core、 Spring AOP、 Spring ORM、 Spring DAO、Spring Context、 Spring Web和 S…

电商商品详情API接口(item get)数据分析上货

电商商品详情API接口(item get)在数据分析与商品上货方面发挥着重要作用。以下是对这两个方面的详细探讨: 一、数据分析 数据源获取: 商品详情API接口提供了丰富的数据源,包括商品的标题、价格、库存、描述、图片、用…

EasyGBS国标GB28181平台P2P远程访问故障排查指南:客户端角度的排查思路

在现代视频监控系统中,P2P(点对点)技术因其便捷性和高效性而被广泛应用。然而,当用户在使用P2P远程访问时遇到设备不在线或无法访问的问题时,有效的排查方法显得尤为重要。本文将从客户端的角度出发,详细探…

win11 C盘出现感叹号解决方法

出现感叹号,原因是对C盘进行了BitLocker驱动器加密操作。如果想去除感叹号,对C盘进行BitLocker解密即可。 步骤如下: 1.点击Windows搜索框 2.搜索框内输入 系统 3.按下回车,进入系统界面 4.点击隐私和安全性 点击BitLocker驱…

学习threejs,scene.overrideMaterial全局材质效果

👨‍⚕️ 主页: gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏:threejs gis工程师 文章目录 一、🍀前言1.2 ☘️THREE.Scene 场景1.2 ☘️…

GTID详解

概念和组成 1,全局事务表示:global transaction identifiers 2, GTID和事务一一对应,并且全局唯一 3,一个GTID在一个服务器上只执行一次 4,mysql 5.6.5开始支持 组成 GTID server_uuid:transaction_id 如&#xf…