酷克数据携手江西移动入选“星河(Galaxy)”数据库潜力案例

2024 年 12 月 18 - 19 日,为推动打造行业交流平台,驱动产业创新共荣,大数据技术标准推进委员会以“数据重塑价值 智能链接未来”为主题,在北京召开为期两天的“2024 数据资产管理大会”。


在会上,第八届大数据“星河(Galaxy)”案例评选结果正式公布。中国移动通信集团江西有限公司与酷克数据联合申报的《基于江西移动数据仓库架构的智能化升级与大数据应用创新实践》应用案例,成功入选第八届大数据“星河(Galaxy)”数据库潜力案例。
e3066c4f796d0d1c29d80bd7ed69284b.jpeg
为推动大数据技术与相关产业发展,释放数据作为新型生产要素的潜力,中国信通院与中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)已连续八年举办大数据“星河(Galaxy)”案例征集活动。活动主要面向甲方落地单位,旨在通过实地生产案例与场景,总结和推广真实可用的大数据实践与经验,在国内大数据产业具有公认的行业标杆性和极高的认可度。

项目背景


在数字化时代,数据已成为企业运营不可或缺的资源。江西移动一直致力于为客户提供卓越移动通信服务。然而,随着 5G 时代,移动通信业务的迅速扩张和数据量的急剧增加,原有基于 Greenplum 的数据仓库平台在数据处理、响应速度和数据融合方面逐渐暴露出局限,限制了数据价值的挖掘与利用。同时,江西移动面临国产化适配的挑战,数据平台需支持国产操作系统,以确保数据安全与自主可控。
为破局向新,江西移动毅然决定对现有数据平台进行全面改造升级,核心目标是提升数据仓库平台的应用支撑力,加速数据处理,优化数据融合。尤为关键的是,此次升级需在数据及调度自动适配、业务层零变更的前提下进行,以确保业务连续稳定,升级难度却也因此加大。

HashData 解决方案


为此,江西移动携手酷克数据,采用 HashData Enterprise 存算分离架构的云原生数据仓库构建核心数据分析平台,采用 HashData Lightning 存算一体架构的数据仓库构建实时数据仓库,并将原有 Greenplum 集群无缝升级,全面升级数据支撑底座。
核心数据处理层,江西移动采用了 HashData Enterprise 的云原生数据库,突破了原有存算紧耦合 MPP 架构的瓶颈。新的平台采用存算分离架构,不仅简化了运维,还解决了数据冗余和跨集群复制效率低等问题。通过全域数据共享和与现网 Hadoop 平台的无缝对接,核心数据分析平台大幅度提升了数据处理能力,支持了各类业务应用,并为后续的数据处理、KPI 计算和报表生成等提供了坚实的技术基础。
3f768bd3b78937a2335187dd257c39bd.jpeg
采用 HashData Lightning 构建的实时数仓显著提升了实时位置分析能力,解决了传统平台的两大难题:栅格覆盖信息无法有效持久化以及沉默信令用户导致的数据波动。通过 Kafka 和 Hive 等高效连接器,实时数仓提升了数据交互效率,并构建了静默用户识别与数据稳定性模型,确保了分析结果的准确性和稳定性。实时数仓的部署还大幅提高了数据同步效率,使得准实时指标获得了 75%的提升。
原有 Greenplum 数据仓库通过无缝升级到 HashData,全面提升数据仓库平台对各类应用的支撑能力,实现了数据处理效率实现质的飞跃。新平台承载了多维度数据存储、处理和分析工艺,显著提升了系统的数据处理能力和分析效率,为省级和地市级业务部门提供了更灵活的运营决策支持。

项目价值

江西移动携手酷克数据,通过构建多级集群与创新实时数仓,结合存算分离的云原生核心数据库,为江西移动提供了高效、灵活的数据处理能力,推动了数据驱动业务发展的转型升级。

  • 业务时效性,实现质的飞跃

HashData Lightning 实时数据仓库的成功部署,大幅提升了数据流转速度,使信息流动更加顺畅。实时数据处理能力的增强,赋予业务部门快速响应市场变化的能力,从而在竞争激烈的环境中实现业务的敏捷调整与持续增长。

  • 数据共享与集约化管理,迈向新高度

核心库的建设实现了全省专业数据的集中汇聚,打破了信息孤岛,提升了数据的集约管理和高效利用。统一的数据资产管理平台,优化了数据治理流程,支持多数据源的无缝整合和共享,极大丰富了数据应用的深度和广度,为各类业务场景提供了强大的支持。

  • 融合开放,赋能多场景应用

新平台采用存算分离与存算一体两种架构,兼顾灵活性与可扩展性,支持离线批处理、流式处理、在线处理及交互式分析等多种数据处理模式,满足了不同业务场景的需求。多租户管理模式确保资源隔离与冲突避免,保障了业务并行发展和高效运行。

  • 大数据生态深度对接,灵活性大幅提升

新平台采用 HDFS 作为底层数据存储,满足了大规模数据处理的需求,借助 Kafka、Hive 等标准化数据连接器,显著提升了数据处理的灵活性与集成效率。这一架构简化了数据处理流程,降低了系统集成复杂度,为江西移动未来在大数据生态中的深入探索和广泛应用提供了坚实基础,展现了前瞻性的战略价值。


结语


通过与酷克数据的深度合作,江西移动成功实现了数据平台的全面升级,采用 HashData 数据库技术为其信息技术基础设施注入了强大的创新动力。
此次升级不仅突破了数据处理、性能优化和业务敏捷性等多个领域的瓶颈,更为江西移动在大数据生态的深度整合和技术创新上奠定了坚实基础。尤其是在支持国产化替代的战略背景下,平台的高性能、高兼容性和良好的扩展性为江西移动的业务转型与发展提供了重要支撑。
未来,酷克数据将继续与江西移动携手并肩,推动数据库应用创新发展,积极响应国产化替代的战略要求。通过技术与架构的不断优化,开辟更广阔的数字化与智能化应用空间,为未来的数据资产化、智能化、可视化等多元化发展目标提供持续动力,为行业的数字转型与创新驱动贡献更多力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/64677.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Mysql语法之DQL查询的多行函数

Mysql的多行函数和分组 目录 Mysql的多行函数和分组多行函数概念常用的多行函数 数据分组概念语法where和having的区别 语句关键字及执行顺序语句关键字执行顺序 实际操作基本语句格式和多行操作筛选语句格式 多行函数 概念 不管函数处理多少条,只返回一条记录&…

Ubuntu22.04上安装esp-idf

一、安装准备# 建议使用Ubuntu 20.04 或 Ubuntu 22.04 操作系统 为了在 Ubuntu 22.04 中使用 esp-idf,需要安装一些依赖包 sudo apt-get install git wget flex bison gperf python3\python3-pip python3-venv cmake ninja-build ccache\libffi-dev libssl-dev dfu…

游戏网站大全

http://piano.ssjjss.com/ 钢琴模拟器 https://gangqin.bmcx.com/?tdsourcetags_pcqq_aiomsg#/ 在线钢琴 https://www.gushiwen.cn/ 古诗文; https://www.bilibili.com/video/BV1UEWpeaEQK/ https://bouncyballs.org/ 掉落的球球 https://fakeupdate.net/ 假装升级界面 ht…

HYPRE: BoomerAMG选项和优化

文章目录 BoomerAMG选项和优化OverviewAMG AlgorithmOptionsTurning on BoomerAMGStrong ThresholdGoing DeeperTimingMore OptionsMax LevelsCoarsen TypeAgressive CoarseningInterpolation TypeP MaxPutting it All Together Full List of Options BoomerAMG选项和优化 Hyp…

WPF 依赖属性和附加属性

除了普通的 CLR 属性, WPF 还有一套自己的属性系统。这个系统中的属性称为依赖属性。 1. 依赖属性 为啥叫依赖属性?不叫阿猫阿狗属性? 通常我们定义一个普通 CLR 属性,其实就是获取和设置一个私有字段的值。假设声明了 100 个 …

java 根据路径下载文件转换为MultipartFile,并且上传到服务器

直接上代码 controller层 GetMapping("/downloadAndUploadAttachment")UpdateOperationLogging(msg "根据路径下载文件转换为MultipartFile,并且上传到服务器")Operation(summary "根据路径下载文件转换为MultipartFile,并且上传到服务器", de…

在linux系统的docker中安装GitLab

一、安装GitLab: 在安装了docker之后就是下载安装GitLab了,在linux系统中输入命令:docker search gitlab就可以看到很多项目,一般安装第一个,它是英文版的,如果英文不好可以安装twang2218/gitlab-ce-zh。 …

2024最新CF罗技鼠标宏

使用效果: 支持的功能 M4 7发一个点HK417 连点瞬狙炼狱加特林一个圈 下载链接 点击下载

matlab的一些时间函数【转】

看到就记下来,感觉挺好玩的。 原文:MATLAB-一些时间函数 - 简书 (jianshu.com) 注明出处了,原文是公开的,应该不算侵权。若有侵权请告知删除谢谢。

《基于 Python 的网页爬虫详细教程》

一、引言 在当今信息时代,从互联网上获取大量有价值的数据对于许多领域的研究和分析至关重要。网页爬虫是一种自动化程序,可以从网页上抓取所需的数据。Python 作为一种强大的编程语言,拥有丰富的库和工具,使得网页爬虫的开发变得…

JS CSS HTML 的代码如何快速封装

我们为什么要封装代码,是因为封装后的代码,会显得非常美观,减少代码的复用,方便我们更好的去维护代码,不用一个一个页面的去找去改,直接封装好的代码里面去改就可以了 目录 1.html代码封装 2.CSS代码封装…

曲面的共形变换

共形变换 曲面 S , S ~ S,\tilde{S} S,S~, σ : S → S ~ \sigma:S\to\tilde{S} σ:S→S~是光滑双射。如果对于 S S S上任意两条相交曲线, σ \sigma σ保持两线夹角,则称 σ \sigma σ为 S → S ~ S\to\tilde{S} S→S~的共形变换。 设曲面有参数化表…

使用docker拉取镜像很慢或者总是超时的问题

在拉取镜像的时候比如说mysql镜像,在拉取 时总是失败: 像这种就是网络的原因,因为你是连接到了外网去进行下载的,这个时候可以添加你的访问镜像源。也就是daemon.json文件,如果你没有这个文件可以输入 vim /etc/dock…

sql server 查询对象的修改时间

sql server 不能查询索引的最后修改时间,可以查询表,存储过程,函数,pk 的最后修改时间使用以下语句 select * from sys.all_objects ob order by ob.modify_date desc 但可以参考一下统计信息的最后修改时间,因为索…

使用 esrally race 测试 Elasticsearch 性能:实践指南

在 Elasticsearch 性能优化和容量规划中,使用 esrally 进行基准测试是官方推荐的方式。通过 esrally race 命令,您可以针对不同的数据集与挑战类型,对 Elasticsearch 集群进行精确的性能评估。本文将简要介绍常用的数据集与挑战类型&#xff…

MySQL复制问题和解决

目录 环境介绍 一,主库执行delete,从库没有该数据 模拟故障 修复故障 二,主库执行insert,从库已存在该数据 模拟故障 故障恢复 三,主库执行update,从库没有该数据 模拟故障 故障恢复 四&#xf…

提供详细的步骤指导,如何正确地安装和设置易支付服务?

要正确安装和设置易支付服务,您可以按照以下步骤进行操作: 下载易支付服务软件:首先,您需要从易支付官方网站或其他可信来源下载易支付服务软件的安装包。确保下载的软件版本是最新的。 安装易支付服务:双击安装包&am…

[RocketMQ] 发送重试机制与消费重试机制~

发送重试 RocketMQ 客户端发送消息时,由于网络故障等因素导致消息发送失败,这时客户端SDK会触发重试机制,尝试重新发送以达到调用成功的效果。 触发条件 客户端消息发送请求失败或超时。服务端节点处于重启或下线状态。服务端运行慢造成请…

mfc140u.dll是什么文件?如何解决mfc140u.dll丢失的相关问题

遇到“mfc140u.dll文件丢失”的错误通常影响应用程序的运行,这个问题主要出现在使用Microsoft Visual C环境开发的软件中。mfc140u.dll是一个重要的系统文件,如果它丢失或损坏,会导致相关程序无法启动。本文将简要介绍几种快速有效的方法来恢…

前端使用xlsx.js实现 Excel 文件的导入与导出功能

前端使用xlsx.js实现 Excel 文件的导入与导出功能 在现代的 Web 开发中,处理文件上传和导出功能已经变得越来越常见,尤其是 Excel 文件的导入与导出。 我们将使用 Vue.js 和 XLSX.js 库来处理 Excel 文件的读取和生成。XLSX.js 是一个强大的 JavaScrip…