数据平台“国产替代”掣肘在迁移?奇点云的工业制造实践解读

系列导读

如《“数据要素×”三年行动计划(2024—2026年)》指出,工业制造是“数据要素×”的关键领域之一。如何发挥海量数据资源、丰富应用场景等多重优势,以数据流引领技术流、资金流、人才流、物资流,对于制造企业而言是挑战更是机会。

奇点云梳理了与制造业多个细分领域客户的合作实践,逐篇呈现。

本篇以光纤通信企业为例,分享数据基础设施的“国产替代”实践。

背景:打破封锁,数据能力必须自主可控

光纤通信是我国重要基建,科技发展受全球瞩目。企业在打破海外垄断、以自主研发填补空白的同时,近年也开始将IT、DT等核心系统切换为信创环境,逐步实现国产替代,建设自主可控的数据能力。

“(数据能力建设)不仅是转型升级、降本增效的‘秘密武器’,帮助我们在激烈的市场竞争中脱颖而出,更是我们进一步保障供应链和数据资产安全的重要举措。”业内领先的某光纤企业曾在采访中表示。

以本篇分享的客户为例:客户在数年前已完成数据平台建设,并将数据实践从试点逐步拓展到了各个业务域。然而,因被美列入“实体名单”,原平台供应商IBM“断供”——客户可以继续使用产品,但IBM不再提供版本更新、漏洞修复及其他技术支持。

对于企业而言,数据正对经营决策、生产管控发挥关键作用,数据基础设施的稳定、可靠、安全之重要性也不言而喻。因此,客户立即着手构建自主可控的数据基建,培育自有的数据能力。

难点:海量数据,迁移掣肘

  • 产品需支持信创、安全可控

数据平台产品适配信创环境,只能算达到“准入门槛”。要确保“客户可控”,数据平台还需要满足:

· 产品足够稳定、可靠,能支撑越来越大量级的数据存算,并具备扩展能力,来满足不同阶段的数据业务需求。

· 采用可信开源技术,同时供应商需要具备开源技术运维的能力,时刻关注技术演进,第一时间修复开源组件可能出现的漏洞。

· 具备数据安全合规相关能力,包括敏感数据识别、数据分类分级、风险监控等等,保障数据资产安全的同时,为未来的数据要素流通做好准备。

  • 迁移海量数据的同时,保障数据业务不受影响

如前文所述,客户在数年前已经完成数据平台建设,积累了几十家子公司、几十个业务域的数据,数据量以TB为单位,覆盖数十个数据项目、数千个任务。不仅数据量极大,任务依赖关系也非常复杂。

将原有比较完整的数据建模体系铲平重建,显然是对数据资产的浪费。

因此,“替代”厂商不仅需要完成新平台的部署,还应完成历史数据的平滑、无损、准确、安全迁移,同时,数据业务保持正常运行,不因替换而搁置或中断。

大数据是有“重量”的,远不如拷贝单个文件那么简单,这也是许多企业在切换数据基建产品、进行国产替代的关键顾虑之一。

解决方案:自动化工具+专业团队,保障高效平滑迁移

奇点云数据云平台DataSimba是中立安全、稳定易用的数据云平台,从集成、研发、运维、治理到服务,为企业提供数据全生命周期运营管控的必备能力,且已完成从IT基础设施、基础软件到应用软件的全产业链信创产品兼容性互认证。

下文简单介绍从旧平台切换到DataSimba的实践过程。

  • ​​​​​​​数据平台分层规划支持多角色数据运营

客户面临典型的多子公司、多业务领域、多项目并行场景。除了总部的数据团队,还有各单位、应用供应商会在平台上进行数据开发,未来还可能接入上下游伙伴企业。

因此在前期,奇点云项目组从客户实际业务场景出发,制定了数据平台分层和项目划分策略,以保障平台的可维护性、可扩展性,提升后续各角色数据运营协作的效率。

具体如下:

· ODS(数据源层),负责原始数据的存储和管理。按系统名称进行拆分,有问题可快速定位到对应的业务系统。

· CDM(公共模型层),负责数据的清洗、转换、整合和计算,按业务领域,构建面向分析的业务过程通用模型。实际拆分为销售域、财务域、生产域、质量域、公共域等项目,项目间支持数据权限的逻辑隔离,并行开发互不影响。

· ADS(应用模型层),负责构建面向具体业务场景的分析模型。引用CDM数据,根据实际业务场景创建项目,如财务财报项目、财务管报项目等。

  • ​​​​​​​盘点数据资产,制定迁移方案

在迁移的准备期,奇点云项目团队对现有数据和第一阶段迁移的数百个任务进行了盘点,经过血缘分析、资源评估、影响评估等前置分析,明确了迁移对象和策略。

奇点云大数据业务迁移流程

上图为奇点云标准的大数据业务迁移流程。

其中,以迁移分析阶段的数据盘点为例:梳理数据源表清单、迁移任务清单、表结构、数据量以及任务上下游依赖,最终形成完整的待迁移元数据资产清单。

在最后的数据验证环节,则需考虑一致性、准确性、性能和功能验证,设计详细的测试用例和执行方案。

  • ​​​​​​​借助自动化迁移工具,实现平滑迁移

在迁移过程中,项目团队采用DataSimba内置的自动化工具,在数据预处理(清洗、格式转换)、批量迁移转化、数据校验等多个环节,显著减少繁琐的人工操作。以其中两项功能为例:

· 快速建表:利用DataSimba的数据集成功能,完成对项目中500张表的批量建表。

· 作业导入:DataSimba的作业批量导入功能,可以将预定义好的任务(包含任务名称、对应的项目以及依赖项等信息)快速导入平台。本次迁移,项目组快速导入了盘点好的数百个任务清单,改变原本创建任务、配置DAG必须依赖传统手工的情况,效率大大提升。

价值:好的国产,放心“替代”

在本次实践中,项目组遇到的最大挑战是项目周期短,而业务复杂度高,作业任务多,涉及到各分子公司的大量数据业务。因此,在完成产品选型和平台规划后,更重要的是基于业务情况制定可行的迁移规划,高效完成平滑迁移,同时保障数据业务不中断。

项目组采用自动化迁移代替“手工搬运”,相较传统方案,耗时缩短了50%,节约了“替代”的时间成本。

“替代”后的新数据平台(DataSimba)完全自主可控,支撑各分子公司、合作伙伴完成数据开发与运营。以生产域为例,基于新平台完成了对工厂海量IoT数据的实时采集、存算,结合算法模型,辅助现场质量检测,优化生产工艺,保障光纤产品质量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/771871.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【面试题】ES文档写入和读取流程详解

前言:在回答这个问题之前我们先要搞清楚一个问题那就是什么是文档,避免不知所云! 一、什么是文档? 在Elasticsearch中,文档(Document)是最基本的信息单元,用于表示和存储数据。文…

Android 系统应用 pk8签名文件转jks或keystore教程

一、介绍 签名文件对于我们在做应用开发中,经常遇到,且签名文件不仅仅是保护应用安全,还会涉及到应用与底层之间的数据共享和API文件等问题。 在Android中,签名文件同样也存在这个问题。但是android中又区分系统应用和普通应用。系…

C语言 青蛙跳台阶问题

目录 ​编辑 1.问题描述 2.问题分析 3.全部代码 4.结语 1.问题描述 一只青蛙可以一次跳一级台阶,也可以一次跳两级台阶,如果青蛙要跳上n级台阶有多少种跳法? 2.问题分析 当台阶只有一级时,只能跳一级,所以只有一…

用 C++ 编码架构图的最佳用例

统一建模语言(UML),作为一种实际应用的语言标准,借助一系列架构图呈现建模软件系统。UML 的出现鼓励了自动化软件工具的开发,有助于自动代码生成。UML 图面向对象系统和软件工具,将静态结构和动态行为以可视…

注册、配置中心-微服务小白入门(2)

Nacos 已经下载安装并且使用了,那么看如何使用: Nacos 注册及配置,以下是一个服务启动后注册到nacos,同时,把该服务的相关配置,写到nacos之中 1、nacos设置 命名空间中,添加对应的服务命名空间…

Jenkins中支持maven构建遇到仓库报错问题

目的 Jenkins中支持maven构建(Jenkins使用docker安装) 问题 1.构建一个maven项目 2.执行报错 /var/lib/jenkins/local_maven_repo/com/sx/root/1.0.4/root-1.0.4.pom.part.lock (No such file or directory) Failed to transfer Could not transfer artifact co…

【Flask】Flask项目部署上线

Flask 项目部署上线 1.Gunicorn Gunicorn 是一个纯 Python WSGI 服务器,配置简单,多工作者实现,方便 性能调优。 它倾向于与主机平台轻松集成。 它不支持 Windows (但可以在 WSL 上运行)。 它很容易安装&#xff0…

论文阅读之PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization(2024)

文章目录 论文地址主要内容主要贡献模型图技术细节实验结果 论文地址 PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization 主要内容 这篇文章的主要内容是介绍了一种名为PeriodicLoRA(PLoRA)的参数高效微调(Parameter-…

TypeScript在学习(0)

1.什么是TypeScript? 答:TypeScript 是一种由微软开发的自由和开源的编程语言。它是 JavaScript 的一个超集,而且本质上向这个语言添加了可选的静态类型和基于类的面向对象编程。 个人浅见,我一直把ts简单理解成,其实就是javascript上多了…

DY-36电压继电器 额定电压100V 整定范围40-160V 板前带座 JOSEF约瑟

系列型号: DY-32电压继电器; DY-36电压继电器; DY-33电压继电器; DY-37电压继电器; DY-34电压继电器; DY-38电压继电器; DY-31电压继电器; DY-35电压继电器; DY-32/60C电…

YOLO算法改进Backbone系列之:Conformer

CNN难以捕捉全局表征,这通常对高级计算机视觉任务至关重要。一个直观的解决方案是扩大感受野,但这可能需要更密集但具有破坏性的池化操作。由于自注意力机制和多层感知器(MLP)结构,transformer反映了复杂的空间变换和长…

Vue3 + vite + Ts 组件间通信

Vue3 vite Ts 组件间通信 1、props2、自定义事件3、mitt4、$attrs 1、props 概述:props 是使用频率最高的一种通信方式,常用与:父 和 子 互相传递 若 父传子 :属性值是非函数。若 子传父 :属性值是函数。 简单例子&…

网红电商主播培养体系招聘管理制度孵化方案

【干货资料持续更新,以防走丢】 网红电商主播培养体系招聘管理制度孵化方案 部分资料预览 资料部分是网络整理,仅供学习参考。 共120页可编辑(完整资料包含以下内容) 目录 主播团队组建方案 让好主播主动留下 1. 好主播选拔标准…

【Flink】Flink 处理函数之基本处理函数(一)

1. 处理函数介绍 流处理API,无论是基本的转换、聚合、还是复杂的窗口操作,都是基于DataStream进行转换的,所以统称为DataStreamAPI,这是Flink编程的核心。 但其实Flink为了更强大的表现力和易用性,Flink本身提供了多…

学习SpringBoot笔记--知识点(2)

目录 数据访问 基础特性 自定义banner Profiles Profiles组件 Profiles配置文件 外部化配置 单元测试 数据访问 整合SSM场景 SpringBoot 整合 Spring&#xff0c;SpringMVC&#xff0c;MyBatis 进行数据访问场景开发 需要的依赖&#xff1a; <!-- web启动…

如何从其他平台复制商品上传到自己店铺?官方授权接口,一键复制爆款同款

很多做一件代发的卖家在上新时会从其他平台选品铺货&#xff0c;看到某个商品卖得不错&#xff0c;直接复制到自己店铺去卖&#xff0c;可以节省测款成本。 现在平台严查无货源&#xff0c;直接从别人店铺搬运商品属于违规违规行为&#xff0c;想要复制这个爆款的话&#xff0…

鸿蒙HarmonyOS应用开发—AbilityStage组件容器

AbilityStage是一个Module级别的组件容器&#xff0c;应用的HAP在首次加载时会创建一个AbilityStage实例&#xff0c;可以对该Module进行初始化等操作。 AbilityStage与Module一一对应&#xff0c;即一个Module拥有一个AbilityStage。 DevEco Studio默认工程中未自动生成Abil…

ArcGIS二次开发(一)——搭建开发环境以及第一个简单的ArcGIS Engine 程序

Arcgis10.2、Arcgis Engine10.2与Microsoft Visual Studio 2012的版本进行安装 1、推荐教程与安装包2、安装顺序3、安装成功测试VS新建项目可以创建ArcGIS项目&#xff0c;并且在VS中拖拽ArcGIS工具 4、搭建第一个简单的ArcGIS Engine 程序 ArcEngine和VS版本是有对应的&#x…

【Python】enumerate函数的使用方法,小白一看就懂

enumerate函数的使用方法&#xff1a; season[‘a’,‘b’,‘c’,‘d’] for i in enumerate(season): print(i) season[‘a’,‘b’,‘c’,‘d’] for i,eliment in enumerate(season): print(i,eliment) 输出结果为&#xff1a; 练习题&#xff1a; 2.给出10个学生姓名…

从0到1:校园生活圈小程序开发笔记(一)

可行性研究 校园生活圈小程序是一种面向大学或学院校园的社交平台&#xff0c;旨在为校园内的师生提供交流、分享、互助和信息发布等功能。 为校园内的师生提供一个便捷的平台&#xff0c;帮助他们更好地了解校园生活、参与校园活动、交流学习和共享资源。 功能分解 公告资讯…