过去,众多中国企业倾向于采用国际供应商的数据集成产品与方案。其中Informatica作为行业翘楚,以其卓越性能和技术领先地位赢得了全球500强中95%企业的青睐。在中国市场上,众多企业同样信赖并采纳其解决方案。然而,随着国际环境的演变及国产化、信创生态的发展,包括Informatica在内的多家国外厂商纷纷调整战略,逐步撤离中国市场,这给依赖其技术和解决方案的企业带来了前所未有的挑战。
针对这一挑战,软信凭借与Informatica长达十年的深度合作经验,结合我们在其全线数据治理产品开发实施和售后服务方面的深厚积累,自主研发了全面兼容信创生态的RX ETL工具,旨在为本土企业定制一个可平滑过渡的数据集成方案,保障企业数据管理的连续性和安全性。
RX数据集成解决方案
软信数据集成解决方案基于RX ETL实施,覆盖从调研评估、方案定制到开发实施的全过程,助力企业快速搭建起轻量级乃至全域的数据集成底座,实现数据的全方位管理,包括采集、传输、转换、脱敏、运算及服务发布,支持多业务系统间复杂数据分发与推送,以及跨集团公司的数据共享与实时数仓集成。
一、用户痛点解析
产品系统兼容差:不同类型的数据库、平台间存在技术壁垒,增加集成难度;
实时数据处理弱:缺少对实时数据进行采集、传输、过滤、转换等能力,造成数据处理延迟;
实施运维成本高:复杂集成环境与结构笨重的集成系统加大实施运维难度,需大量投入人力、技术;
数据服务开放难:无法在多个业务系统间实现统一的数据分发与共享。
二、方案实施路径
1、调研评估
-
进行环境评估,包括系统评估、数据库评估,确定其版本、类型、限制等;
-
进行差异性评估,确定源端到目标端数据的差异性;
-
进行ETL任务评估,确定任务中的映射字段,字段类型,主外键及约束情况等信息。
2、方案定制
-
基于环境评估,制定合理的资源分配方案;
-
基于差异性评估,制定科学的工作流开发方案;
-
基于ETL任务评估,制定合理任务执行方案。
3、开发实施
部署RX ETL工具,并定期提供运维保障服务。
三、RX ETL工具
RX ETL致力于连接和整合不同数据源的数据,包括关系型数据库、数据仓库以及NoSQL数据库等,实现各种数据源之间稳定高效的数据同步。
(一)核心优势
支持定制:高度自定义扩展,满足企业特定业务需求;
高度国产化:代码基于国产架构及开放组件,国产化品牌,持续性产品投入,稳定可靠;
广泛适用:全面的数据库类型国内外云/本地/大数据;
灵活部署:模块化与集成化的部署方式,更加灵活;
灵活监控:Web端监控,不受地点和设备限制;
易于开发:Web端开发,简单易用,开发难度低。
(二)核心功能
1、集成流程管理
针对Informatica等传统产品在复杂任务操作上的学习成本问题,软信采用向导式的集成流程开发界面与更直观的交互逻辑,大幅降低了新用户的上手难度,帮助用户一站式完成复杂场景数据集成任务。
2、异构数据源同步
软信ETL工具在设计之初就充分考虑了国产化环境的特殊性,支持超过20+数据源包括国产数据库、云平台,支持不同源之间数据类型的自动转换,并提供自定义数据源扩展,以解决复杂环境下多数据源高效数据同步难题。
-
将复杂的网状的同步链路变成了星型数据链路,Rx数据集成作为中间传输载体负责连接各种数据源;
-
致力于实现包括关系型数据库、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
3、集成调度管理
自动完成多数据源之间数据流的合并、拆分、聚合调度,根据具体切分策略,合理分配计算资源,支持丰富的作业调度模式。
4、监控日志管理
可实时监控作业状态、性能指标,并提供详细的运行日志,以保证数据传输的顺利进行。
在借鉴Informatica等成熟产品的优势基础上,软信ETL进行了针对性的优化,有效降低了系统资源(CPU、内存和存储)的占用,提升了大规模数据处理速度,尤其适用于大规模数据处理场景。
-
任务执行结果展示方式对比:
-
实时数据同步方式对比:
RX ETL工具的推出,是软信针对当下挑战的一项务实创新。我们致力于为寻求高质量、安全可靠数据集成服务的企业提供坚实的选择。如有需要欢迎私信!