数字化时代,虚拟化(Virtualization)并不是一个很陌生的词汇,它是现代数据中心资源管理的核心技术之一,是对 IT 资源(如服务器、存储设备、网络设备等)的抽象,通过屏蔽 IT 资源的物理性质和边界,能够有效地将其虚拟化为多个逻辑资源,从而实现 IT 资源的共享、分配、管理和高效利用。
数据虚拟化(Data Virtualization)便是对数据资源的抽象,通过屏蔽数据资源的存储位置和访问方式,能够将不同数据源、不同格式的数据资源,即企业的多源异构全域数据进行逻辑上的整合集成,并通过统一的访问界面和访问方式,抹除不同基础设施、技术架构之间的差异,让企业快速地实现对数据资源的提取和使用。
值得一提的是,与传统的 ETL 驱动的数据集成方案不同,数据虚拟化没有“复制和搬运”数据这个过程,因此基于数据虚拟化的数据集成方案通常实施成本比较低,实施周期比较短,尤其是在数据源越来越分散,“数据孤岛”广泛存在,企业“找数、看数、用数”的需求越来越高频的场景下,能够大幅降低企业存储、管理、应用数据的投入和运维成本,也能够让业务人员更专注于业务创新,而非技术细节,极大加速数据价值实现。
正是因为数据虚拟化的这些特点,Gartner 认为数据虚拟化是一种“生产力平台”技术,技术风险比较低,投资收益回报比较大。同时,数据虚拟化也是近年兴起的全新数据管理架构理念—— Data Fabric(数据编织)的重要技术组成部分,通过数据虚拟化,Data Fabric 可以构建跨源、跨云的统一数据访问层,并在这层之上构建统一的数据语义层或逻辑数据视图,实现数据的动态集成和敏捷服务。
作为国内 Data Fabric(数据编织)架构理念的实践者与引领者,Aloudata 大应科技通过自主研发的数据虚拟化技术,构建了国内首个 Data Fabric 理念的逻辑数据平台——Aloudata AIR,隐藏了数据环境和 ETL 链路的复杂性,轻松实现数据仓库、数据湖、OLAP 引擎和其他各类数据的多源异构数据集成和联邦查询,能够帮助企业无需复制和搬运数据、无需关注数据任务运维、无需担心查询性能,实现全域数据的逻辑整合。
同时,Aloudata AIR 支持全局数据资产目录和统一数据服务,为下游用户与应用提供了统一的数据发现和访问入口,解决了“数据孤岛”造成的全域数据查找难、跨源查询难和集中安全治理等问题;支持人工指定物化加速和 AI 增强的自适应物化加速,基于用户查询行为,实现自动化物化链路编排和智能查询下推,让用户无需担心虚拟化带来的大数据量查询性能问题,实现全域数据更低成本、更实时地流通和消费。
Data Fabric(数据编织)认为,只有自服务才有可能将生产力解放出来,以满足业务旺盛的数智化运营的需求。
通过 Aloudata AIR 逻辑数据平台,帮助业务人员减少了对 ETL 工程师的单向依赖,不需要再关心数据实际存放位置,也不必再搭建复杂的 ETL 数据管道,直接通过 SQL 等多种方式定义逻辑数据集就能够自助对全域数据进行准备和分析,从而改变了数据生产与数据消费的协同关系,实现 Data Fabric 的“自助服务,而非专家服务”的价值主张,显著提升业务用数效率,释放数据价值。
具体来看,Aloudata AIR 逻辑数据平台主要由数据连接层、数据虚拟化层、数据消费层构成:
- 数据连接层:在这一层,用户可以轻松地将企业全域数据逻辑连接起来,无论物理位置和数据格式如何,均可快速访问,且无需复制数据,让数据随手可得。
- 数据虚拟化层:完成数据连接之后,在这一层用户可以通过自动化的链路编排和 AI 增强的自适应查询加速保障功能,实现跨数据源的数据整合,对数据进行处理加工,满足业务分析需求。
- 数据消费层:进入这一层,平台提供了如 JDBC 等各种标准化接口,对接下游指标平台、BI 工具及其他数据应用工具,用户可以在自己熟悉和喜欢的工具上进行数据分析和应用,实现数据普惠化。
在极度复杂的数据环境应用中,Aloudata AIR 逻辑数据平台展现出强大的能力,如帮助某券商连接了 100 多个数据库,虚拟映射了 2 万多张表,实现交付效率提升至少 10 倍,研发链路管理工作量减少 30%,数据存储和计算成本节约 50%。
同时,鉴于出色的表现,Aloudata AIR 在招商银行的敏捷数据准备与分析场景中的实践成果入选 2023 中国信通院大数据“星河”标杆案例。关于更多 Aloudata AIR 逻辑数据平台及最佳实践详情,访问 Aloudata 官网快速了解。