数据虚拟化、Data Fabric(数据编织)的兴起,对数据管理有何帮助?

数字化时代,虚拟化(Virtualization)并不是一个很陌生的词汇,它是现代数据中心资源管理的核心技术之一,是对 IT 资源(如服务器、存储设备、网络设备等)的抽象,通过屏蔽 IT 资源的物理性质和边界,能够有效地将其虚拟化为多个逻辑资源,从而实现 IT 资源的共享、分配、管理和高效利用。

数据虚拟化(Data Virtualization)便是对数据资源的抽象,通过屏蔽数据资源的存储位置和访问方式,能够将不同数据源、不同格式的数据资源,即企业的多源异构全域数据进行逻辑上的整合集成,并通过统一的访问界面和访问方式,抹除不同基础设施、技术架构之间的差异,让企业快速地实现对数据资源的提取和使用。

值得一提的是,与传统的 ETL 驱动的数据集成方案不同,数据虚拟化没有“复制和搬运”数据这个过程,因此基于数据虚拟化的数据集成方案通常实施成本比较低,实施周期比较短,尤其是在数据源越来越分散,“数据孤岛”广泛存在,企业“找数、看数、用数”的需求越来越高频的场景下,能够大幅降低企业存储、管理、应用数据的投入和运维成本,也能够让业务人员更专注于业务创新,而非技术细节,极大加速数据价值实现。

正是因为数据虚拟化的这些特点,Gartner 认为数据虚拟化是一种“生产力平台”技术,技术风险比较低,投资收益回报比较大。同时,数据虚拟化也是近年兴起的全新数据管理架构理念—— Data Fabric(数据编织)的重要技术组成部分,通过数据虚拟化,Data Fabric 可以构建跨源、跨云的统一数据访问层,并在这层之上构建统一的数据语义层或逻辑数据视图,实现数据的动态集成和敏捷服务。

作为国内 Data Fabric(数据编织)架构理念的实践者与引领者,Aloudata 大应科技通过自主研发的数据虚拟化技术,构建了国内首个 Data Fabric 理念的逻辑数据平台——Aloudata AIR,隐藏了数据环境和 ETL 链路的复杂性,轻松实现数据仓库、数据湖、OLAP 引擎和其他各类数据的多源异构数据集成和联邦查询,能够帮助企业无需复制和搬运数据、无需关注数据任务运维、无需担心查询性能,实现全域数据的逻辑整合。

同时,Aloudata AIR 支持全局数据资产目录和统一数据服务,为下游用户与应用提供了统一的数据发现和访问入口,解决了“数据孤岛”造成的全域数据查找难、跨源查询难和集中安全治理等问题;支持人工指定物化加速和 AI 增强的自适应物化加速,基于用户查询行为,实现自动化物化链路编排和智能查询下推,让用户无需担心虚拟化带来的大数据量查询性能问题,实现全域数据更低成本、更实时地流通和消费。

Data Fabric(数据编织)认为,只有自服务才有可能将生产力解放出来,以满足业务旺盛的数智化运营的需求。

通过 Aloudata AIR 逻辑数据平台,帮助业务人员减少了对 ETL 工程师的单向依赖,不需要再关心数据实际存放位置,也不必再搭建复杂的 ETL 数据管道,直接通过 SQL 等多种方式定义逻辑数据集就能够自助对全域数据进行准备和分析,从而改变了数据生产与数据消费的协同关系,实现 Data Fabric 的“自助服务,而非专家服务”的价值主张,显著提升业务用数效率,释放数据价值。

具体来看,Aloudata AIR 逻辑数据平台主要由数据连接层、数据虚拟化层、数据消费层构成:

  • 数据连接层:在这一层,用户可以轻松地将企业全域数据逻辑连接起来,无论物理位置和数据格式如何,均可快速访问,且无需复制数据,让数据随手可得。
  • 数据虚拟化层:完成数据连接之后,在这一层用户可以通过自动化的链路编排和 AI 增强的自适应查询加速保障功能,实现跨数据源的数据整合,对数据进行处理加工,满足业务分析需求。
  • 数据消费层:进入这一层,平台提供了如 JDBC 等各种标准化接口,对接下游指标平台、BI 工具及其他数据应用工具,用户可以在自己熟悉和喜欢的工具上进行数据分析和应用,实现数据普惠化。

在极度复杂的数据环境应用中,Aloudata AIR 逻辑数据平台展现出强大的能力,如帮助某券商连接了 100 多个数据库,虚拟映射了 2 万多张表,实现交付效率提升至少 10 倍,研发链路管理工作量减少 30%,数据存储和计算成本节约 50%。

同时,鉴于出色的表现,Aloudata AIR 在招商银行的敏捷数据准备与分析场景中的实践成果入选 2023 中国信通院大数据“星河”标杆案例。关于更多 Aloudata AIR 逻辑数据平台及最佳实践详情,访问 Aloudata 官网快速了解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/32362.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

音乐管理系统

摘 要 现如今,在信息快速发展的时代,互联网已经成了人们在日常生活中进行信息交流的重要平台。看起来,听歌只是一种消遣和消遣,其实,只要你选对了曲子,就会产生许多不同的作用。音乐能舒缓身心&#xff0c…

你好,复变函数2.0

第一行&#xff1a;0 或 1 第二行&#xff1a;&#xff08;空格&#xff09;函数&#xff08;后缀&#xff09; #pragma warning(disable:4996) #include <easyx.h> #include <stdio.h> #include <math.h> #define PI 3.141592653589793 #define E 2.71828…

解决 执行 jar 命令 控制台乱码

Springboot项目&#xff0c;编码为utf8 打包后&#xff0c;为了在控制台运行时不乱码&#xff0c;需要在控制台中依次执行以下命令&#xff1a; 第一步&#xff1a; chcp 65001第二步&#xff1a; java -jar -Dfile.encodingutf-8 你的.jar

数字营销新玩法:拓新与裂变的完美结合

在当今这个飞速发展的数字化时代&#xff0c;数字营销已经成为了企业发展中至关重要的一环。拓新&#xff0c;简单来说就是不断去开拓新的客户群体&#xff0c;让更多的人了解并接触到我们的产品或服务。要做到这一点&#xff0c;那可得充分利用各种线上渠道。像热闹非凡的社交…

免费开源的地图解析工具【快速上手】

视频学习地址 这篇文章和【Nominatim】是相呼应的&#xff0c;在尝试了OSM数据一直有问题之后&#xff0c;通过别人的指点是不是可以换个思路&#xff0c;我的数据只需要精确到市级别&#xff0c;也可以不用OSM这样全的数据&#xff08;主要原因还是OSM太过庞大了&#xff09; …

软银CEO孙正义:10年内将出现比人类聪明1万倍的人工智能|TodayAI

2024年6月20日&#xff0c;软银集团公司&#xff08;SoftBank&#xff09;董事长兼首席执行官孙正义在日本东京举行的公司年度股东大会上发表讲话&#xff0c;表示比人类聪明1万倍的人工智能将在10年内出现。这是他近年来一次罕见的公开露面&#xff0c;在会上他质疑了自己的人…

连接和断开信号演示之二

代码; #include <gtk-2.0/gtk/gtk.h> #include <gtk-2.0/gdk/gdkkeysyms.h> #include <glib-2.0/glib.h> #include <stdio.h>void button_press(GtkEventBox *ebox,GdkEventButton *event,GtkLabel *label) {const char *citem;switch(event->type…

银河麒麟V10 SP1.1操作系统 离线安装 nginx1.21.5、redis 服务

银河麒麟官网地址&#xff1a;国产操作系统、麒麟操作系统——麒麟软件官方网站 一、查看系统版本 命令&#xff1a;nkvers 我的是 release V10 (SP1)&#xff0c;根据这个版本去官网找对应的rpm包 银河麒麟操作系统的rpm包必须从官方找&#xff0c; 要是随便找个Centos的rp…

云安全下的等级保护2.0解决方案

云安全解决方案 知识星球&#x1f517;除了包含技术干货&#xff1a;Java代码审计、web安全、应急响应等&#xff0c;还包含了安全中常见的售前护网案例、售前方案、ppt等&#xff0c;同时也有面向学生的网络安全面试、护网面试等。 ​

【Linux系统】多线程

本篇博客继上一篇《线程与线程控制》&#xff0c;又整理了多线程相关的线程安全问题、互斥与锁、同步与条件变量、生产消费模型、线程池等内容&#xff0c;旨在让读者更加深刻地理解线程和初步掌握多线程编程。&#xff08;欲知线程的相关概念、线程控制的相关接口等&#xff0…

Spring Boot + Apache Tika 实现文档内容解析

文章目录 1. 环境准备2. 创建 Spring Boot 项目2.1 初始化项目2.2 添加 Apache Tika 依赖 3. 创建文档解析服务3.1 创建服务类3.2 创建控制器类 4. 配置和运行4.1 配置 Apache Tika 数据文件4.2 运行应用程序 5. 测试和验证5.1 使用 Postman 或 cURL 进行测试 6. 注意事项和优化…

由 Vault 支持的 KES 的 MinIO Operator

为了提供安全锁定和擦除的合规性功能&#xff0c;MinIO 使用服务器端加密 &#xff08;SSE&#xff09; 在存储层加密对象&#xff0c;以保护对象作为写入操作的一部分。MinIO 以极高的效率做到这一点——基准测试表明 MinIO 能够以接近线速进行加密/解密。 MinIO 使用的秘诀是…

小米红米全机型TWRP下载刷入教程-获取root权限--支持小米14/红米K7Pro/红米Turbo3等机型

刷机注意&#xff1a; 本教程为小米红米全机型专用TWRP_Recovery合集&#xff0c;ROM乐园独家首发整理。请确保你的电脑能正确连接你的手机&#xff0c;小米红米手机需要解锁BL&#xff0c;请参照下面教程 小米MIUI澎湃OS解锁BL教程&#xff1a;小米手机官方解锁BootLoader图文…

R语言——R语言基础

1、用repeat、for、while计算从1-10的所有整数的平方和 2、编写一个函数&#xff0c;给出两个正整数&#xff0c;计算他们的最小公倍数 3、编写一个函数&#xff0c;让用户输入姓名、年龄&#xff0c;得出他明年的年龄。用paste打印出来。例如&#xff1a;"Hi xiaoming …

2024 Testing Expo China – Automotive I 风丘与您相约上海世博馆

2024汽车测试及质量监控博览会&#xff08;中国&#xff09;——&#xff08;Testing Expo China – Automotive&#xff09;是面向整车、零部件和系统开发的各种技术和服务的盛会&#xff0c;展示了汽车测试、开发和验证技术的各个方面&#xff0c;每年在上海举行&#xff0c;…

美国ARC与延锋安全合作,推动汽车安全气囊技术新突破

在汽车安全领域&#xff0c;安全气囊作为关键被动安全配置&#xff0c;对于保障乘客生命安全至关重要。随着汽车工业的快速发展和科技创新的持续推进&#xff0c;安全气囊技术的升级与革新显得尤为重要。2022年10月25日&#xff0c;美国ARC公司与延锋安全携手合作&#xff0c;共…

定义多个类对象,分别输入和输出各对象中的时间(时:分:秒)

在前面的文章中&#xff0c;类中只有公用数据而无成员函数&#xff0c;而且只有1个对象。可以直接在主函数中进行输入和输出。若有多个对象&#xff0c;需要分别引用多个对象中的数据成员&#xff0c;可以写出如下程序&#xff1a; &#xff08;1&#xff09;编写程序&#xff…

Apache Arrow 和数据的未来:开放标准推动人工智能发展

Apache Arrow 是一种开源列式内存格式&#xff0c;适用于平面数据和分层数据。在现代数据湖中&#xff0c;开放数据格式&#xff08;如 Apache Arrow&#xff09;位于现代对象存储的存储层中。这些格式成为对象存储中的对象。 在最新版本中&#xff0c;Apache Arrow 宣布计划从…

STM32F4 STD标准库串口接收中断+空闲中断例程

STM32F4 STD标准库串口接收中断空闲中断例程 &#x1f516;工程基于STM32F446 ✨用惯了STM32CubeMX傻瓜式配置&#xff0c;突然改用标准库写代码&#xff0c;初始化外设内容&#xff0c;总是丢三落四的。 &#x1f4d7;串口初始化配置 void uart_init(uint32_t bound) {//GPIO…

使用Naive UI的级联选择器 Cascader进行省市区选择

序言&#xff1a; 在进行PC版的功能开发时&#xff0c;进行客户管理时老板要让客户便捷的选择自己的省市区等信息&#xff0c;而不是让他们一个个去填写&#xff0c;这时就需要使用级联选择器来进行省市区的选择。 注&#xff1a;element ui/plus的级联选择器也是可以的。 步骤…