数据虚拟化、Data Fabric(数据编织)的兴起,对数据管理有何帮助?

数字化时代,虚拟化(Virtualization)并不是一个很陌生的词汇,它是现代数据中心资源管理的核心技术之一,是对 IT 资源(如服务器、存储设备、网络设备等)的抽象,通过屏蔽 IT 资源的物理性质和边界,能够有效地将其虚拟化为多个逻辑资源,从而实现 IT 资源的共享、分配、管理和高效利用。

数据虚拟化(Data Virtualization)便是对数据资源的抽象,通过屏蔽数据资源的存储位置和访问方式,能够将不同数据源、不同格式的数据资源,即企业的多源异构全域数据进行逻辑上的整合集成,并通过统一的访问界面和访问方式,抹除不同基础设施、技术架构之间的差异,让企业快速地实现对数据资源的提取和使用。

值得一提的是,与传统的 ETL 驱动的数据集成方案不同,数据虚拟化没有“复制和搬运”数据这个过程,因此基于数据虚拟化的数据集成方案通常实施成本比较低,实施周期比较短,尤其是在数据源越来越分散,“数据孤岛”广泛存在,企业“找数、看数、用数”的需求越来越高频的场景下,能够大幅降低企业存储、管理、应用数据的投入和运维成本,也能够让业务人员更专注于业务创新,而非技术细节,极大加速数据价值实现。

正是因为数据虚拟化的这些特点,Gartner 认为数据虚拟化是一种“生产力平台”技术,技术风险比较低,投资收益回报比较大。同时,数据虚拟化也是近年兴起的全新数据管理架构理念—— Data Fabric(数据编织)的重要技术组成部分,通过数据虚拟化,Data Fabric 可以构建跨源、跨云的统一数据访问层,并在这层之上构建统一的数据语义层或逻辑数据视图,实现数据的动态集成和敏捷服务。

作为国内 Data Fabric(数据编织)架构理念的实践者与引领者,Aloudata 大应科技通过自主研发的数据虚拟化技术,构建了国内首个 Data Fabric 理念的逻辑数据平台——Aloudata AIR,隐藏了数据环境和 ETL 链路的复杂性,轻松实现数据仓库、数据湖、OLAP 引擎和其他各类数据的多源异构数据集成和联邦查询,能够帮助企业无需复制和搬运数据、无需关注数据任务运维、无需担心查询性能,实现全域数据的逻辑整合。

同时,Aloudata AIR 支持全局数据资产目录和统一数据服务,为下游用户与应用提供了统一的数据发现和访问入口,解决了“数据孤岛”造成的全域数据查找难、跨源查询难和集中安全治理等问题;支持人工指定物化加速和 AI 增强的自适应物化加速,基于用户查询行为,实现自动化物化链路编排和智能查询下推,让用户无需担心虚拟化带来的大数据量查询性能问题,实现全域数据更低成本、更实时地流通和消费。

Data Fabric(数据编织)认为,只有自服务才有可能将生产力解放出来,以满足业务旺盛的数智化运营的需求。

通过 Aloudata AIR 逻辑数据平台,帮助业务人员减少了对 ETL 工程师的单向依赖,不需要再关心数据实际存放位置,也不必再搭建复杂的 ETL 数据管道,直接通过 SQL 等多种方式定义逻辑数据集就能够自助对全域数据进行准备和分析,从而改变了数据生产与数据消费的协同关系,实现 Data Fabric 的“自助服务,而非专家服务”的价值主张,显著提升业务用数效率,释放数据价值。

具体来看,Aloudata AIR 逻辑数据平台主要由数据连接层、数据虚拟化层、数据消费层构成:

  • 数据连接层:在这一层,用户可以轻松地将企业全域数据逻辑连接起来,无论物理位置和数据格式如何,均可快速访问,且无需复制数据,让数据随手可得。
  • 数据虚拟化层:完成数据连接之后,在这一层用户可以通过自动化的链路编排和 AI 增强的自适应查询加速保障功能,实现跨数据源的数据整合,对数据进行处理加工,满足业务分析需求。
  • 数据消费层:进入这一层,平台提供了如 JDBC 等各种标准化接口,对接下游指标平台、BI 工具及其他数据应用工具,用户可以在自己熟悉和喜欢的工具上进行数据分析和应用,实现数据普惠化。

在极度复杂的数据环境应用中,Aloudata AIR 逻辑数据平台展现出强大的能力,如帮助某券商连接了 100 多个数据库,虚拟映射了 2 万多张表,实现交付效率提升至少 10 倍,研发链路管理工作量减少 30%,数据存储和计算成本节约 50%。

同时,鉴于出色的表现,Aloudata AIR 在招商银行的敏捷数据准备与分析场景中的实践成果入选 2023 中国信通院大数据“星河”标杆案例。关于更多 Aloudata AIR 逻辑数据平台及最佳实践详情,访问 Aloudata 官网快速了解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/32362.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

shell expr功能详解

expr命令可以实现数值运算、数值或字符串比较、字符串匹配、字符串提取、字符串长度计算等功能。它还具个特殊功能,判断变量或参数是否为整数、是否为空、是否为0等。 1.字符串表达式 ------------------------- expr支持模式匹配和字符串操作。字符串表达式的优先…

AttributeError: ‘AlexNet‘ object has no attribute ‘module‘

当你尝试执行 model model.module 并收到错误消息 AttributeError: AlexNet object has no attribute module,这意味着你正在操作的模型对象(在这个例子中是 AlexNet 类的一个实例)并没有 module 这个属性。这个错误通常发生在以下几种情况&…

长度单位对比(英制和通用制)

0 Preface/Forewod 1 单位换算 1.1 英制单位 常见的英制长度单位如下: inch,英尺foot,英寸mile ,英里 1.2 换算公式 1 inch 2.54 cm 1 yard 3 inch 1 foot 12 inch 12 * 2.54 cm 30.48 cm 1 foot 4 yard 1 mile …

Hutool工具简单用法

1、安装(POM) <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.8.16</version> </dependency> 2、使用 1、DateUtil //当前时间 Date date DateUtil.date(); //…

音乐管理系统

摘 要 现如今&#xff0c;在信息快速发展的时代&#xff0c;互联网已经成了人们在日常生活中进行信息交流的重要平台。看起来&#xff0c;听歌只是一种消遣和消遣&#xff0c;其实&#xff0c;只要你选对了曲子&#xff0c;就会产生许多不同的作用。音乐能舒缓身心&#xff0c…

你好,复变函数2.0

第一行&#xff1a;0 或 1 第二行&#xff1a;&#xff08;空格&#xff09;函数&#xff08;后缀&#xff09; #pragma warning(disable:4996) #include <easyx.h> #include <stdio.h> #include <math.h> #define PI 3.141592653589793 #define E 2.71828…

解决 执行 jar 命令 控制台乱码

Springboot项目&#xff0c;编码为utf8 打包后&#xff0c;为了在控制台运行时不乱码&#xff0c;需要在控制台中依次执行以下命令&#xff1a; 第一步&#xff1a; chcp 65001第二步&#xff1a; java -jar -Dfile.encodingutf-8 你的.jar

数字营销新玩法:拓新与裂变的完美结合

在当今这个飞速发展的数字化时代&#xff0c;数字营销已经成为了企业发展中至关重要的一环。拓新&#xff0c;简单来说就是不断去开拓新的客户群体&#xff0c;让更多的人了解并接触到我们的产品或服务。要做到这一点&#xff0c;那可得充分利用各种线上渠道。像热闹非凡的社交…

免费开源的地图解析工具【快速上手】

视频学习地址 这篇文章和【Nominatim】是相呼应的&#xff0c;在尝试了OSM数据一直有问题之后&#xff0c;通过别人的指点是不是可以换个思路&#xff0c;我的数据只需要精确到市级别&#xff0c;也可以不用OSM这样全的数据&#xff08;主要原因还是OSM太过庞大了&#xff09; …

软银CEO孙正义:10年内将出现比人类聪明1万倍的人工智能|TodayAI

2024年6月20日&#xff0c;软银集团公司&#xff08;SoftBank&#xff09;董事长兼首席执行官孙正义在日本东京举行的公司年度股东大会上发表讲话&#xff0c;表示比人类聪明1万倍的人工智能将在10年内出现。这是他近年来一次罕见的公开露面&#xff0c;在会上他质疑了自己的人…

连接和断开信号演示之二

代码; #include <gtk-2.0/gtk/gtk.h> #include <gtk-2.0/gdk/gdkkeysyms.h> #include <glib-2.0/glib.h> #include <stdio.h>void button_press(GtkEventBox *ebox,GdkEventButton *event,GtkLabel *label) {const char *citem;switch(event->type…

开发常用依赖

目录 代理对象 Swagger Web 单元测试 MybatisPlus Lombok Mysql SpringBoot Jdk SpringCloud 数据库驱动包 hutool工具 配置仓库 通用库 maven插件 nacos注册中心 OpenFeign Spring AMQP JSON转换器 Redis 邮箱验证 Redisson分布式锁 客户端 代理对象 &l…

银河麒麟V10 SP1.1操作系统 离线安装 nginx1.21.5、redis 服务

银河麒麟官网地址&#xff1a;国产操作系统、麒麟操作系统——麒麟软件官方网站 一、查看系统版本 命令&#xff1a;nkvers 我的是 release V10 (SP1)&#xff0c;根据这个版本去官网找对应的rpm包 银河麒麟操作系统的rpm包必须从官方找&#xff0c; 要是随便找个Centos的rp…

SpringBoot集成OpenPDF导出pdf

1、引入依赖&#xff08;最后一个支持java8的版本&#xff09; <dependency><groupId>com.github.librepdf</groupId><artifactId>openpdf</artifactId><version>1.3.34</version> </dependency> <dependency><grou…

云安全下的等级保护2.0解决方案

云安全解决方案 知识星球&#x1f517;除了包含技术干货&#xff1a;Java代码审计、web安全、应急响应等&#xff0c;还包含了安全中常见的售前护网案例、售前方案、ppt等&#xff0c;同时也有面向学生的网络安全面试、护网面试等。 ​

【Linux系统】多线程

本篇博客继上一篇《线程与线程控制》&#xff0c;又整理了多线程相关的线程安全问题、互斥与锁、同步与条件变量、生产消费模型、线程池等内容&#xff0c;旨在让读者更加深刻地理解线程和初步掌握多线程编程。&#xff08;欲知线程的相关概念、线程控制的相关接口等&#xff0…

DbConnectionStringParser

import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; public class DbConnectionStringParser { public static String parserDbConnection(String connectionString) { // 检查是否为 SQL Server if (conne…

开发指南032-调整日志级别

1) 显示SQL语句及其参数 nacos里配置 spring: jpa: show-sql: true logback-spring.xml里配置 <logger name"org.hibernate.type.descriptor.sql.BasicBinder" level"TRACE"/> 2&#xff09;feign显示调用过程 logging: level: org.qlm.feign: …

总结之LangChain(三)——模型IO缓存

一、聊天模型缓存 LangChain为聊天模型提供了一个可选的缓存层。这有两个好处&#xff1a; 如果您经常多次请求相同的完成结果&#xff0c;它可以通过减少您对LLM提供程序的API调用次数来帮您节省费用。 它可以通过减少您对LLM提供程序的API调用次数来加快您的应用程序速度。…

Spring Boot + Apache Tika 实现文档内容解析

文章目录 1. 环境准备2. 创建 Spring Boot 项目2.1 初始化项目2.2 添加 Apache Tika 依赖 3. 创建文档解析服务3.1 创建服务类3.2 创建控制器类 4. 配置和运行4.1 配置 Apache Tika 数据文件4.2 运行应用程序 5. 测试和验证5.1 使用 Postman 或 cURL 进行测试 6. 注意事项和优化…