从“数据孤岛”、Data Fabric(数据编织)谈逻辑数据平台

提到逻辑数据平台,其核心在于“逻辑”,与之相对的便是“物理”。在过去,为了更好地利用和管理数据,我们通常会选择搭建数据仓库和数据湖,将所有数据物理集中起来。但随着数据量、用数需求和用数人员的持续激增,数据架构的复杂度和组织架构的复杂度对物理集中的方式带来诸多挑战。

比如,如何确保企业中的每个人都能及时获取到正确的数据,以支持他们的业务决策。再比如,企业在搭建了湖仓之后,还需要将业务数据从业务数据库迁移到湖仓之中,但由于各种性能问题,就需要将数据进一步迁移到不同类型的数据集市,这就产生了多次不必要的数据复制、计算和存储,给企业形成巨大的成本压力。

同时,由于合规和组织结构的复杂性,企业实际上并不能将所有数据集中到单一的湖仓之中,“数据孤岛”广泛存在

也就是在这种背景下,逻辑数据平台开始兴起。

所谓逻辑数据平台,是一种通过数据虚拟化的技术手段,将企业多源异构数据进行逻辑层面的统一整合,形成物理分散但逻辑统一的虚拟数仓,它允许用户在不搬迁原始数据的前提下,实现多源异构数据的集成整合,并通过逻辑视图提供统一的数据服务,以及统一的数据访问控制,实现高效、轻松、灵活地访问、查询和操作数据,以便更好地支持业务决策。

逻辑数据平台兴起的背后,离不开 Data Fabric(数据编织)这一全新的数据管理理念的支撑。Gartner 将其列为“2021 年十大数据和分析技术趋势”之一,其核心理念在于通过数据虚拟化的技术手段,实现数据逻辑上的集中管理。

在 Aloudata 看来,Data Fabric(数据编织)的关键在于优化跨源异构数据的发现与访问,实现数据的灵活且业务可理解的交付,在于连接数据而非集中数据,强调自助服务而非专家服务,以及主动智能而非被动人工操作。

Data Fabric(数据编织)架构通过集成数据管理功能,并运用 AI 能力进行语义探索、分析和推荐,将被动的数据治理策略转变为主动的数据治理策略。这样的转变不仅加快了数据价值实现的速度,还提高了业务适应性、数据洞察的敏捷性,有效消除了数据孤岛,降低了成本和风险,增强了业务协作和数据安全。

作为国内 Data Fabric(数据编织)架构理念的实践者和引领者,Aloudata 基于在 EB 级别数据管理领域的深厚经验,开创性地提出“NoETL”这一创新思想,与 Data Fabric(数据编织)的核心理念与技术实现高度一致,旨在消除传统的基于人工 ETL 的数据管理瓶颈,实现数据管理高度自动化,更加高效地完成数据交付和使用。

在此基础上,Aloudata 打造了 Aloudata AIR 逻辑数据平台,通过自研的数据虚拟化技术,以及查询下推和查询加速功能,帮助用户轻松实现全域数据的逻辑连接、快速访问和查询,并能够根据业务分析需求,进行跨数据源的数据整合,以及灵活开展数据分析和应用工作。

  • 多源异构的数据融合:支持 50 种不同的数据连接方式,包括传统数据库、数据湖、数据仓库、各类 API 服务和应用,以及非同步数据和用户本地数据。这使得连接全域各类数据并进行快速分析变得异常简单。
  • 逻辑化数据整合:不需要关注底层技术细节,可以通过 SQL 语言去表达和定义需求,或通过拖拽式界面来实现数据准备;支持跨源、多级逻辑视图定义,大大简化了各种复杂场景下的数据整合工作。
  • 自适应数据加速:内置的 MPP 引擎可用于提高某些高性能场景的数据源查询性能。此外,自适应物化加速和智能下推功能,确保在大规模数据量下依然能实现秒级的交互式响应速度。
  • 集中数据治理与控制:管理人员可以在 Aloudata AIR 中集中设置安全和合规的访问策略,包括细致的访问控制和对敏感数据的动态脱敏处理,确保数据的安全性。
  • 统一的数据资产目录:提供统一的数据资产目录,它不仅有技术语言描述,还包括符合业务语言的描述。用户可以使用自然语言轻松找到所需数据,甚至系统会根据用户角色和需求主动推荐相关数据。
  • 标准开放的数据服务:找到所需数据后,可以通过标准化的数据服务将这些数据连接到各种工具上,无论是用于可视化分析的工具,还是更高级的数据科学或 AI 工具,都可以在自己熟悉和喜爱的环境中进行工作。

目前,Aloudata AIR 逻辑数据平台已在多个极高复杂度的数据生产和消费环境中落地应用,帮助招商银行构建了统一的敏捷数据使用平台,使业务团队不再四处寻找所需数据,在一个地方即可统一查找和理解数据,并通过逻辑视图定义和自动化编排,更轻松地处理和准备数据,目前每月由业务团队自助生成的数据已占总数据的 70% 以上,ETL 压力显著降低。同时,动态集成和自动化编排减少了不必要的数据复制、计算和存储,至少节约了 50% 以上的存算成本。

如果您最近正关注“逻辑数据平台”,或者计划考虑通过统一数据服务平面屏蔽底层引擎的差异性,提升业务用数效率,不妨先了解下 Aloudata AIR 逻辑数据平台,或许能为您带来新的思路。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/852496.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

单链表经典算法题 1

前言 学习了单链表,我们就做一些题来巩固一下。还有就是解题方法不唯一,我就只讲述为自己的方法。 目录 前言 1.移除链表元素 思路 代码 2.反转链表 思路 代码 3.链表的中间节点 思路 代码 总结 1.移除链表元素 思路 我们创建一个新的表…

长连接的钟表程序

实验要求 实现1个钟表程序(服务),多个用户可以从该程序获得时间并在本地显示,用户也可以修改时间。 (1)用户程序可以在计算机上运行,也可以在手机上运行; (2&#xff…

【Android】Android系统性学习——Android系统架构

前言 部分内容参考《Android进阶解密》 – 刘望舒 1. Android版本 官方链接:https://developer.android.com/studio/releases/platforms 里面有各个版本的官方文档,有些新功能的用法在这里面。 现在做安卓11,有时候需要向下兼容 2. AOSP …

【Python】在运行中使用warnings.filterwarnings,可以忽略测试中遇到的问题

在 Python 中,warnings 是一个内置模块,用于发出有关程序执行的警告信息,这些警告信息通常是关于程序行为的潜在问题。 不过,这些问题通常不是致命的错误,只不过是展示我们代码中潜在的问题,或不推荐的做法…

软件架构搞好了,还用担心代码可读性差?

目录 一、架构的概念及由来 二、小系统也需要架构思想 三、实现架构的思路 一、架构的概念及由来 嵌入式软件架构是指在嵌入式系统中用于组织和管理软件组件的结构和设计。嵌入式软件架构的出现是为了解决嵌入式系统中软件复杂度和系统要求不断增加的挑战。以下是嵌入式软件架…

【STM32进阶笔记】GPIO端口

前段时间由于其他原因,专栏暂停更新了较长一段时间,现在恢复更新,争取继续为大家创造有价值的内容,期待大家的订阅关注,欢迎互相学习交流。 在STM32速成笔记系列专栏中其实已经对GPIO的一些必要知识进行了介绍&#xf…

GPT4O给Qwen2生成的高考作文打分56分,从“小白”进阶技术大神的开发者基于国产GPU推理模型效果可还行?

OpenI启智社区上线的【芯动开源】首场活动-天数智芯挑战专场即将迎来最后一周的冲刺阶段,自2024年5月27日上线以来,这期间,我们见证了天数智芯通用GPU加速卡在适配AI模型方面的无限可能与开发者们开源精神的璀璨光辉。 在短短的两周时间里&a…

代码随想录算法训练营第二十三天|669. 修剪二叉搜索树、 108.将有序数组转换为二叉搜索树、 538.把二叉搜索树转换为累加树

669. 修剪二叉搜索树 题目链接:669. 修剪二叉搜索树 文档讲解:代码随想录 状态:还可以 思路: 如果节点的值在[low, high]之间,则递归修剪它的左子树和右子树。 节点值小于low:如果节点的值小于low&#xff…

智慧工厂自动装车解决方案:H13三维轮廓扫描激光雷达

激光雷达在智慧工厂自动装车的应用场景在智慧工厂的自动装车场景中,激光雷达的应用显得尤为关键。这种技术以其精确的测量和定位能力,助力自动化装车的每一个环节,大大提高了装车的效率和准确性。 首先,激光雷达在车辆定位方面发挥…

[next.js] svgr/webpack

nextjs如何配置svg文件,使其像react组件一样导入? 当前next.js 开发环境我使用了--turbo 来开启turbopack加速文件构建,所以之前的一些webpack loader之类的无法正常工作。通过搜索发现一般都是使用svgr/webpack来处理svg,打开svgr官网发现…

vscode 连接 GitHub

文章目录 连接 GitHub一、通过 SSH 连接 github二、通过 HTTPS 连接 github 连接 GitHub 在 vscode 中首次使用 git push 命令时会要求输入 github 账户的 username 和 password,这种基本身份验证在 2021.8.13 以前还是可以的,之后的话,就会…

Luma AI 推出梦幻机:据说吊打Sora和快手可灵(KLING)|TodayAI

近日,美国初创公司 Luma AI 宣布推出其最新的文本生成视频工具——梦幻机(Dream Machine)。这一消息发布的时间正好在中国科技公司快手推出其文本生成视频模型可灵(KLING)几天之后,标志着视频生成领域的又一…

Android Compose 十一:常用组件列表 compose自己个的 下拉刷新

列表下拉刷新 material3 还没有下拉刷新功能material:1.3.0 之后 swiperefresh 被弃用 被PullRefresh替代使用PullRefresh 需要添加依赖 implementation ‘androidx.compose.material:material:1.6.8’ 先上代码 var refreshing by remember {mutableStateOf(false)} val…

线性代数|机器学习-P12Ax=b条件下x最小值问题

文章目录 1. Axb下的最值问题-图形转换2. Gram-Schmidt 标准形3. 迭代法-Krylov子空间法 1. Axb下的最值问题-图形转换 假设我们有一个直线方程如下: 3 x 1 4 x 2 1 \begin{equation} 3x_14x_21 \end{equation} 3x1​4x2​1​​ 在二维平面上,各个范…

集成学习 #数据挖掘 #Python

集成学习是一种机器学习方法,它通过结合多个模型的预测结果来提高整体性能和稳定性。这种方法的主要思想是“集合智慧”,通过将多个模型(比如决策树、随机森林、梯度提升机等)的预测集成起来,可以减少单个模型的过拟合…

C# WPF入门学习主线篇(三十一)—— MVVM模式简介

C# WPF入门学习主线篇(三十一)—— MVVM模式简介 MVVM(Model-View-ViewModel)模式是WPF开发中的一种重要架构模式。它通过将用户界面(View)与业务逻辑和数据(Model)分离,…

【文献阅读】一种多波束阵列重构导航抗干扰算法

引言 针对导航信号在近地表的信号十分微弱、抗干扰能力差的问题,文章提出了自适应波束形成技术。 自适应波束形成技术可以分为调零抗干扰算法和多波束抗干扰算法。 调零抗干扰算法主要应用功率倒置技术,充分利用导航信号功率低于环境噪声功率的特点&…

三个pdf工具和浏览软件(pdftk,muppdf,epdfview)

安装pdftk pdftk是一款功能强大的PDF处理工具,主要用于对PDF文件进行各种操作。它提供了丰富的功能,包括但不限于合并、拆分、旋转、加密、解密、添加水印、从PDF文档中解出附件等。pdftk分为图形界面版本和命令行版本,适用于不同的用户需求…

使用ant-design/cssinjs向plasmo浏览器插件的内容脚本content中注入antd的ui组件样式

之前写过一篇文章用来向content内容脚本注入antd的ui:https://xiaoshen.blog.csdn.net/article/details/136418199,但是方法就是比较繁琐,需要将antd的样式拷贝出来,然后贴到一个单独的css样式文件中,然后引入到内容脚…

活动会议发布平台,让你我的距离再近点

随着科技、经济的不断发展,生活水平的不断提高,人们不仅在工作中追求快捷高效的工作工具,生活中对参加各项活动的热情也不断提升。活动会议发布平台以其便捷、高效的使用方式被越来越多人采用。 一. 活动会议发布平台的用户画像 …