【数据架构】Data Fabric 架构是实现数据管理和集成现代化的关键

D&A 领导者应该了解数据编织架构的关键支柱,以实现机器支持的数据集成。

在日益多样化、分布式和复杂的环境中,数据管理敏捷性已成为组织的任务关键优先事项。为了减少人为错误和总体成本,数据和分析 (D&A) 领导者需要超越传统的数据管理实践,转向现代解决方案,例如支持人工智能的数据集成

“被称为“数据编织”的新兴设计概念可以成为应对一直存在的数据管理挑战的强大解决方案,例如高成本和低价值的数据集成周期、早期集成的频繁维护、对实时性不断增长的需求和事件驱动的数据共享等等,”Gartner 杰出副总裁分析师 Mark Beyer 说。

什么是数据编织?


Gartner 将数据编织定义为一种设计概念,它充当数据和连接过程的集成层(结构)。数据编织利用对现有、可发现和推断的元数据资产的持续分析,以支持跨所有环境(包括混合云和多云平台)设计、部署和利用集成和可重用数据。

Data Fabric 利用人和机器的能力来访问数据或在适当的情况下支持其整合。它不断地识别和连接来自不同应用程序的数据,以发现可用数据点之间独特的、与业务相关的关系。该洞察支持重新设计的决策制定,通过快速访问和理解提供比传统数据管理实践更多的价值。

例如,使用数据编织的供应链领导者可以更快地将新遇到的数据资产添加到供应商延迟和生产延迟之间的已知关系中,并使用新数据(或为新供应商或新客户)改进决策。

将数据编织视为自动驾驶汽车


考虑两种情况。首先,驾驶员积极主动并全神贯注于路线,汽车的自主元素干预最少或没有干预。第二,司机稍显懒惰,注意力不集中,汽车立即切换到半自动模式并进行必要的路线修正。

这两种情况都总结了 Data Fabric 的工作原理。它首先以被动观察者的身份监控数据管道,并开始提出更有成效的替代方案。当数据“驱动程序”和机器学习都对重复的场景感到满意时,它们会通过自动化即兴任务(耗费太多人工时间)来相互补充,同时让领导层可以自由地专注于创新。

D&A 领导者需要了解的有关数据编织的知识

  • Data Fabric 不仅仅是传统和现代技术的结合,而是一种改变人类和机器工作负载重点的设计理念。

  • 实现数据编织设计需要新的和即将到来的技术,例如语义知识图、主动元数据管理和嵌入式机器学习 (ML)。

  • 该设计通过自动执行重复性任务(例如分析数据集、发现模式并将其与新数据源对齐)以及最先进的修复失败的数据集成作业来优化数据管理。

  • 没有现有的独立解决方案可以促进成熟的数据编织架构。D&A 领导者可以通过混合构建和购买的解决方案来确保强大的数据编织架构。例如,他们可以选择一个有前景的数据管理平台,该平台具有将数据编织拼接在一起所需的 65-70% 的功能。缺少的功能可以通过本土解决方案来实现。


D&A 领导者如何确保数据编织架构能够提供业务价值?


为了通过数据编织设计提供业务价值,D&A 领导者应确保坚实的技术基础,确定所需的核心能力,并评估现有的数据管理工具。

以下是 D&A 领导者必须了解的数据编织架构的关键支柱。

No 1. Data Fabric 必须收集和分析所有形式的元数据


上下文信息为动态数据编织设计奠定了基础。应该有一种机制(如连接良好的元数据池),使 Data Fabric 能够识别、连接和分析各种元数据,例如技术、业务、运营和社交。

5a728de3ba149882dc5d595d97c93dd9.png

No 2. Data Fabric 必须将被动元数据转换为主动元数据


对于数据的无摩擦共享,企业激活元数据非常重要。为此,Data Fabric 应该:

持续分析关键指标和统计数据的可用元数据,然后构建图形模型。
基于元数据的独特和业务相关关系,以易于理解的方式以图形方式描述元数据。
利用关键元数据指标启用 AI/ML 算法,随着时间的推移学习并产生有关数据管理和集成的高级预测。
下载电子书:决策的未来

No 3. Data Fabric 必须创建和管理知识图谱


知识图谱使数据和分析领导者能够通过语义丰富数据来获得业务价值。

知识图谱的语义层使其更加直观和易于解释,使 D&A 领导者的分析变得容易。它为数据使用和内容图增加了深度和意义,允许 AI/ML 算法将信息用于分析和其他操作用例。

数据集成专家和数据工程师经常使用的集成标准和工具可以确保轻松访问和交付知识图。D&A 领导者应该利用这一点;否则,Data Fabric 的采用可能会面临许多中断。

No 4. Data Fabric 必须具有强大的数据集成主干


Data Fabric 应兼容各种数据交付方式(包括但不限于 ETL、流式传输、复制、消息传递和数据虚拟化或数据微服务)。它应该支持所有类型的数据用户——包括 IT 用户(用于复杂的集成需求)和业务用户(用于自助数据准备)。

本文 :https://architect.pub/data-fabric-architecture-key-modernizing-data-management-and-integration
讨论:知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】
公众号
 
【jiagoushipro】
【超级架构师】
精彩图文详解架构方法论,架构实践,技术原理,技术趋势。
我们在等你,赶快扫描关注吧。
微信小号
 
【ca_cea】
50000人社区,讨论:企业架构,云计算,大数据,数据科学,物联网,人工智能,安全,全栈开发,DevOps,数字化.
 

QQ群
 
【285069459】深度交流企业架构,业务架构,应用架构,数据架构,技术架构,集成架构,安全架构。以及大数据,云计算,物联网,人工智能等各种新兴技术。
加QQ群,有珍贵的报告和干货资料分享。

视频号【超级架构师】
1分钟快速了解架构相关的基本概念,模型,方法,经验。
每天1分钟,架构心中熟。

知识星球【首席架构师圈】向大咖提问,近距离接触,或者获得私密资料分享。 

喜马拉雅【超级架构师】路上或者车上了解最新黑科技资讯,架构心得。【智能时刻,架构君和你聊黑科技】
知识星球认识更多朋友,职场和技术闲聊。知识星球【职场和技术】
领英Harryhttps://www.linkedin.com/in/architect-harry/
领英群组领英架构群组https://www.linkedin.com/groups/14209750/
微博‍‍【超级架构师】智能时刻‍
哔哩哔哩【超级架构师】

抖音【cea_cio】超级架构师

快手【cea_cio_cto】超级架构师

小红书【cea_csa_cto】超级架构师 

网站CIO(首席信息官)https://cio.ceo
网站CIO,CTO和CDOhttps://cioctocdo.com
网站架构师实战分享https://architect.pub   
网站程序员云开发分享https://pgmr.cloud
网站首席架构师社区https://jiagoushi.pro
网站应用开发和开发平台https://apaas.dev
网站开发信息网https://xinxi.dev
网站超级架构师https://jiagou.dev
网站企业技术培训https://peixun.dev
网站程序员宝典https://pgmr.pub    
网站开发者闲谈https://blog.developer.chat
网站CPO宝典https://cpo.work
网站首席安全官https://cso.pub    ‍
网站CIO酷https://cio.cool
网站CDO信息https://cdo.fyi
网站CXO信息https://cxo.pub

谢谢大家关注,转发,点赞和点在看。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/6375.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java相关知识点

变量的生命周期:位于内层中的变量可以访问并修改外层变量的值 注意:子类中方法的访问权限 > 父类 ReultSet不是一个集合,而是在使用jdbc(java database connectivity) 返回的一个结果集 enty中提供有参构造时, 未提供空参构…

MyBatis操作数据库

1.MyBatis是什么? MyBatis 是⼀款优秀的持久层框架,它⽀持⾃定义 SQL、存储过程以及⾼级映射。MyBatis 去除了⼏乎所有的 JDBC 代码以及设置参数和获取结果集的⼯作。MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接⼝和 Java POJO&#xf…

【机器学习】吃瓜教程 | 西瓜书 + 南瓜书 (1)

文章目录 一、绪论1、什么是机器学习?2、基本术语3、假设空间4、归纳偏好5、发展历程 二、模型评估与选择A、一种训练集一种算法2.1 经验误差 与 过拟合2.2 评估方法a) 留出法b) 交叉验证法c) 自助法d) 调参与最终模型 2.3 性能度量a) 错误率与精度b) 查准率、查全率…

matlab dot()函数求矩阵内积,三维 ,多维 详解

matlab dot()函数求矩阵内积,三维 ,多维 详解 Cdot(A,b,X),这个参数X 只能取1,或者2。1 表示按列,2表示按行,如果没有参数。默认按列。 1)按列优先计算 Cdot(A,B)dot(A,B,1)[a1*b1a4*b4 ,a2*b2a5*b5 ,a…

视频拼接得AI三维生成方案-开端(一)

想使用二维得图像生成三维得空间图像,英伟达有完整得方案,开源,但是三维拼接不一样,只需要二维,并且要实时,如何生成是我每天都在思考得东西。 cnn 提取特征器和自编码 在训练细胞神经网络时,问…

linux shell比较命令

1 比较运算 num1-eq num2 等于 [ 3 -eq $mynum ] num1-ne num2 不等于 [ 3 -ne $mynum ] num1-lt num2 小于 [ 3 -lt $mynum ] num1-le num2 小于或等于 [ 3 -le $mynum ] num1-gt num2 大于 [ 3 -gt $mynum ] num1-ge num2 大于或等于 [ 3 -ge $mynum ]。 filename1-nt filen…

linux上面修改u盘的名称

首先df-h显示文件系统磁盘空间使用情况 df -hFilesystem Size Used Avail Use% Mounted on /dev/sda1 39G 24G 13G 66% / tmpfs 990M 4.5M 986M 1% /dev/shm /dev/sda2 77G 62G 12G 85% /broncho /dev/s…

C++ PCL点云圆柱结构提取/立杆结构提取

目录 一、算法实现二、结果展示适用于圆柱体提取、立杆提取。 一、算法实现 #include <iostream> #include <pcl/io/pcd_io.h> #include <pcl/point_types.h> #in

大数据分析案例-基于LightGBM算法构建乳腺癌分类预测模型

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…

jmeter软件测试实验(附源码以及配置)

jmeter介绍 JMeter是一个开源的性能测试工具&#xff0c;由Apache软件基金会开发和维护。它主要用于对Web应用程序、Web服务、数据库和其他类型的服务进行性能测试。JMeter最初是为测试Web应用程序而设计的&#xff0c;但现在已经扩展到支持更广泛的应用场景。 JMeter 可对服务…

AcWing 244. 谜一样的牛—树状数组、二分

题目链接 AcWing 244. 谜一样的牛 题目描述 分析 这道题挺巧妙的&#xff0c;感觉树状数组方面的题就是比较难想&#xff0c;先分析一下样例&#xff0c;样例中每头牛前面比自己低的牛的数量分别为 0 1 2 1 0牛的高度是1~n的排列&#xff0c;如何分析出每头牛的高度呢&…

MySQL-多表查询-小结1

目录 内连接 外连接 子查询&#xff08;嵌套查询&#xff09; 内连接 内连接查询的是表之间交集的部分隐式内连接 select 字段列表 from 表1&#xff0c;表2 where 条件....&#xff1b;显示内连接 select 字段列表 from 表1 [inner] join 表2 on 条件....&#xff1b; 外连…

API Testing 一个基于 YAML 文件的开源接口测试工具

目录 前言&#xff1a; 如何使用&#xff1f; 本地模式 服务端模式 文件格式 后续计划 前言&#xff1a; API Testing 是一个基于 YAML 文件的开源接口测试工具&#xff0c;它可以帮助开发者快速地进行接口测试。 在选择工具时&#xff0c;可以从很多方面进行考量、对比…

【历史上的今天】7 月 20 日:人类登上月球;数据仓库之父诞生;Mac OS X Lion 发布

整理 | 王启隆 透过「历史上的今天」&#xff0c;从过去看未来&#xff0c;从现在亦可以改变未来。 今天是 2023 年 7 月 20 日&#xff0c;在 2005 年的今天&#xff0c;时任微软全球副总裁的李开复加盟谷歌担任谷歌全球副总裁及中国区总裁。谷歌公司在发布聘请李开复消息的同…

Debezium系列之:Debezium实现对中文版SQLServer数据库数据采集的支持

Debezium系列之:Debezium实现对中文版SQLServer数据库数据采集的支持 一、背景二、Debezium实现采集SQLSever数据库数据三、验证SQL Server Agent的状态四、中文版SQLServer数据库的支持五、完整配置一、背景 Debezium2.X版本对中文版SQLServer数据库数据库的支持存在一定问题…

LiveNVR监控流媒体Onvif/RTSP功能-拉转Onvif/RTSP/RTMP/FLV/HLS直播流流媒体服务视频广场页面集成视频播放集成说明

LiveNVR拉转Onvif/RTSP/RTMP/FLV/HLS直播流流媒体服务视频广场页面集成视频播放集成说明 1、视频页面集成1.1、关闭接口鉴权1.2、视频广场页面集成1.2.1、隐藏菜单栏1.2.2、隐藏播放页面分享连接 1.3、其它页面集成 2、播放分享页面集成2.1、获取 iframe 代码2.2、html 集成ifr…

Hive 中 sort by 和 order by 的区别

order by会对输入做全局排序&#xff0c;因此只有1个reducer&#xff08;多个reducer无法保证全局有序&#xff09;&#xff0c;会导致当输入规模较大时&#xff0c;需要较长的计算时间。 sort by不是全局排序&#xff0c;其在数据进入 reducer 前完成排序。 因此&#xff0c;…

Java反射的使用

反射是Java框架的核心&#xff0c;无论是Tomcat&#xff0c;SpringMVC&#xff0c;SpringIOC&#xff0c;SpringAOP&#xff0c;动态代理&#xff0c;都使用了反射 那么什么是反射&#xff1f;-------------反射就是获取类信息的能力 Java有两种创建对象的方式&#xff1a;①…

Linux内核的块设备抽象层

Linux内核的块设备抽象层是指块设备框架的核心组件&#xff0c;它负责处理块设备I/O请求&#xff0c;向上层提交完成请求的通知&#xff0c;并提供一些与块设备相关的函数&#xff0c;包括对块设备进行初始化、打开、关闭等操作。 在块设备抽象层中&#xff0c;最基本的结构体…

ffmpeg剪切视频的一些优化(或者说是一些坑)

问题描述 最近我们在做一个项目&#xff0c;这个项目需要使用到ffmpeg这个工具来对视频进行剪切&#xff0c;也就是剪出一个视频中的某一段&#xff0c;在实际测试中&#xff0c;我们发现&#xff0c;ffmpeg剪切速度很慢&#xff0c;而且这个速度还与剪切点开始时间&#xff0…