以数据编织,重构数据管理新范式

030088b99bed8c143ec62df861b05251.png

933c9bb332a2934e46b5d481e3e43d96.png




大数据产业创新服务媒体

——聚焦数据 · 改变商业


人工智能几乎统一了全球最顶尖科技公司的认知:这个时代,除了AI,没有第二条路可走。

人工智能的技术逻辑颇有一种“暴力美学”,它依托于海量大数据和超高算力的训练和推理,进而实现智能分析、“智慧涌现”。但在实际应用中,创造一个智能模型的过程并不美妙,整个过程涉及到数据处理、模型搭建、模型训练、测试以及最终部署等多个繁琐的环节,往往要大量数据分析、算法等方面技术人员的高度手工参与,业界一直流传着有多少“人工”,就有多少“智能”的说法。

而在诸多的环节中,数据处理是较为麻烦的,大约6-7成的时间成本都花费在了数据处理环节。数据、算力和算法是人工智能这座伟岸大厦的三根支柱。现在谈到人工智能,让人兴奋的多是算力和算法的进步;让人沮丧的多是数据相关的问题,比如数据管理、合规安全,精准性等。

毫不夸张的说,人工智能发展遇到的挑战,一半可能都与数据处理相关。正如同我们难以想象没有石油革命的工业革命,没有数据革命的AI革命可能也将举步维艰。在这样的背景下,作为数据管理的全新技术理念--数据编织,开始走进了人们的视线之中。

在这样的背景下,亚马逊云科技解决方案架构师许晓亮、深圳市伊登软件有限公司CTO孙军远、丹诺德软件渠道销售总监张博,与数据猿联合创始人兼主编张艳飞进行了一场对话,畅谈“以数据编织,重构数据管理新范式”,从不同视角解析数据编织对产业的变革。

为什么是数据编织?

数据编织是什么?为什么会在近几年异军突起,受到业界的广泛关注?

张博认为:“数据编织不是一种产品而是一种治理理念,或者说是一种数据架构、治理理念和落地软件的结合体。”

数据编织能提供自动编织、动态集成的能力,兼容各种数据集成方式,实现对数据的统一化、集约化、合规化管理。同时,数据编织还有一个核心能力,就是“数据虚拟化”。数据虚拟化是指建立一个虚拟层来实时连接数据,虚拟层记录了数据的关键要素,将数据实现虚拟化,这样无需像数据仓库那般物理地复制、移动数据。

张博形象地指出,我们可以把数据编织理解成一个网状结构,这张网是由不同数据源的点构成的。而点与点之间的连接,不是通过一个实际存在的物理管道实现的。数据编织提供了一种虚拟连接的方式,也正是这种虚拟的连接,不需要格式或者标准的统一,每个节点可以来自不同系统,不同系统间的数据在这张网上都可以被迅速定位和发现。。从技术逻辑的角度看,数据编织改变了传统的数据管理模式,能够把正确的数据,在精准的时间,传递给正确的人,把传统模式下的人找数据变成了数据找人

数据编织技术的出现不是偶然。大约十几年前,互联网上流传着这样一种说法:软件正在吞噬一切。以现在的形势来看,这句话可以改写成:数据正在吞噬一切。人工智能时代,数据就像我们的呼吸一样,每个人每一秒无不在产出大量数据,哪怕我们只是躺在家里什么都不做,在这个时代这也是一种有一定价值的数据,更不要说诸如线上购物、金融交易、交通出行、浏览短视频等各种“强数据相关”行为了。

这些源源不绝而又无处不在的数据,使得企业数据管理的环境变得越来越复杂。来自企业内外部的多源头数据、结构化和半结构化的数据,实时的和批量化的数据,而且这些数据还可能分散在不同系统,多云环境中。数据的复杂化、多样化、规模化等特征前所未有,对于企业管理能力和使用能力提出了巨大的挑战。

一直以来,面对日益复杂的数据问题,产业界不断地寻找各种解决方案。数据编织技术路线的出现会带来新的曙光吗?真正落实到产业,数据编织能为数据处理带来哪些变化呢??从国内市场上首批尝鲜者的反馈来看,数据编织的能力主要体现在三个层面:降本增效,多源异构数据的集成和强大的扩展性。

降本增效

数据编织能够减少一部分数据物理集成的工作,降低一些不必要的开销和成本。同时也加快了数据到价值之间的进程,缩短数据价值实现的时间。

张博表示:“我们把模型运行在数据编织的框架下,在三年之内,整体的投资效益会提升300%~500%。一年之内,数据集成的工作量和耗时都会减少到原来的1/3,在业务端的降本增效是立竿见影的。”

多源异构数据的集成

很多企业的数据要在终端、应用、云上、数据中心之间流动和运转,这些数据可能存在于ERP系统、CRM系统或人力资源系统。这些数据也可能是非结构化数据,如音频、视频、PDF或者报表等。面对这种多源异构的数据,数据编织可以通过虚拟连接的方式,自由连接各种数据源,还可以从公共数据(如社交媒体)等外部系统中提取数据,高效实现多源异构的数据集成。

高扩展性

随着业务的快速增长,企业数据量必将随之增长。这意味着ETL作业数量将会大幅增加,然而一家企业的工程师是有限的,工程师的工作量也是有限的,靠着人力永远追不上飞速增长的数据处理工作需求。

孙军远表示,在现实条件下,企业扩展业务要妥协于当前的应用系统及架构,因为企业不可能把原来的数据仓库或者大数据系统给推倒重来,或者重复建设。而通过ETL的方式进行拓展成本将不堪重负,我们可以用数据编织来改善这一现状。

数据编织超越了传统的ETL技术逻辑。ETL侧重于数据的抽取和转换,数据编织则侧重多元数据资产的融合,强调自动化的集成和智能数据编排。

孙军远形象地指出,基于数据编织,企业就好像站在山顶上俯瞰山脚下的各个楼宇,每个楼宇就像一个数据的原始系统,站在山顶的企业能把所有楼宇尽收眼底,站在顶楼构建整个逻辑视图,为不同的应用人员、决策人员或者数据科学家,通过访问控制的方式,构建他们专属的业务视图,进而再去建立起楼宇之间的一系列关系。

“在不影响原有系统的同时,数据编织能够集成各种各样的数据源。还能基于现有的湖仓一体化架构构建未来的业务视图,像应用视图、决策视图、分析视图等,为企业未来业务的扩展带来非常大的想象空间。

我认为从技术理念的视角来看,数据编织是对ETL的取代,但从实际应用的角度来看,两者实际上是互相补偿的关系。”孙军远说。

生于多云、服务于多云

当前,多云、混合云已经是大势所趋。任何上了规模的企业可能都是类似的布局:一部分业务数据放在亚马逊云上、一部分放在微软云上、一部分放在阿里云上、还有一部分放在自建的本地云上。

许晓亮认为:“在合规的基础上,我建议企业尽可能把数据放到云上。事实上,越核心的数据数据量反倒越不大,比如关系型数据,这些数据可以存储在本地。大部分的行为数据,单条数据的价值都很低,但这些数据具有规模效应,规模上来后价值就会浮现出来。这些数量巨大但暂时没有价值的数据,要找一个成本低、性能稳定、吞吐量大的地方存起来,公有云就是天然之选。”

在日益兴起的混合云和多云环境中,这些彼此孤立,但又互相关联的数据散落在不同环境中。企业必须找到能高效实现数据价值化,促进业务转型的关键工具。

数据编织能够在所有环境(包括混合云和多云平台、本地平台)中设计、部署和利用数据。可以说,数据编织生于多云环境,也服务于多云环境。在传统模式下,无论是数据仓库还是数据湖技术,都需要把数据汇总到一起进行分析。但在多云时代,要想将分布在不同云上的数据集中在一起不仅成本奇高,而且工程量巨大。而通过数据编织,无需数据的集中处理就可以实现价值的释放。

张博举了一个例子,一个澳大利亚的矿业公司,在亚太、美洲、欧洲都建有数据中心。数据中心中存储了大量的非交易型、非关键数据,比如环保相关的数据。由于企业担心在各国当地受到环保处罚,需要这些数据实现全球洞察,实现环保合规经营。

在这样的数据架构下,丹诺德联合亚马逊云科技为这家矿业公司搭建了公有云和私有云系统,帮助其实现全球性的数据洞察。

张博说道,“在安全合规的约束下,企业不可能把全量数据都分享出来,它只会对我们开放一些访问权限。这个时候,数据编织的价值就体现出来了。通过数据编织,数据依然留在本地,我们将数据价值从全球不同的地方提取出来,汇总到分析师。这样既满足了客户本身的数据合规要求,同时也帮助他实现了业务的诉求。”

大模型与数据编织,互相成就和需要

如开头所言,数据处理是人工智能发展的重要一环,而数据编织同样与人工智能紧密相关。一方面,数据编织的诞生就是为了促进人工智能的发展。另一方面,人工智能也能促进数据编织技术的完善。两者之间互相影响、彼此成就,其中一方的技术进步,也势必将带来另一方的变化。当下大模型时代正扑面而来,这将为数据编织带来哪些变化?

许晓亮表示,原来传统数据库的迭代周期大约是三年,但是进入大模型时代,迭代周期可能要以月为单位了。大模型带来了多模态场景,也带来了多模态数据,这对于数据编织而言有了绝佳的用武之地,同时大模型的自身发展也产生了多模态数据的处理需求。在大模型时代,数据编织将会扮演重要角色。

孙军远指出:“我们在企业内部构建了自己的垂直大模型,但即使这样,也没有办法直接跟大数据系统或者相关的各个数据库系统直接进行互联。因为大模型需要构建一个上下文字段的关系描述,以及一系列业务的定义,需要像数据编织这样的技术进行完善。”

张博表示:“毋庸置疑,大模型是大势所趋,但其实有时候机会反而藏在小趋势里,小趋势跟自身业务息息相关。比如今天所谈到的数据编织的概念,在这种小的趋势里反而更能快速找到大趋势的突破口。”

值得一提的是,数据编织作为一种新兴的数据管理理念,在国内市场仍处于起步阶段,能否编织起千丝万缕的数字世界,仍待时间和市场的检验。

73fb2ce643dbd82aac411c4850fff92e.jpeg

点击文末左下角“阅读原文”获取“Denodo”案例集

文:俊驰 / 数据猿
责编:凝视深空 / 数据猿

182a21f22b0331e1a0b173e2907c2756.jpeg

0686bf6f9c641bcadc58e6d0026f5376.png

fcc7438b77747b5701e29ebba556d588.png

232be586efb1beedf86c71ac7a59a591.jpeg

098ce50ef1039a7a1cb9196011f25e50.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/45609.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

医疗健康信息的安全挑战与隐私保护最佳实践

医疗健康信息的安全挑战 医疗健康信息的安全挑战主要包括数据规模庞大、管理困难、数据类型多样导致的安全风险高、以及法律法规与伦理约束带来的挑战。随着医疗信息化的发展,医疗健康数据呈现出爆炸式的增长,医院信息系统、电子病历、健康管理等产生了海…

Spring Boot与MyBatis完美集成指南

Spring Boot与MyBatis完美集成指南 在当今软件开发领域,Spring Boot和MyBatis作为两大流行框架,分别以其简洁高效和灵活易用的特点,在快速构建和数据库交互方面展现了显著优势。本文将深入探讨Spring Boot与MyBatis的基本概念、特点、优势&a…

Xcode依赖管理大师:精通项目依赖的艺术与实践

Xcode依赖管理大师:精通项目依赖的艺术与实践 在现代软件开发中,项目依赖管理是确保项目顺利进行的关键环节。Xcode,作为苹果官方的集成开发环境(IDE),提供了一套强大的工具来管理项目依赖。本文将深入探讨…

SpringBoot新手快速入门系列教程十一:基于Docker Compose部署一个最简单分布式服务项目

我的教程都是亲自测试可行才发布的,如果有任何问题欢迎留言或者来群里我每天都会解答。 如果您还对于Docker或者Docker Compose不甚了解,可以劳烦移步到我之前的教程: SpringBoot新手快速入门系列教程九:基于docker容器&#xff…

218.贪心算法:分发糖果(力扣)

核心思想 初始化每个学生的糖果数为1: 确保每个学生至少有一颗糖果。从左到右遍历: 如果当前学生的评分高于前一个学生,则当前学生的糖果数应比前一个学生多一颗。从右到左遍历: 如果当前学生的评分高于后一个学生,则…

Hadoop3:HDFS-通过配置黑白名单对集群进行扩缩容,并实现数据均衡(实用)

一、集群情况介绍 我的本地虚拟机,一共有三个节点,hadoop102、hadoop103、hadoop104 二、白名单 创建白名单文件whitelist,通过白名单的配置,只允许集群包含102和103两台机器可以存储数据,104无法存储数据。 需求 …

react学习——29react之useState使用

useState 是 React Hooks 中的一个重要函数,它用于在函数组件中添加状态。在类组件中,我们通常使用 this.state 和 this.setState 来管理组件的状态,而在函数组件中,我们可以使用 useState 来达到同样的目的。 1、导入 useState&…

C语言 判断素数

写一个判素数的函数,在主函数输入一个整数,输出是否为素数的信息。 #include <stdio.h> #include <stdbool.h>// 判断是否为素数 bool is_prime(int num) {if (num < 1) return false;for (int i 2; i < num / 2; i) {if (num % i 0) return false;}retur…

修改留言板

<!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>备忘录</title><!-- <link rel"…

Netty Websocket SpringBoot Starter

netty websocket starter Quick Start Demo 项目 添加依赖 <!--添加源--> <repository><id>github</id><url>https://maven.pkg.github.com</url><snapshots><enabled>true</enabled></snapshots> </reposit…

SchedulerLock分布式定时任务锁

1.pom中引入依赖&#xff0c;这里使用redis作为锁 <dependency><groupId>net.javacrumbs.shedlock</groupId><artifactId>shedlock-spring</artifactId><version>4.12.0</version></dependency><dependency><groupId…

根据脚手架archetype快速构建spring boot/cloud项目

1、找到archetype&#xff0c;并从私仓下载添加archetype到本地 点击IDEA的file&#xff0c;选择new project 选择maven项目&#xff0c;勾选create from archetype 填写archetype信息&#xff0c;&#xff08;repository填写私仓地址&#xff09; 2、选择自定义的脚手架arche…

关于正点原子的alpha开发板的启动函数(汇编,自己的认识)

我傻逼了&#xff0c;这里的注释还是不要用&#xff1b; 全部换成 /* */ 这里就分为两块&#xff0c;一部分是复位中断部分&#xff0c;第二部分就是IRQ部分&#xff08;中断部分最重要&#xff09; 我就围绕着两部分来展开我的认识 首先声明全局 .global_start 在 ARM 架…

数据分包:145字节版本

分包 timescale 1ns / 1ps // // Company: // Engineer: // // Create Date: 2023/08/04 14:35:21 // Design Name: // Module Name: dat_send_blocks_v // Project Name: // Target Devices: // Tool Versions: // Description: // // Dependencies: // // Revisi…

pdf工具

iLovePDF | 为PDF爱好者提供的PDF文件在线处理工具 https://www.ilovepdf.com/zh-cn 图片 pdf 合并成一个pdf也可以拆分

近期matlab学习笔记,学习是一个记录,反复的过程

近期matlab学习笔记&#xff0c;学习是一个记录&#xff0c;反复的过程 matlab的mlx文件在运行的时候&#xff0c;不需要在文件夹路径下&#xff0c;也能运行&#xff0c;但是需要调用子函数时&#xff0c;就需要在文件所在路径下运行 那就先运行子函数&#xff0c;把路径换过来…

Qt: 利用QSplitter将主窗口与Docker窗口初始宽度比例2:1

要实现主窗口和 QDockWidget 之间的比例为 2:1&#xff0c;您可以使用 QSplitter 来创建一个可以调整大小的分隔窗口&#xff0c;其中一个区域放置主窗口的内容&#xff0c;另一个区域放置 QDockWidget。以下是一个示例代码&#xff0c;演示了如何实现主窗口和 QDockWidget 之间…

Power BI 工具介绍

Power BI是一款商业智能&#xff08;BI&#xff09;软件&#xff0c;由微软开发&#xff0c;旨在帮助用户将复杂的数据转化为视觉化的交互式见解。Power BI提供了一套完整的工具&#xff0c;包括数据连接、数据准备、数据建模、数据分析和数据可视化等功能&#xff0c;使用户能…

YOLOv10: Real-Time End-to-End Object Detection

双重标签分配 与一对一多分配不同&#xff0c;一对一匹配只为每个地面真相分配一个预测&#xff0c;避免了NMS后处理。然而&#xff0c;这导致了较弱的监督&#xff0c;导致次优的准确性和收敛速度。幸运的是&#xff0c;这种缺陷可以通过一对一多分配来弥补。为此&#xff0c…

Docker 安装 PostgreSQL

1. 启动 PostgreSQL 容器 docker run --name ffj-postgres -p 5432:5432 -e POSTGRES_PASSWORDCisc0123 -d postgres docker run&#xff1a;启动一个新的容器。--name指定容器名称为 ffj-postgres。-p 5432:5432&#xff1a;将主机的 5432 端口映射到容器的 5432 端口。-e P…