数据中台 | 3分钟带你读懂数据中台的由来

1.数据中台产生的原因

数据中台的概念起源于中国阿里巴巴集团提出的“大中台,小前台”战略。这一理念的核心在于通过构建强大的中台体系,为前端的快速创新和个性化业务需求提供强有力的支持。具体到数据中台,其设计初衷是为了应对企业内部数据管理和应用的复杂性与挑战。

数据中台的产生主要为了解决如下问题:

数据孤岛问题:随着企业数字化转型的深入,不同业务系统产生了大量的数据,但这些数据往往分散在各处,形成了数据孤岛。数据中台的出现旨在打破这些孤岛,实现数据的互联互通,使得数据能够跨部门、跨系统地被有效利用。

数据治理困境:企业面临如何高效治理这些数据资产的问题,包括数据质量、安全、访问权限等多个方面,传统的IT架构难以满足日益增长的数据管理和应用需求。

市场响应速度:在市场竞争加剧的环境下,企业需要快速响应市场变化,推出新产品或服务。这就要求能够快速获取并利用数据洞察,指导决策。

2.数据中台的演进

2.1 数据库时期

1979年:ORACLE公司发布了可用于DEC公司的PDP-11计算机上的商用ORACLE产品;

1996年:开源的MySQL开始正式推出;

在此期间,数据产业主要是以增删改查为主,满足OLTP(联机事务处理)需求,即处理日常的业务交易和操作,如用户行为记录、订单处理等。这个阶段的数据管理集中在数据库层面,关注的是数据的快速存取和事务的一致性。

数据分析也主要以关系型数据库中的表关联信息为不足以形成更高价值的数据分析结果。

2.2  传统数据仓库阶段

核心是为了解决数据库难以实现聚合分析多个业务系统的数据;此时明确了数据分析应用应该使用单独的解决方案,而并非单一的依赖于数据库。

尽管传统的数据仓库在一定程度上解决了数据库难以实现的多业务、多数据库难以实现数据聚合分析的问题,但是随着进入21世纪,数据呈指数级增长,数据形态开始多样化发展,大量的异构化数据开始激增,此时传统的数据仓库能力已经不能满足生产企业日益增长的需求。

2.3 大数据平台

产生原因

  • 数据呈指数级增长;

  • 数据开始异构化发展,单一的结构化数据在面向互联网时代时,已经不能满足企业对生产力发展的要求;

  • 提高数据研发效率,降低数据研发成本成为了继续解决的技术问题。

存在的问题:

  • 尽管大数据平台解决了传统数据仓库难以处理的海量异构化数据关联分析的问题,但是随着互联网时代的高速发展,应用系统也开始逐渐增多,随着各大生产企业业务系统的快速生长,随之问题也开始暴露了出来:

  • 烟囱式的效应(数据孤岛):各业务线独立发展,造成了数据割裂、数据应用指标不一致的问题;

  • 由于数据孤岛的产生,企业为了对数据资产进行挖掘,便不得不进行大量重复计算、存储与研发。计算、存储等IT资源与人力大量浪费。

因此如何打破数据孤岛,实现生产企业数据一致性处理便成为了数据资产合理利用的核心。

2.4 数据中台

直到2015年12月7日,阿里巴巴集团宣布组织结构全面升级,建设整合阿里产品技术和数据能力的强大中台,进而形成“大中台,小前台”的组织和业务体制,使前线业务更加灵动、敏捷。阿里巴巴在中国最先提出数据中台概念。

数据中台的意义:通过数据技术对生产企业的海量海量数据进行采集、计算、处理,同时统一标准与口径,形成公司级的可多方利用的数据资产中心与数据存储中心,形成大数据资产层,进而为生产企业的各业务模块进行数据赋能,实现业务数据化、数据业务化的目的。

核心理念:数据取之于服务,利用于服务;

共享与复用:数据中台的核心思想是实现数据的共享和能力的复用,减少重复开发,提高效率。

数据资产化:将数据视为企业的重要资产,通过数据中台进行整合、清洗、标准化,使之成为可被业务直接利用的数据资源。

灵活性与敏捷性:数据中台提供灵活的数据服务接口,支持业务部门快速获取所需数据,加速产品和服务的创新周期。

3.数据中台的核心价值

(1)效用角度

数据整合和共享:数据中台可以整合企业内部各个部门的数据资源,实现数据的统一管理和共享。这有助于消除数据孤岛,提高数据利用率,减少重复建设,促进信息化资源的共享与协同。

业务创新和快速响应:数据中台可以为企业提供更加灵活的数据服务能力,促进数据驱动的业务创新和快速响应市场需求,降低业务创新的时间和成本。

提升智能化水平:通过数据中台建设,企业可以更好地支持数据分析和挖掘,实现数据驱动决策,提升企业的智能化水准,从而更好地洞察市场、用户和业务。

(2)技术角度

降低IT系统复杂度:数据中台可以作为统一的数据基础设施,有助于降低企业IT系统的复杂度,简化数据接入和集成,提高系统整体的稳定性和可维护性。

(3)管理角度

数据治理和质量提升:通过数据中台,企业可以建立统一的数据标准、规范和治理机制,提升数据质量和可信度,减少数据冗余和错误,为业务决策提供更加可靠的数据支持。

(4)战略角度

支持数字化转型:数据中台为企业数字化转型提供了坚实的数据基础,有助于构建数字化能力,提升企业在数字化转型过程中的竞争力和创新能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/876087.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springboot在加了mapper之后报错

springboot在加了mapper之后报错 最后发现是spring boot版本不兼容,spring-boot-starter-parent换成3.0.5之后可以了

计算机基础-IO

一、裸机中的IO 我们先看下计算机的组成部分: 从图中我们很清楚的看到Input/Output 即为 IO,也就是计算机主机和外部设备进行信息的交换。 这种交换可能是磁盘IO也有可能是网络IO。 二、操作系统中的IO 操作系统分为内核态和用户态,且默认…

活动预告|8月3日 Streaming Lakehouse Meetup · Online 与你相约!

随着大数据分析技术的发展,越来越多的企业采用了数据湖架构。基于 Lakehouse 的架构优势,结合 Flink 的 Streaming 实时流处理能力,Flink 推出了新一代的“Streaming Lakehouse”技术。这一技术旨在能够让数据在湖上自由流动,为用…

js 习题 3

文章目录 绪论12345678910 求最长公共后缀111213 最大公约数1415结语 绪论 『虽有遗憾,绝不后悔。』—— 「古剑奇谭」 1 let buf"";process.stdin.on("readable",function(){let chunkprocess.stdin.read();if(chunk){bufchunk.toString();} …

从零开始创建vue3项目——包含项目初始化、element-plus、eslint、axios、router、pinia、echarts

项目启动 初始化vue3项目 这里建议先下载pnpm,下载速度更快,如果还没下载可以使用 npm install -g pnpm 如果遇到报错问题,如下 可以在命令行输入下面的指令以切换到淘宝镜像源 npm config set registry https://registry.npm.taobao.org…

2024最佳游戏引擎排行

游戏产业几十年来一直是一个大生意,而且发展势头迅猛。据估计,全球游戏市场在 2025 年每年将达到 5031.4 亿美元,2023 年为 3960 亿美元。 尽管如今有市面上有各种各样的解决方案,但游戏开发人员和管理者在选择适合他们需求的游戏…

kettle从入门到精通 第八十课 ETL之kettle kettle中的json对象字段写入postgresql中的json字段

场景:源数据库表为mysql的其中有json字段,通过kettle 查询出来 插入到目标数据库 postgresql中,对应的表中也有json字段。。但是报错,提示kettle查询出来是varchar的的字段,无法插入到目标数据库中。 1、创建测试表。 …

golang设置远程调试

1. 目标机器构建安装dlv https://github.com/go-delve/delve go build之后将编译号的dlv命令路径添加到PATH里 2. 目标机器下载源代码并且运行dlv dlv debug --headless --listen:2345 --api-version2 --accept-multiclient 3.本机添加go remote 4. 设置断点即可

Cesium高性能渲染海量矢量建筑

0、数据输入为类似Geojson的压缩文件和纹理图片,基于DrawCommand命令绘制; 1、自定义建筑几何,包括顶点、法线、纹理等; 2、自定义纹理贴图,包括按建筑高度贴图、mipmap多级纹理; 3、自定义批处理表&…

DVWA中命令执行漏洞细说

在攻击中,命令注入是比较常见的方式,今天我们细说在软件开发中如何避免命令执行漏洞 我们通过DVWA中不同的安全等级来细说命令执行漏洞 1、先调整DVWA的安全等级为Lower,调整等级在DVWA Security页面调整 2、在Command Injection页面输入127.0.0.1&…

AI在Facebook的应用:预见智能化社交的新前景

在数字化时代,社交媒体平台已成为我们生活的重要组成部分,而人工智能(AI)的快速发展正推动着这些平台向更智能、更个性化的方向发展。Facebook,作为全球最大的社交网络平台之一,正不断探索和应用AI技术&…

mysql面试(七)

前言 本章节列出了mysql在增删改查的时候,分别会涉及到哪些锁类型,又是如何交互的。 这个章节也是mysql面试基础系列的最后一章,后面准备更新redis数据类型和分布式锁相关问题。如果各位看官有什么问题的话,可以留言。 锁 之前…

【MySQL进阶之路 | 高级篇】MVCC三剑客:隐藏字段,Undo Log,ReadView

1. 再谈隔离级别 我们知道事务有四个隔离级别,可能存在三种并发问题: 在MySQL中,默认的隔离级别是可重复读,可以解决脏读和不可重复读的问题,如果仅从定义的角度来看,它并不能解决幻读问题。如果我们想要解…

2024年jupyter notebook如何复制单元格cell输出的图片

背景 之前使用jupyter notebook复制图片一直是正常,右键就行,可以找到复制图片或者另存为的选项。 但是最近重新安装了anaconda,发现jupyter notebook升级了,和原来的界面不一样了。 如果有一个图片,我们右键&#x…

【Linux】—管理、设置防火墙规则(firewalld详解)

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:Linux运维老纪的首页…

[OJ]平均串问题,存在超时问题未解决

众所周知,两个数a和b的平均数计算公式为(ab)/2。 实际上平均数也可以描述为:从较小的数依次遍历到较大的数,将遍历的数放入一个列表中,该列表的中心元素。例如:求 3和7的平均数,列表为{3,4,5,6,7}&#xff…

2024-06学习笔记

1.事务与数据库链接的占用 如果用Transactional注解,那在第一次与数据库交互的时候,就会打开数据库链接,再整个方法执行完,才会关闭数据库链接。 即使后边用的事务传播是required_new,那之前的事务也是被挂起,不会被…

静态路由学习笔记

1. 静态路由应用场景 (1)静态路由由网络管理员手动配置,配置方便,对系统要求低,适用于拓扑结构简单并且稳定的小型网络。 (2)缺点是不能自动适应网络拓扑的变化,需要人工干预过多。…

day05 Router、vuex、axios

配置 router和vuex需要在创建vue项目的时候,开始的时候选择Manually select features,于是就可以在下一个创建配置讯问中选择router和vuex。 axios则需要执行命令行: npm install axios -S 之后再在需要发送请求的view导入即可。 router…