数据平台、大数据平台、数据中台……傻傻分不清?这次终于有人讲明白了!

来源 | 智领云科技

造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词、新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏、各有趣味。近年来,数据中台之火爆,什么数据平台、数据中台、数据湖、数据集市等等,不同的叫法把大家绕的云里雾里,概念混淆不清,着实让人摸不着头脑…… 

正如我们清楚的知道企业要进行数字化驱动架构之前,必须要建立统一的数据标准和规范,用统一的、大家都了解的语言描述一件事情是多么重要。同样的道理,在理解“大数据”“数据中台”相关知识之前,我们有必要先将常遇到的包括数据仓库、数据集市、数仓湖、大数据平台、数据中台等概念一次性说清,以便在今后的学习与建设中能够清楚的区别开来。 

在回答上述问题之前,我们先来看看数据中台应该怎么理解?阿里认为数据中台其三项核心能力分别为:OneModel负责统一数据构建及管理,OneID负责将核心商业要素资产化,OneService负责向上提供统一的数据服务。

智领云认为,数据中台的核心能力是数据能力的抽象、共享与复用,两者对数据中台的定义看似差异巨大,但仔细分析,阿里所定义的数据中台的核心能力正是智领云所定义的数据中台的结果。换言之,“抽象”是为了达成“OneModel”、“共享”则是为了“OneID”、“复用”才能让“OneService”更有意义。

 

数字化运营不同阶段,运营手段各尽所能

随着大数据技术的不断更新与迭代,数据管理工具得到了飞速的发展,从数据库、数据仓库、数据集市与数据湖,再到大数据平台与如今的数据中台,其实将它们比喻成一场“数据的旅程”就不难理解在数字化运营的不同阶段,各运营手段并不一定是谁替代了谁,准确的讲,它们都有自己的功能、特点所在,技术之间的互补,每个手段都各尽所能的为自己的用例服务。下面我们就来简明扼要的归纳一下数字化运营不同阶段中各运营手段的功能与亮点。

 1、数据库:传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。 

2、数据仓库:数据仓库系统的主要应用是OLAP,支持复杂的数据分析,侧重决策支持,并且提供直观易懂的查询结果,可做到业务的历史快照,总结性数据以及高纬度分析。 

3、数据集市:可以理解为是一种"小型数据仓库",只包含单个主题,且关注范围也非全局,数据从企业范围的数据库、数据仓库中抽取出来,迎合专业用户群体的特殊需求,其面向部门级业务或某一个特定的主题,良好地解决了灵活性和性能之间的矛盾。

4、数据湖:存储企业各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输,主要解决的是“看见数据”的问题,作为全局数据汇总及处理的一个核心功能,数据湖在数据中台建设中必不可少,除了为数据仓库提供原始数据之外,数据湖也可以直接为上层的数据应用提供服务。 

5、大数据平台:个性化、多样化数据,以处理海量数据存储、计算及流数据实时计算等场景为主的一套基础设施,使用大数据平台,企业可以比竞争对手更快地作出数据驱动的决策,更快地推出适应客户需求的产品。

6、数据中台:我们知道所有关于数据工具的建设,其目的都是为了从数据中提取价值来支持更有效的数据运营,那么不能指导实际行动,创造实际价值的数据以及从数据中产生的知识是无用的,那花大价钱来做这个系统也没有必要。 

说到底,数据工具的建设还是要以 ROI(Return On Investment)来支持,数据中台概念的出现,很大程度上是原来的大数据系统建设的ROI 不如人意,企业投入了大量的物力、财力和人力建设了大数据平台,却发现并没有给企业带来应用的价值,大数据平台更多的沦为“形象工程“,甚至产生了新的数据孤岛,更不用说实现数据能力的全局抽象、复用和共享了,而数据中台可以说是为此类大数据平台了个“补丁”,其全局的数据仓库、大数据协调共享等能力,真正解决了重复开发、数据标准不统一、数据孤岛等问题,从而提高了数据价值实现效率和ROI。

常见混淆概念梳理:传统大数据平台、硅谷大数据平台、数据中台

其实,数字化运营不同阶段的运营手段相对来说是比较好理解的,但是我们常常能听到一些字面意思相近的概念,尤其是当我们了解到原来在美国硅谷“中台”其实早已有之,只不过这种方法论在被引入到国内之后,被冠以“中台”之名时混淆的概念常常让我们不知所措。 

那么,在硅谷所谓的“中台”叫什么?国外的大数据平台与国内的大数据平台又有什么区别?接下来就让我们统一相关概念并梳理其关系,一次性说清让大家一目了然。 

1、大数据平台1.0

 大数据平台1.0=传统大数据平台 

大数据平台1.0时期,其实就是我们通常所看到的国内“传统大数据平台”的概念,此时的大数据平台是以处理海量数据存储、计算及流数据实时计算等场景为主的一套基础设施,以Hadoop、Spark、Hive等作为大数据基础能力层,在大数据组件上搭建包括数据分析,机器学习程序等ETL流水线,以及包括数据治理系统、数据仓库系统、数据可视化系统等核心功能。 

但是在大数据平台1.0时期,硬件投资与软件开发投入量巨大,极大增加了研发的难度、调试部署的周期、运维的复杂度,且经常由于架构的缺陷,数据应用开发运维的困难,多租户资源隔离的复杂度等原因造成数据孤岛、应用孤岛的问题。 

传统大数据平台

2、大数据平台2.0

大数据平台2.0=新一代大数据平台=大数据平台1.0+数据中台的功能+数据运营的功能 

大数据平台2.0时期充分诠释了硅谷“中台”早已有之的说法,但为什么硅谷没有“数据中台”概念?原因是硅谷公司从起步开始,管理层就将打造数据驱动需要的基础架构作为必须的功课之一,公司内部都有一个 Data Platform(数据平台)部门负责建设公司的数据平台,其大数据平台建设绝大多数是需求驱动,且后续发展都是由这个大数据平台能产生多少价值来决定的。 

也就是说,在硅谷大家其实也并没有刻意的去打造什么中台,但是“避免重复造轮子”“快速迭代”“数据驱动”“业务驱动”是硅谷工程师文化的一些核心概念,也是硅谷高效创新的一个核心,大部分公司在起始架构设计时,就将“数据中台”所包括的数据抽象、复用与共享的能力,以及一些数据运营的功能设计在内了,其建设目的是一样的,所以没有必要在概念上过度纠结。

3、数据中台 

数据中台建设的目标可简单归纳为通过提供工具、流程和方法论,实现数据能力的抽象、复用和共享,赋能业务部门,提高实现数据价值的效率。阿里提出数据中台的概念,只是为了强调和国内现有的大数据平台加以区别,强调解决数据孤岛、重复开发的问题,突出数据共享和复用的概念。

数据中台

 

深入探究:数据中台与Ta的关系

想必现在你已经从傻傻分不清的状态中走出来,接下来,我们再深入具体地了解下数据中台与之相对应的关系,看看你是不是已经游刃有余的掌握了相关概念呢?

数据中台与传统数据仓库、数据集市、数据湖的关系

数据仓库与数据集市的出现,就是为了解决信息化阶段OLTP(联机事务处理过程)在分析场景下的局限性,它们将OLTP中的数据采集过来,做成面向历史、主题、分析的一些数据集,从而可以轻松地做出OLTP难以做出的分析。

但是,随着互联网时代的到来,数据仓库的数据来源只在业务系统功能中,提供一些汇聚的业务信息,无法提供个性化的信息以及一些非传统业务数据源的信息。另外,一些非传统业务数据源的信息一般存储在服务器日志中,那么大量且无效的数据如果都存储到数据仓库中,其效率之低和限制是无法想象的。 

此时,数据湖和大数据平台的出现改变了上述局面,在这个阶段的数据仓库和数据集市,则基于大数据技术取得了进化,也就是说数据仓库不能解决的问题,我们用大数据数仓(基于大数据技术实现的数据仓库)来解决,大数据数仓解决不了的,我们用大数据平台来解决,大数据平台解决不了的问题,就需要数据中台来解决。 

应该说数据中台是建立在数据仓库和数据平台之上的,让业务部门可以更好,更有效率的使用数据的运营管理层,并强调从工具和机制上支持对数据能力的抽象、共享和复用。

数据中台与大数据平台1.0、2.0的关系 

很多人会疑惑大数据平台1.0与数据中台的差别在哪里呢?其实,两者的建设目的都是发掘数据价值,高效实现数字化运营,区别则在于数据中台是具备业务属性的,输入的是原始数据,输出的是业务部门可以直接使用的数据能力。如果必须要将数据中台和大数据平台1.0区分开来,可以说数据中台是建立在大数据平台1.0的基础层之上,强调提供相应的工具和机制来实现数据能力的全局抽象、共享和复用。

在国内,为什么很多企业面临着数据孤岛与应用孤岛的困局?而在硅谷,大多数企业并没有数据孤岛、应用孤岛的烦恼?因为硅谷每个公司在建设大数据平台的时候,大数据平台的运营效率和使用效率,都是必须要考虑的关键问题。在起始架构设计与后续迭代的时候,如何最大化投入产出比,并让业务部门真正发挥数据的作用都是关键所在。在这个过程中,也有很多的尝试和迭代,但是最终的结果是,绝大部分的大数据平台自然的就会提供所谓的“数据中台”的功能,成为公司内部的一个核心价值驱动引擎。

大数据平台1.0与2.0关系图

 而大数据平台2.0作为新一代大数据平台,则是在大数据平台1.0基础上,增加了数据中台的功能,以及数据运营的功能。对于“各个部门数据重复开发,浪费存储与计算资源”、“数据标准不统一,数据使用成本高”、“业务数据孤岛问题严重,数据利用效率低”,这些需要在大数据平台1.0阶段解决的问题,并没有在国内企业的大数据平台阶段得到考虑和解决。因此,需要一个新的平台来为这个大数据平台“打补丁”,而这个新平台,就是所谓的“数据中台”。 

云原生的数据中台架构

值得强调的是,国内企业级大数据平台解决方案提供商智领云数据中台则是云原生的数据中台,如上图所示,整个架构的最底层是硬件资源层,在硬件资源层之上,左侧是应用基础能力平台,右侧是数据基础能力平台,整个架构设计中一个很重要的方法论就是全局的应用和数据管理。

总结:本文从数字化运营不同阶段对数据仓库、数据湖、大数据平台、数据中台等内涵作了详细说明,便于读者更好的理解和掌握数据领域相关概念,并帮助大家更好地了解大数据带给我们的能力与作用。需要强调的是,除了了解数据中台的概念外,其方法论更为重要,数据中台建设为我们企业数据服务和共享奠定了重要的基础,是企业从“数据”迈向“价值”的强大助推器。


推荐阅读
  • 2019年中国IaaS公有云市场排名及份额出炉

  • Tomcat 架构原理解析到架构设计借鉴

  • CPU:别再拿我当搬砖工!

  • 苹果等多家美企抵制白宫封杀微信;阿里成立新公司“京西”;Apache Kafka 2.5.1发布| 极客头条

  • 马小峰:金融科技界的区块链博士

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/516868.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Github 2023-12-25开源项目周报 Top15

根据Github Trendings的统计,本周(2023-12-25统计)共有15个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Python项目7Go项目2非开发语言项目2Dart项目1TypeScript项目1Rust项目1Kotlin项目1 GPT-Engineer: 自然语言编…

如何通过云解析DNS,5步帮你实现邮箱解析

概述 邮箱解析是通过将域名指向邮箱的服务器地址,实现邮箱的收发邮件服务。 前提条件 联系您的邮箱提供商,获取邮箱需要配置的解析记录。 添加解析操作步骤 1 . 联系邮箱提供商,获取邮箱解析需要配置的解析记录。以阿里云邮箱做示意&…

wildfly-10.1.0.Final 禁用 cxf

在WEB-INF目录下&#xff0c;编辑jboss-deployment-structure.xml&#xff0c;添加一下内容 说明&#xff1a;如果没有此文件就新建 vim jboss-deployment-structure.xml<?xml version"1.0" encoding"utf-8"?><jboss-deployment-structure xmln…

25 张图读懂「文件系统」

作者 | 小林coding来源 | 小林coding&#xff08;CodingLin&#xff09;文件系统的基本组成文件系统是操作系统中负责管理持久数据的子系统&#xff0c;说简单点&#xff0c;就是负责把用户的文件存到磁盘硬件中&#xff0c;因为即使计算机断电了&#xff0c;磁盘里的数据并不会…

Vue Bootstrap OSS 实现文件上传

公司实现文件上传技术选型采用后端SpringBoot/Cloud&#xff0c;前端vue Bootstrap &#xff0c;阿里云OSS作为文件存储&#xff0c;文件上传功能单独抽取封装文件上传组件&#xff0c;可供所有的文件的操作。 后端框架版本SpringBoot2.5.6Spring-Cloud2020.0.4mysql8.0.26page…

使用Kubernetes容器服务在云上搭建AI推理环境

场景描述 本方案适用于使用GPU进行AI在线推理的场景。在推理之前&#xff0c;模型已经训练完成。例如,刷脸支付中&#xff0c;我们在刷脸的时候&#xff0c;就是推理的一个过程。再比如图像分类&#xff0c;目标检测&#xff0c;语音识别&#xff0c;语义分析等返回结果的过程…

美国 AI 博士:什么都不会怎么学 Python?

我见过市面上很多的 Python 讲解教程和书籍&#xff0c;他们大都这样讲 Python 的&#xff1a;先从 Python 的发展历史开始&#xff0c;介绍 Python 的基本语法规则&#xff0c;Python 的 list, dict, tuple 等数据结构&#xff0c;然后再介绍字符串处理和正则表达式&#xff0…

Vue Bootstrap OSS 实现文件追加上传、断点续传、极速秒传

公司实现文件上传技术选型采用后端SpringBoot/Cloud&#xff0c;前端vue Bootstrap &#xff0c;阿里云OSS作为文件存储&#xff0c;大文件上传功能单独抽取封装大文件上传组件&#xff0c;可供所有的大文件的操作。 后端框架版本SpringBoot2.5.6Spring-Cloud2020.0.4mysql8.0.…

使用容器服务支持开发者快速搭建小程序后端服务

场景描述 小程序作为一种新的开放能力被广泛应用于各业务场景&#xff0c;开发者可以快速地开发一个小程序&#xff0c;在微信可便捷地获取和传播&#xff0c;同时依赖微信平台原生能力获取出色的使用体验。 阿里云容器服务结合阿里云云原生能力帮助客户快速构建小程序的后端服…

利用对象存储多种方式 保障OSS数据安全

本文介绍如何通过对象存储OSS提供的加密、访问控制、日志与监控及数据保护等多种方式来保障OSS的数据安全性。 加密 OSS提供服务器端加密、客户端加密以及数据传输加密三种数据加密方式。 服务器端加密 OSS通过服务器端加密机制&#xff0c;提供静态数据保护。适合于对于文件…

征战云时代,为什么安全是关键命题?

从左到右&#xff1a;李亮&#xff08;主持人&#xff09;、张美波、蒋涛、韦青扫描上方二维码直达精彩回顾整理 | 伍杏玲出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;全球数字化转型浪潮不断推进下&#xff0c;企业上云步伐加快&#xff0c;在这个过程中不少企…

Vue Bootstrap 静态服务器 实现文件追加上传、断点续传、极速秒传

公司实现文件上传技术选型采用后端SpringBoot/Cloud&#xff0c;前端vue Bootstrap &#xff0c;阿里云OSS作为文件存储&#xff0c;大文件上传功能单独抽取封装大文件上传组件&#xff0c;可供所有的大文件的操作。 后端框架版本SpringBoot2.5.6Spring-Cloud2020.0.4mysql8.0.…

如何调用API管理您的云上资源

欢迎您选择云服务器&#xff08;Elastic Compute Service&#xff0c;ECS&#xff09;&#xff0c;如果您熟悉网络服务协议和一种以上编程语言&#xff0c;推荐您调用API管理您的云上资源和开发自己的应用程序。 使用限制 根据您使用云服务器ECS的情况而变化&#xff0c;您能…

图片安全检测和数据跨境复制,规避违规风险

场景描述 本实践通过搭建WordPress博客系统&#xff0c;向用户展示如何将图片、附件等静态资源上传到阿里云OSS&#xff0c;并通过阿里云CDN进行加速&#xff0c;同时演示了基于函数计算托管函数完成OSS存储空间中数据的跨境复制&#xff0c;基于阿里云内容安全对OSS图片进行违…

Vue Bootstrap 静态服务器 实现文件上传

公司实现文件上传技术选型采用后端SpringBoot/Cloud&#xff0c;前端vue Bootstrap &#xff0c;静态服务器作为文件存储&#xff0c;文件上传功能单独抽取封装文件上传组件&#xff0c;可供所有的文件的操作。 后端框架版本SpringBoot2.5.6Spring-Cloud2020.0.4mysql8.0.26pag…

网络安全防护部署,升级支持IPv6

场景描述 关键信息基础设施支持IPv6已经上升到国家战略&#xff0c;公共云基础设施为云上客户系统支持IPv6提供了完整的解决方案及产品。本最佳实践是在现有WAF和高防IP作为网络安全架构基础上&#xff0c;如何升级支持IPv6&#xff0c;同时满足云上和线下IDC需求&#xff0c;…

500道Java 必备面试题答案(过后即删)

每个技术人都有个大厂梦&#xff0c;我觉得这很正常&#xff0c;并不是饭后的谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司/小公司&#xff0c;如果说能够在这样的公司锻炼几年&#xff0c;相信对自己…

简单七步,快速入门 JMeter原生压测

导入本地的 JMeter 原生脚本&#xff0c;即可快速发起一次压测。 前提条件 JMeter 脚本需要在本地调试成功。请同时上传依赖的 CSV 或者 JAR 文件。CSV 文件的 File Name 只需要文件名&#xff0c;不要带路径&#xff0c;因为上传之后和 JMX 脚本在同目录下。 限制条件 最大…

创建VPC前,网络规划的4个问题你弄清了吗?

在创建VPC和交换机前&#xff0c;您需要结合具体的业务规划VPC和交换机的数量及网段等。 应该使用几个VPC&#xff1f;应该使用几个交换机&#xff1f;应该选择什么网段&#xff1f;VPC与VPC互通或VPC与本地数据中心互通有什么要求&#xff1f; 应该使用几个VPC&#xff1f; …

移动云2020 H1营收44.57亿元,同比增长556.4%

近日&#xff0c;中国移动《2020年中期业绩报告》发布&#xff0c;中国移动盈利能力继续保持全球一流运营商的领先水平&#xff0c;中国移动H1营运收入3899亿元人民币&#xff0c;同比增长0.1%&#xff1b;净利润558亿元人民币&#xff0c;同比下降0.5%&#xff1b;其中&#x…