数仓—数据架构
为了在企业决策中使用数据,数据必须经过整个数据平台的各个阶段。整个过程是什么样子的,从开始到结束?原始形式的数据是如何转化为可导致商业决策的见解的?这些问题可以通过数据架构来回答。
数据架构是指记录组织所有数据资产的模型、规则和标准。它映射了这些资产和整个企业系统之间的数据流。这些数据资产包括数据模型、数据库、文档、图片和电子表格,其中包含与组织价值链相关的数据,或者包含战略或运营价值。
数据架构概述
一个成功的数据架构系统确保数据得到正确维护,并支持公司的业务需求。为了实现这一目标,我们需要了解数据架构的组件是如何协同工作的,并实现某些原则或标准以确保成功
在本文中,我们将重点讨论现代数据架构。让我们看看它的基本模式:
你可能熟悉的数据库、应用程序和工具构成了大型数据架构系统的不同组件。每个组件的目的是什么?它们如何相互作用?让我们把它一块一块地分解。
数据架构组件
数据架构模式的主要组件包括:
- 收集和存储数据的数据源
- 通过数据管道将数据传输到的数据仓库平台
- 使用数据的BI工具
数据源
数据源是公司存储数据的各种资源和形式。这些可以包括关系数据库、电子表格、平面文件、PDF和文档。这些数据可以从企业应用程序(例如CRM、ERP、LOB)、单独的数据库或为给定公司进行研究的第三方供应商处收集。
在将数据转换并传输到数据仓库