数据仓库的—数据仓库的体系架构

数据仓库通常采用分层的体系架构设计,作为支撑企业决策分析需求的数据基础设施。典型的数据仓库体系架构由以下三个核心层次组成:

源数据层(Source Layer)

这是数据仓库的数据来源,包括组织内部的各种运营系统,如ERP、CRM、SCM等,以及外部数据源如互联网、社交媒体等。这些系统通常是面向不同应用构建的在线事务处理(OLTP)数据库。源数据层为数据仓库提供了初始的、未经处理的原始数据。

数据集成层(Integration Layer)

这是数据仓库架构的核心环节,也称为ETL(提取-转换-加载)层。它负责从各个源数据系统抽取所需数据,并通过复杂的转换、清理、校验等ETL过程,将这些数据加载到集中的数据存储区(数据仓库或数据集市)中。

数据集成层一般由独立服务器和专门的ETL工具软件来完成。此外,该层还包括元数据存储库,用于管理和维护整个ETL过程的元数据。

数据应用层(Access Layer)

这是数据仓库与最终用户及应用程序交互的层次。它允许用户查询、分析和可视化存储在数据仓库中的数据,为各类商业智能应用提供支持。

数据应用层通常包括以下几个主要组成部分:

  • OLAP(在线分析处理)服务器:支持多维度数据分析和挖掘
  • 数据挖掘工具:用于预测分析、关联规则挖掘等高级分析
  • 查询和报表工具:为分析人员生成各类报表和查询
  • 数据可视化工具:通过图表、仪表板等直观展现数据
  • API 接口:通过API 接口可以对外提供服务

数据仓库的分层

数据仓库的分层是一种将数据仓库中的数据按照不同的粒度和主题进行组织和管理的方法。它可以将数据仓库中的数据划分为不同的层次,每一层都具有特定的功能和特点。

数据仓库分层的目的主要有以下几个:

  • 提高数据仓库的性能和可扩展性。
  • 提高数据仓库的可用性和易用性。
  • 提高数据仓库的安全性。

数据仓库分层的常见方法是将其划分为三层:

  • 操作数据存储层(ODS)
  • 数据仓库层(DW)
  • 数据应用层(ADS)

操作数据存储层(ODS)

ODS是数据仓库的第一个层次,它用于存储来自不同业务系统的原始数据。ODS中的数据通常是未经处理的,它可以用于数据仓库的初始化和更新。

ODS的主要特点如下:

  • 数据量大,更新频率高。
  • 数据格式多样,未经处理。
  • 主要用于数据仓库的初始化和更新。

数据仓库层(DW)

DW是数据仓库的核心层次,它用于存储经过处理和整合的数据。DW中的数据通常是面向主题的,它可以用于数据分析和挖掘。

DW的主要特点如下:

  • 数据量大,更新频率低。
  • 数据格式统一,经过处理。
  • 主要用于数据分析和挖掘。

在实际应用中,数据仓库的分层可以根据具体的业务需求进行调整。例如,可以将DW层细分为数据细节层(DWD)、数据中间层(DWM)和数据汇总层(DWS)。

数据明细层(DWD)

DWD是DW层的第一个层次,它用于存储经过清洗和转换的明细数据。DWD中的数据通常是面向主题的,它可以用于数据仓库的建模和分析。

DWD的主要特点如下:

  • 数据量大,更新频率高。
  • 数据格式统一,经过清洗和转换。
  • 主要用于数据仓库的建模和分析。
数据中间层(DWM)

DWM是DW层的第二个层次,它用于存储经过汇总和加工的中间数据。DWM中的数据通常是面向主题的,它可以用于数据仓库的应用和分析。

DWM的主要特点如下:

  • 数据量中等,更新频率中等。
  • 数据格式统一,经过汇总和加工。
  • 主要用于数据仓库的应用和分析。
数据汇总层(DWS)

DWS是DW层的第三个层次,它用于存储面向应用的数据。DWS中的数据通常是经过汇总和加工的,它可以用于数据展示和决策支持。

DWS的主要特点如下:

  • 数据量小,更新频率高。
  • 数据格式多样,面向应用。
  • 主要用于数据展示和决策支持。

数据应用层(ADS)

ADS是数据仓库的最高层次,它用于存储面向应用的数据。ADS中的数据通常是经过汇总和加工的,它可以用于数据展示和决策支持。

ADS的主要特点如下:

  • 数据量小,更新频率高。
  • 数据格式多样,面向应用。
  • 主要用于数据展示和决策支持。

总结

数据仓库的分层可以带来以下几个好处:

  • 提高数据仓库的性能和可扩展性。
  • 提高数据仓库的可用性和易用性。
  • 提高数据仓库的安全性。
    分层也带来了一定的缺点
  • 增加数据仓库的复杂性。
  • 增加数据仓库的成本。
    数据仓库架构是数据仓库建设的关键环节。合理的数据仓库架构可以提高数据仓库的性能、可扩展性、可用性、易用性和安全性。
    具体来说,数据仓库的分层可以提高数据仓库的性能和可扩展性,因为它可以将数据仓库中的数据按照不同的粒度和主题进行组织和管理,从而使数据用户更容易找到和使用所需的数据。从而减少数据访问和处理的时间和资源消耗。

数据仓库的分层可以提高数据仓库的安全性,因为它可以将数据仓库中的数据按照不同的敏感级别进行组织和管理,从而使敏感数据得到更好的保护

通过分层的体系架构设计,数据仓库实现了数据的抽取、集成、存储、分析等不同功能在层与层之间的有效隔离,使整个系统具有灵活性和可伸缩性。每个层级都可以单独优化和扩展,从而提高整体的性能表现和可维护性。

这种成熟的、经过实践验证的分层体系架构,使数据仓库能够高效地集成企业海量数据资产,并为管理层的分析决策提供有力支持,是实现商业智能不可或缺的数据基础设施。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/811873.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023年全国职业技能大赛“信息安全与评估”国赛模拟题-windows应急响应+题目+WP

🍬 博主介绍👨‍🎓 博主介绍:大家好,我是 hacker-routing ,很高兴认识大家~ ✨主攻领域:【渗透领域】【应急响应】 【Java】 【VulnHub靶场复现】【面试分析】 🎉点赞➕评论➕收藏 == 养成习惯(一键三连)😋 🎉欢迎关注💗一起学习👍一起讨论⭐️一起进步�…

React + three.js 实现人脸动捕与3D模型表情同步

系列文章目录 React 使用 three.js 加载 gltf 3D模型 | three.js 入门React three.js 3D模型骨骼绑定React three.js 3D模型面部表情控制React three.js 实现人脸动捕与3D模型表情同步 示例项目(github):https://github.com/couchette/simple-react-three-facia…

BI数据分析软件:行业趋势与功能特点剖析

随着数据量的爆炸性增长,企业对于数据的需求也日益迫切。BI数据分析软件作为帮助企业实现数据驱动决策的关键工具,在当前的商业环境中扮演着不可或缺的角色。本文将从行业趋势、功能特点以及适用场景等方面,深入剖析BI数据分析软件&#xff0…

LeetCode:1两数之和 C语言

1. 两数之和 给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target 的那 两个 整数,并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是,数组中同一个元素在答案里不能重复出现。 你可以…

IP证书申请流程

目录 域名与IP的关系 SSL证书绑定域名还是绑定IP? IP证书支持免费申请吗? 如何申请IP地址证书 IP类型的SSL证书,又称之为IP SSL,这种SSL证书是专门用于公网IP地址验证的一种数字证书。 主要功能就是解决IP地址明文传输的安全…

毅四捕Go设计模式笔记——代理模式

代理模式(Proxy Pattern) 为了解决什么问题? 代理模式用于在不直接访问实际对象的情况下,通过引入一个代理对象来控制和管理对该对象的访问。主要解决的问题是对原始对象的访问控制,以及在不改变原始对象接口的情况下…

IvorySQL 3.2原理解析|与Oracle 12c XML函数兼容性的实现机制

[发行日期:2024年4月11日] IvorySQL 3.2基于PostgreSQL 16.2,引入了多种Oracle XML函数的全面兼容性功能,同时修复了多个问题,更多信息请参考文档网站。 >>>新版本体验链接: https://docs.ivorysql.org/cn…

bilibili PC客户端架构设计——基于Electron

众所周知,bilibili是个学习的网站,网页端和粉版移动端都非常的好用,不过,相对其它平台来说bilibili的PC客户端也算是大器晚成了。在有些场景PC客户端的优势也是显而易见的,比如,跓留电脑桌面的快捷、独立的…

加载 docker 镜像文件 centos7 系统 lnmp 环境 php8.2 php5.2 php7.4

# 加载镜像从tar文件 链接&#xff1a;https://pan.baidu.com/s/1s2yf7iroI-tBTK5b9zxxnA 提取码&#xff1a;6666 docker load < my_migration_image.tar # 运行新容器&#xff0c;可以使用相同的参数和命令 8233 电脑访问时对应的端口 80 docker 上的nginx 端口号 …

塔面板php7.37.4版本不支持ZipArchive手工安装扩展方法

centos 7 宝塔面板安装的PHP7.3和7.4默认已经不带zip扩展&#xff0c;要手工安装zip扩展首先需要安装libzip&#xff0c; yum -y install libzip 方法如下&#xff1a; 宝塔面板php7.3版本在SSH命令行界面执行以下语句&#xff1a; cd /www/server/php/73/src/ext/zip/ /ww…

C#在后台自动化截图指定网站并保存图片

先安装PuppeteerSharp的库 然后调用如下方法 private async Task ScreenShotAsync(string url){//using var browserFetcher new BrowserFetcher();//await browserFetcher.DownloadAsync();await using var browser await Puppeteer.LaunchAsync(new LaunchOptions { Headle…

gitlab 搭建

cat etc/initial_root_password Password: ipGg5y7GJPp/YmVHf3c3ViMKzCWYJSjU4JzUktrw8cY ###### 可修改&#xff0c;可不修改&#xff0c;并###并#并 #初始密码 #本次未修改 vim /data/gitlab/etc/gitlab.rb external_url http://ip/gitlab #访问网址及端口 #ssh远程地址 gi…

自动化运维(二十二)Ansible实战 之Jenkins模块

Ansible提供了一些模块,可以用来与Jenkins进行交互,执行各种操作,如创建任务、触发构建、获取构建结果等。通过使用这些模块,我们可以将Jenkins的配置和管理集成到Ansible的自动化流程中。 以下是一些常用的Ansible Jenkins模块: 1、jenkins_job模块 jenkins_job模块用于创建…

python django mvc

MVC框架: 1、URL映射到方法 [rootzz mysite]# cat urls.py """mysite URL Configuration The urlpatterns list routes URLs to views. For more information please see: https://docs.djangoproject.com/en/1.11/topics/http/urls/ Examples: Function …

时钟周期检测标志信号

在某些情况下需要对系统时钟分频后的时钟进行周期检测&#xff0c;引出周期标志信号以便在后续其他情况的使用。虽然在大多数情况下我们能够知道分频后的时钟是系统时钟的几倍分频&#xff0c;但为增强在分频时钟改变情况下周期标志信号的复用性或对未知时钟的周期检测&#xf…

FFmpeg: 简易ijkplayer播放器实现--06封装打开和关闭stream

文章目录 流程图stream openstream close 流程图 stream open 初始化SDL以允许⾳频输出&#xff1b;初始化帧Frame队列初始化包Packet队列初始化时钟Clock初始化音量创建解复用读取线程read_thread创建视频刷新线程video_refresh_thread int FFPlayer::stream_open(const cha…

如何解决Uniapp更新数据不重新渲染组件

办法就是在修改数据的函数里面&#xff0c;用let thatthis&#xff0c;再给that用赋值。 原因是给数据赋值的函数没用箭头函数&#xff0c;this是函数自己的this。比如success&#xff08;res&#xff09;{} 或者用箭头函数&#xff0c;比如success&#xff08;res&#xff0…

async/await的执行

1.在function中使用了await&#xff0c;则function必须被async修饰 2.在async方法中&#xff0c;第一个await之前的代码会同步执行&#xff0c;await 之后的代码会异步执行 const fs require(fs); console.log(A); async function getFn() {console.log(B);const res await…

在Ubuntu服务器上快速安装一个redis并提供远程服务

一、快速安装一个Redis 第一步&#xff1a;更新apt源 sudo apt update第二步&#xff1a;下载Redis sudo apt install redis第三步&#xff1a;查看Redis是否已自启动 systemctl status redis二、配置Redis提供远程服务 第一步&#xff1a;先确保6379端口正常开放 如果是…

STM32F427+RTthread——USB虚拟串口

书接上回说到&#xff0c;RT-Thread完整版移植完毕&#xff0c;接下来做USB虚拟串口的功能 打开MX工程文件&#xff0c;配置USB CDC 先在ENV上选好USB CDC选项 在CubeMX_Config文件夹下就有生成的usb相关文件&#xff0c;添加到Project工程里 然后引入驱动drv_usbd.c&#xff…