12(第十一章,数据仓库和商务智能)

目录

概述

目标和原则

基本概念

商务智能

数据仓库

数据仓库建设方法

数据仓库架构组件

加载处理方式

1、历史数据

2、批量变更数据捕获(CDC)

3、准实时和实时数据加载

活动

运营分析应用

方法

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型

雪花模型

数据聚合

数据域

度量指标


概述

本文的标题中,数据仓库(Data Warehouse,DW)是后端,商务智能则是前端。

目标和原则

数据仓库的建设应该遵循如下知道原则

基本概念

商务智能

商务智能这个术语有两层含义,第一层含义是商务智能指一种理解组织诉求和寻求机会的数据分析活动。第二层含义是商务智能指支持这类数据分析活动的技术集合。

数据仓库

数据仓库有两个重要组成部分,一个集成的决策支持数据库和与之相关的用于收集、清理、转换和存储来自各种操作和外部数据源数据的软件程序。

数据仓库建设方法

Inmon 把数据仓库定义为“面向主题的、整合的、随时间变化的、相对稳定的支持管理决策的数据集合”,用规范化的关系模型来存储和管理数据。而Kimball则把数据仓库定义为“为查询和分析定制的交易数据的副本”。

虽然 Inmon 和 Kimball 提的数据仓库建设方法不同,但他们遵循的核心理念相似:

  1. 数据仓库存储的数据来自其他系统。
  2. 存储行为包括以提升数据价值的方式整合数据。
  3. 数据仓库便于数据被访问和分析使用。
  4. 组织建设数据仓库,因为他们需要让授权的利益相关方访问到可靠的、集成的数据。
  5. 数据仓库数据建设有很多目的,涵盖工作流支持、运营管理和预测分析。

数据仓库架构组件

源系统,即数据源。

数据集成ETL。

数据存储区域。数据存储区域又包括多个不同用途的存储区域:暂存区、参考数据和主数据一致性维度、中央数据仓库、操作性数据存储(ODS)、数据集市、数据立方体(Cubes)。

加载处理方式

数据仓库涉及两种主要的数据集成处理类型:历史数据加载和持续不断的数据更新。历史数据通常只需要加载一次,或者为了处理数据问题加载有限的几次,然后再也不会加载。

1、历史数据

2、批量变更数据捕获(CDC)

3、准实时和实时数据加载

活动

运营分析应用

三种经典的OLAP实现方法:

  1. 关系型联机分析处理(ROLAP)。ROLAP 通过在关系数据库 (RDBMS) 的二维表中使用多维技术来支持 OLAP。星型架构是 ROLAP 环境中常用的数据库设计技术。
  2. 多维矩阵型联机分析处理(MOLAP)。MOLAP 通过使用专门的多维数据库技术支持 OLAP
  3. 混合型联机分析处理 (HOLAP)。它是 RLAP 和 MOLAP 的结合。HOLAP 实现允许部分数据以MOLAP 形式存储,而另一部分数据存储在 ROLAP 中。控件的实现方式各不相同,设计师对分区的组合也各有不同。

方法

书上写的偏概念,可能重点比较少,这里我举一个简单的例子,以后有事件,单独搞一个相关的规范分享,项目上实际的构建过程。

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型

雪花模型

数据聚合

数据域

度量指标

  • 使用指标
  • 主题域覆盖率
  • 响应事件和性能指标

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/3421.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Nacos分布式配置中心和服务注册中心

分布式配置中心 Nacos Spring Cloud 快速开始 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation&qu…

第一届长城杯半决赛wp和AWD笔记

目录 AWD 渗透 cfs 单节点1 AWD笔记 AWD工具 文件比较工具 Web漏洞扫描工具 waf工具 代码审计工具 批量网站备份文件泄露扫描工具 cms通杀漏洞的利用 通杀脚本和批量提交flag脚本 防御流程 攻击流程 注意 AWD 解题思路] 首先就是fscan快速扫描对应C段&#xf…

【重学C语言】十、指针入门

【重学C语言】十、指针入门 地址和存储单元内存四区地址存储单元存储区首地址地址和存储单元的关系怎么获得地址指针定义指针初始化指针使用指针修改指针指向的值`类型 *` 的含义取地址符和解引用符取地址符(&)解引用符(*)

pipeline流水线语法

Pipeline 常用语法_pipline语法-CSDN博客 jenkins-pipeline语法详解 最新最全 &#xff08;声明式Pipeline和脚本式&#xff09;_pipeline脚本脚本式-CSDN博客

递归基础-汉诺塔(仅用于复习和交流)

观察上图发现&#xff0c;从N2开始图形都按一定的规律步骤进行位置移动&#xff0c;这个观点是否认同&#xff1f; 那再看N2时&#xff0c;为了方便大家理解&#xff0c;将两个板定义为板1&#xff08;小&#xff09;&#xff0c;板2&#xff08;大&#xff09;&#xff0c;最上…

leaftjs+turfjs+idw纯前端实现等值面绘图

最近有个绘制等值面图的需求。我们一般的实现路径是&#xff1a; 1.后台绘图&#xff0c;用surfer绘制好&#xff0c;给前端调用叠加到地图。 2.后台用python绘图&#xff0c;绘制好给前端调用&#xff0c;叠加到地图。 3.后台进行插值计算、地图裁剪、最终生成geojson文件或…

【Webgl_glslThreejs】搬运分享shader_飘落心形

来源网站 https://www.shadertoy.com/view/4sccWr效果预览 代码演示 将shadertory上的代码转成了threejs可以直接用的代码&#xff0c;引入文件的material&#xff0c;并在创建mesh或已有物体上使用material即可&#xff0c;使用时请注意uv对齐。 import { DoubleSide, Shad…

Facebook的魅力魔法:探访数字社交的奇妙世界

1. 社交媒体的演变与Facebook的角色 在数字化时代&#xff0c;社交媒体已经成为我们日常生活中不可或缺的一部分。而在众多的社交媒体平台中&#xff0c;Facebook 以其深厚的历史和广泛的影响力&#xff0c;成为了全球数亿用户沟通、分享和互动的主要场所。从其初创之时起&…

微软发布!提示工程进化为位置工程,有效提升RAG与上下文学习

别再光顾着优化提示工程啦&#xff01;微软最近推出位置工程研究思路&#xff0c;只需调整token的索引位置&#xff0c;而不修改文本本身&#xff0c;就能显著提高任务性能。 提示工程通过添加、替换或删除段落和句子改变提示&#xff0c;调整语义信息&#xff0c;激发LLMs的推…

javaWeb项目-校园志愿者管理系统功能介绍

项目关键技术 开发工具&#xff1a;IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7 框架&#xff1a;ssm、Springboot 前端&#xff1a;Vue、ElementUI 关键技术&#xff1a;springboot、SSM、vue、MYSQL、MAVEN 数据库工具&#xff1a;Navicat、SQLyog 1、SpringBoot框架 …

docker容器搭建chatglm2-6b

服务器环境&#xff1a; 显卡驱动&#xff1a;Driver Version: 530.30.02 CUDA版本&#xff1a;CUDA Version: 12.1 显卡&#xff1a;NVIDIA GeForce RTX 3090共4张 注意&#xff1a;最好把显卡驱动升级到530&#xff0c;CUDA版本之前使用11.7有问题。 docker-compose.yml…

运动学与动力学基础知识导读

系列文章目录 提示&#xff1a;这里可以添加系列文章的所有文章的目录&#xff0c;目录需要自己手动添加 TODO:写完再整理 文章目录 系列文章目录前言一、运动学基础--坐标转换&#xff08;1&#xff09;Eigen的使用及常用的位姿变换实现&#xff08;2&#xff09;小车底盘运动…

“生成元”问题——穷举生成“查找表”

【题目描述】 如果x加上x的各个数字之和得到y&#xff0c;就说x是y的生成元。给出n&#xff08;1≤n≤100000&#xff09;&#xff0c;求最小生成元。无解输出0。例如&#xff0c;n216&#xff0c;121&#xff0c;2005时的解分别为198&#xff0c;0&#xff0c;1979。 【题目…

【运维基础一】 Linux Centos 常用命令

CentOS&#xff08;Community ENTerprise Operating System&#xff09;是一个基于Red Hat Enterprise Linux源代码构建的开源企业级Linux发行版。在CentOS系统中&#xff0c;有很多常用的命令可以帮助用户进行系统管理、文件操作、网络配置等任务。以下是一些CentOS中常用的命…

Java程序员必须掌握的数据结构:HashMap

HashMap底层原理实现是每个Java Boy必须掌握的基本技能&#xff0c;HashMap也是业务开发每天都需要遇到的好伙伴。如此基础且核心的底层数据结构&#xff0c;JDK也给其赋予了线程安全的功能类&#xff0c;我们来看看~ 文章目录 1. HashMap内部结构1.1 键值的添加流程1.2 红黑树…

蚂蚁 2025届暑期实习 多模态LLM 面经

文章目录 写在前面一面/技术面 2024/4/7 晚上19:00-20:00二面/技术面 2024/4/23 早上11:15-12:15三面/HR面 2024/4/25 11:00-11:50 写在前面 学校情况&#xff1a;211本中9硕&#xff0c;本硕都是计算机科班&#xff0c;但研究方向并不是NLP&#xff0c;而是图表示学习论文情况…

垃圾分类子项目-识别垃圾类型

思路: 阿里云图像识别 语音模块实现 主程序: #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> // access() #include <error.h> // remove() #include "uartTool.h" #include "garbage.h&qu…

DFS和回溯专题:全排列 II

DFS和回溯专题&#xff1a;全排列 II 题目链接: 全排列 II 参考题解 代码随想录 题目描述 代码纯享版 class Solution {public List<List<Integer>> list_all new ArrayList();public List<Integer> list new ArrayList();public int[] res;public Lis…

【笔试训练】day11

1.游游的水果大礼包 思路&#xff1a; 枚举。假设最后的答案是x个a礼包&#xff0c;y个b礼包&#xff0c;得到一个式子&#xff1a;ansa*xb*y 我们可以枚举x的数量&#xff0c;这样就能变相的把y的求出来。呃这就是鸡兔同笼问题嘛 x最大的范围是多少呢&#xff1f;也就是a礼…

常见Linux操作系统SSH配置详解

SSH&#xff08;Secure Shell&#xff09;是一种网络协议&#xff0c;用于加密方式远程登录和操作计算机系统。Linux用户经常需要通过SSH来安全地管理系统。本文将详细介绍在不同Linux发行版&#xff08;CentOS、Ubuntu、RedHat、Debian、Fedora&#xff09;上配置SSH服务的步骤…