数据仓库核心:事实表深度解析与设计指南

文章目录

    • 1. 引言
      • 1.1基本概念
      • 1.2 事实表定义
    • 2. 设计原则
      • 2.1 原则一:全面覆盖业务相关事实
      • 2.2 原则二:精选与业务过程紧密相关的事实
      • 2.3 原则三:拆分不可加事实为可加度量
      • 2.4 原则四:明确声明事实表的粒度
      • 2.5 原则五:避免同一事实表中存在不同粒度的事实
      • 2.6 原则六:统一事实的度量单位
      • 2.7 原则七:妥当处理事实的null值
      • 2.8 原则八:使用退化维度提升事实表的可用性
    • 3. 设计方法
      • 3.1 事实表设计流程
      • 3.2 设计案例:订单事实表
    • 4. 事务类型
      • 4.1 单、多事务事实表
      • 4.2 其他事实表
    • 5. 写在最后

1. 引言

1.1基本概念

事实表,顾名思义,是用来存储事实的表,这些事实通常是指可以量化的业务指标,如销售额、订单数量等。事实表的特点是有大量的行,每行代表一个业务事件的度量。

换句话说就是你要关注事物的内容,事实表就像故事中的主角,它包含我们感兴趣的主要信息(如销售金额、订购数量、利润以及它们发生的时间和地点等)。事实表中的每一行数据都代表了某种业务活动,就好比故事中的一个关键事件一样。

比如,一张记录了公司所有业务交易的清单。每一条记录都是一个事实,比如一次销售或一笔支出。

举个例子,假设我们有一个简单的销售事实表,它记录了每次销售的金额和日期:

CREATE TABLE Sales_Fact (SaleID INT PRIMARY KEY,ProductID INT,SaleAmount DECIMAL(10,2),SaleDate DATE
);

在这个例子中,SaleID 是每条销售记录的唯一标识,ProductID 与维度表相关联,SaleAmount 是销售金额,SaleDate 是销售日期。

其他详细内容可以看:数据仓库核心:揭秘事实表与维度表的角色与区别

1.2 事实表定义

事实表是数据仓库中的核心,它与维度表相对应,存储了业务过程中量化的数据,也就是我们通常所说的度量值(measures)。事实表通常包含以下主要部分:

  • 度量值:这些是事实表中的主要数据,可以进行数值计算,如销售额、订单数量、产品单价等。
  • 维度键:这些是指向维度表的外键,通过它们,事实表与维度表相连,从而为度量值提供上下文信息。
  • 上下文信息:提供额外的业务信息,如时间戳、事务ID等。

粒度”描述了事实表中每条记录所捕捉到的业务细节的深度。它可以通过两个维度来衡量:首先是维度属性的组合,它们决定了数据条目的详细程度;其次是数据条目所代表的具体业务含义。

如果我们选择“产品维度”的“SKU”作为粒度,那么我们的数据条目将非常详细,因为每个SKU都是独特的,能够反映单个商品的销售情况。例如,一个数据条目可能表示“在2024年6月10日,北京地区,某款智能手机的销售额为3000元”。

事实表中的数据,作为衡量业务流程的量度,通常以整数或小数形式出现,并分为三种可加性类型:

  • 可加性事实:这类数据允许我们在事实表的任何维度上进行汇总。例如,我们可以将不同时间或地区的销售数据进行求和,以得到总销售额。

一个销售数据的事实表,记录了每笔交易的销售额。如果我们要计算总销售额,我们可以将所有交易的销售额相加:
2024年1月1日,北京,销售额100元。
2024年1月1日,上海,销售额200元。
2024年1月2日,北京,销售额150元。

  • 半可加性事实:这类数据仅能在特定的维度上进行汇总。以库存为例,我们可以按地点或商品类别进行汇总,但如果尝试按时间维度累加每个月的库存量,这种汇总就失去了实际意义。

分析库存数据,库存数量可以按地点或商品类别进行汇总,但按时间维度累加就没有意义。例如:
2024年1月1日,北京,库存数量50件。
2024年1月1日,上海,库存数量30件。

我们可以计算北京和上海的总库存数量:80件。但如果我们尝试将1月份每天的库存数量累加,这就没有意义,因为库存数量是随时间变化的,每天的库存数量并不是独立的,而是相互关联的。

  • 不可加性事实:这类度量无法通过任何维度进行汇总,例如比率或百分比。然而,即使是不可加性事实,我们通常也可以通过将其分解为可加的组成部分,来实现某种形式的聚合分析。

记录了每个订单的利润率(销售额减去成本后的百分比),这个度量就是不可加的。例如:
订单1的利润率是20%。
订单2的利润率是15%。

我们不能简单地将这两个利润率相加得到一个总体的利润率。相反,如果我们想要得到平均利润率,我们需要先计算每个订单的实际利润,然后将这些利润相加,最后除以订单的总数。例如:
订单1的销售额是100元,成本是80元,利润是20元。
订单2的销售额是150元,成本是130元,利润是20元。
总利润是40元,订单总数是2,所以平均利润率是 40/(100+150)=16.67%

2. 设计原则

2.1 原则一:全面覆盖业务相关事实

事实表设计的核心目标是全面捕捉业务流程的每一个细节。在设计时,我们应该无一遗漏地纳入所有与业务过程紧密相关的量化事实,哪怕这可能导致数据的轻微冗余。由于事实数据通常以数字形式存储,其对存储空间的影响相对较小。

案例:在一家零售店,事实表不仅记录了每笔交易的销售额,还记录了交易时间、顾客ID和购买的商品种类。即使某些信息如交易时间在某些分析中不是必需的,它的包含仍然为更全面的业务分析提供了可能。

2.2 原则二:精选与业务过程紧密相关的事实

在挑选事实时,我们必须严格筛选,确保只包含那些直接与当前业务过程相关的事实。这有助于保持数据的清晰性和分析的准确性。

案例:在一个电商平台的订单处理过程中,事实表应记录订单号、商品详情和顾客信息,而支付金额则属于支付过程的事实,应从订单事实表中排除。

2.3 原则三:拆分不可加事实为可加度量

面对不可直接汇总的度量,我们应通过创造性地拆分,将其转化为可加的组成部分,从而扩展分析的可能性。

案例:网站的用户访问数据中,如果记录了每个页面的浏览次数和独立访客数,我们可以将“购买率”这一不可加事实拆分为“购买人数”和“浏览人数”,使得原本难以聚合的数据变得可以分析。

2.4 原则四:明确声明事实表的粒度

在设计事实表时,粒度的选择至关重要。我们应从最细的原子粒度开始设计,以满足当前和未来可能的用户需求。

案例:销售事实表可能以单个交易为粒度,记录每一次购买的详细信息。而在汇总销售数据时,我们可以按商品、时间或地区等维度进行聚合。

2.5 原则五:避免同一事实表中存在不同粒度的事实

在一张事实表中,应避免混合不同粒度的事实,以防止汇总时出现重复计算的问题。

案例:如果事实表同时记录了单个订单和包含多个子订单的大订单,那么在汇总支付金额时,大订单中的子订单金额可能会被重复计算。

小订单ID大订单ID小订单付款金额小订单购买数量大订单付款金额
L1001B11001300
L1002B12001300
L1003B21501200
L1004B2501200

2.6 原则六:统一事实的度量单位

在事实表中,所有度量单位应保持一致,无论是货币单位还是数量单位,这有助于简化分析过程并避免混淆。

案例:在财务事实表中,所有的金额数据都应该统一为“元”或“分”,确保在进行财务分析时的一致性和准确性。

2.7 原则七:妥当处理事实的null值

由于null值在某些查询中无法参与计算,我们应事先设定规则,将null值替换为零或其他适当的默认值。

案例:如果销售事实表中的“退货数量”字段出现null,我们可以将其默认填充为0,以避免在计算总销售数量时出现错误。

2.8 原则八:使用退化维度提升事实表的可用性

通过将常用维度属性直接嵌入到事实表中,我们可以减少对维度表的依赖,提高查询效率。

案例:在销售事实表中,如果将“商品名称”作为退化维度直接包含,那么在进行商品销售分析时,就无需额外关联商品维度表,从而加快查询速度并减少I/O操作。

3. 设计方法

3.1 事实表设计流程

在构建数据仓库的事实表之前,我们必须首先深入挖掘并明确业务的核心需求,以及确定事实表所扮演的角色。这一步骤要求我们对业务流程进行全面的需求分析,洞察整个业务生命周期的每一个关键步骤,并且精准筛选出与我们需求紧密相连的业务活动

接下来,我们必须精确地声明事实表的粒度,力求达到原子级别的细节,以便捕捉业务活动中最细微的变化。

在粒度确定之后,我们也随之锁定了事实表的主键。基于此,我们可以识别出与这些主键相关联的维度组合,以及它们所包含的维度字段。

我们还需要明确在这个业务过程中所度量的关键指标是什么,并确保将不可加的度量进行适当的拆分,以便于进行有效的数据聚合。

此外,为了优化查询性能和减少数据冗余,我们应该尽可能地将维度属性退化并直接嵌入到事实表中,这样不仅提升了数据的可用性,也简化了数据模型。

3.2 设计案例:订单事实表

案例背景
假设我们正在为一家电子商务公司设计一个订单事实表,该公司希望分析销售数据以优化库存管理和促销策略。

步骤1:确定业务需求和事实表的类型

  • 我们与业务团队合作,明确了需求:分析订单数据,包括销售额、订单量、顾客购买行为等。

步骤2:进行详细的需求分析

  • 我们分析了订单处理的整个生命周期,从顾客浏览商品到最终的订单交付。

步骤3:声明粒度

  • 我们选择了订单级别的原子粒度,确保每一条记录都对应一个具体的订单事件。

步骤4:确定维度

  • 基于订单粒度,我们确定了以下维度:顾客、时间、产品、促销活动等。

步骤5:确定事实

  • 我们确定了以下度量指标:订单总金额、订单中商品的总数量、退货数量等。对于不可加的度量,如退货率,我们进行了适当的转换以便聚合。

步骤6:冗余维度

  • 为了提高查询效率,我们将一些常用的维度属性,如顾客的地区信息,退化并直接包含在事实表中。
CREATE TABLE IF NOT EXISTS order_fact_table (order_id INT COMMENT '唯一标识每个订单的ID',customer_id INT COMMENT '下单顾客的ID',order_date DATE COMMENT '订单的日期',product_id INT COMMENT '订单中商品的ID',quantity INT COMMENT '订单中商品的数量',unit_price DECIMAL(10, 2) COMMENT '商品的单价,保留两位小数,确保金额的精确度',total_amount DECIMAL(15, 2) COMMENT '订单的总金额,保留两位小数,适用于大金额订单',return_quantity INT COMMENT '订单的退货数量,默认为0,表示没有退货',promotion_id INT COMMENT '订单参与的促销活动ID,如果有的话',customer_region STRING COMMENT '顾客所属的地区,使用字符串存储'
)
COMMENT '订单事实表,存储订单相关的详细数据'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

4. 事务类型

4.1 单、多事务事实表

单事务事实表结构简单,易于管理,适用于单一且独立的业务记录。多事务事实表则适用于复杂的业务场景,能够记录多个相关联的事务,但设计和理解上更为复杂。

特性单事务事实表多事务事实表
业务过程一个多个
粒度相互间不相关相同粒度
维度相互间不相关一致
事实只取当前业务过程中的事实保留多个业务过程中的事实,非当前业务过程中的事实需要置零处理
理解程度易于理解,不会混淆难以理解,需要通过标签来限定
计算存储成本较少,不同业务过程融合到一起,降低了存储计算量,但是非当前业务过程的度量存在大量零值较多,每个业务过程都需要计算,存储一次

4.2 其他事实表

事务事实表适用于记录具体事务的瞬间数据,周期快照事实表用于定期捕获数据状态,而累积快照事实表则追踪业务过程的完整历史,提供连续的数据视图。每种表根据其更新和加载机制,服务于不同的数据分析需求。

特性事务事实表周期快照事实表累积快照事实表
时期/时间点离散事务时间点以有规律的、可预测的时期间隔产生快照用于时间跨度不确定的不断变化的工作流
日期维度事务日期快照日期相关业务过程涉及的多个日期
粒度每行代表一个事务每行代表某时间周期的一个实体每行代表一个实体的生命周期
事实事务事实相关业务过程事实和时间间隔事实事务事实、累积事实
事实表加载插入插入插入与更新
事实表更新不更新不更新业务过程变更时更新

5. 写在最后

在本章,我们细致地构建了对事实表这一数据仓库核心元素的理解。事实表记录了企业的关键业务数据,每条记录都是业务活动的直接反映。

我们首先明确了事实表的基本功能,它集中存储了业务度量和事实,是数据分析的基础。然后,我们学习了如何根据业务需求设计事实表,挑选合适的度量,并确保通过维度键与维度表的连接,为数据分析提供必要的上下文。

我们讨论了事实表的粒度问题,这是决定我们分析细节深度的关键。我们还区分了单事务和多事务事实表,并探讨了它们在不同业务场景下的应用。

最后,我们掌握了一些高级设计原则,包括处理null值的策略、避免数据冗余的方法,以及通过退化维度来提高查询性能的技巧。这些原则有助于确保事实表的准确性和效率,支持有效的数据分析和决策制定。

随着本章的结束,希望你对事实表的设计和应用有了更清晰的认识,能够更有效地利用这一工具来挖掘数据的潜力,为企业带来价值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/25662.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据结构(4):串

只需要掌握小题,在考纲中占比不大 1 串的定义 1.1 基本定义 字符串 数据结构三要数:逻辑结构、存储结构、运算 子串必须是连续的! 空格也是一个字符!每个空格字符占1B 1.2 串和线性表 2 串的基本操作 比值的操作!&…

rocketmq做了哪些事情来提高性能

在中间件和消息队列的领域内,Apache RocketMQ是一个高性能、高吞吐量的分布式消息中间件,它被广泛应用于处理大规模消息服务的构建中。为了达到这样的性能标准,RocketMQ不仅在架构设计上进行了优化,还在代码层面进行了大量的重构和…

走的人多了,也便成了路(七)

好多年前就听到这样的说法:一流的企业做标准,二流的企业做品牌,三流的企业做产品。 在通信行业待久了,经历了移动通信技术标准的发展历程,体会到很多事情没有那么神秘,甚至由于一些偶然因素的出现&#xff…

AIGC之MetaHuman:HeyGen(基于AI驱动的视频生成平台+数字人)的简介、安装和使用方法、案例应用之详细攻略

AIGC之MetaHuman:HeyGen(基于AI驱动的视频生成平台数字人)的简介、安装和使用方法、案例应用之详细攻略 目录 HeyGen的简介 1、HeyGen是一款AI视频生成平台,它提供以下关键功能: HeyGen的安装和使用方法 1、使用方法 01创建或选择一个头…

Flutter金融理财类APP常用的第三方库总汇

Flutter金融理财类APP常用的第三方库总汇 金融理财类APP在现代社会中扮演着越来越重要的角色,为用户提供了便捷的金融服务和投资渠道。Flutter作为一个高效的跨平台移动应用开发框架,能够帮助开发者快速构建这类应用。本文将汇总Flutter金融理财类APP开…

Java中的动态代理机制及其应用

动态代理(Dynamic Proxy)是Java语言中一种强大的特性,允许在运行时动态地创建代理类。代理类可以拦截对目标对象的所有方法调用,并在调用前后执行一些额外的逻辑。动态代理在Java的许多框架中得到了广泛应用,比如Spring AOP(面向切面编程)、Hibernate、MyBatis等。本文将…

数据中心基础设施智能运维

数据中心基础设施智能运维 随着科技的飞速发展,数据中心作为信息社会的核心基础设施,扮演着越来越重要的角色。然而,传统的运维模式由于对人力资源的高度依赖,已无法满足现代数据中心对高效、安全和可持续运维的要求。华为的《数…

vue实现stompjs+websocket和后端通信(二)

vue项目的搭建在这里就不说了,网上有很多教程。大家自行百度。前端使用stompwebsocket有很多的实现版本。这里只讲stomp/stompjs方式实现。 导入 使用stomp/stompjs需要执行安装命令: import Stomp from stomp/stompjs; 然后在组件中引入即可&#xff…

探索国内大模型AIGC产品

​ 人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗…

2. keepalived结合LVS配合使用

keepalived结合LVS配合使用 1、后端nfs存储提供项目文件2、后端nfs上集中安装MySQL,共用数据库3、业务服务器通过LNMP正常部署wordpress博客,客户端通过DNS解析可正常访问4、所有业务服务器上修改arp参数、配置VIP5、配置keepalived实现LVS高可用5.1 kee…

web前端电影简介标签:深度解析与创意应用

web前端电影简介标签:深度解析与创意应用 在web前端开发中,电影简介标签的设计与实现是一项既具挑战性又充满创意的任务。这些标签不仅需要准确传达电影的核心信息,还要通过精美的设计和交互效果吸引用户的眼球。本文将从四个方面、五个方面…

Python私教张大鹏 Vue3整合AntDesignVue之Dropdown 下拉菜单

基本用法 核心代码&#xff1a; <template><a-dropdown><a class"ant-dropdown-link" click.prevent>Hover me<DownOutlined /></a><template #overlay><a-menu><a-menu-item><a href"javascript:;"…

软件心学格物致知篇(7)软件开发文档写什么

软件心学格物致知篇(7)软件开发文档写什么 前言 当今约束大家生产力的有哪些因素&#xff1f;是编程语言&#xff1f;开发框架&#xff1f;开发IDE&#xff1f;还是自身迫切需要更高水平的技能&#xff1f; 好像上面的每一项技术都在不断发展&#xff0c;也在不断的为我们生…

Spring Event如何优雅实现系统业务解耦

Spring Event如何优雅实现系统业务解耦 一、介绍 Spring事件&#xff08;Spring Event&#xff09;是Spring框架的一项功能&#xff0c;它允许不同组件之间通过发布-订阅机制进行解耦的通信。在Spring中&#xff0c;事件是表示应用程序中特定事件的对象&#xff0c;例如用户注…

java-HashMap 的底层原理

HashMap 是 Java 中最常用的映射数据结构&#xff0c;它存储键值对&#xff08;key-value pairs&#xff09;&#xff0c;并允许使用任何非空对象作为键或值。HashMap 的底层原理主要依赖于数组和链表&#xff08;或红黑树&#xff09;来实现键值对的存储和检索。 以下是 Hash…

嵌入式必会的几条ARM汇编指令

就这几条混个面熟就行 读内存指令&#xff1a;LDR&#xff0c;即Load之意写内存指令&#xff1a;STR&#xff0c;即Store之意加减指令&#xff1a;ADD、SUB跳转&#xff1a;BL&#xff0c;即Branch And Link入栈指令&#xff1a;PUSH出栈指令&#xff1a;POP 此处是学习韦老师…

在win11系统上安装启动Hyper-V

Hyper-V 是微软公司开发的一种虚拟化技术&#xff0c;它允许一台物理计算机运行多个操作系统和应用程序&#xff0c;从而提供更好的资源利用率和系统灵活性。 win系统的linux子系统开启、android studio的虚拟环境都需要这个东西&#xff0c;而在初始的win11系统上可能没有这个…

Nvidia/算能 +FPGA+AI大算力边缘计算盒子:电力巡检智能机器人

聚焦数字经济与双碳经济赛道&#xff0c;专注于提供集中式新能源场站与分布式综合能源数智化整体解决方案&#xff0c;坚持以场站数字化、综合能源数字化双轮驱动发展。依靠专业化人才队伍与丰富的实证基地研究经验&#xff0c;打造成熟、先进的数智新能源研发平台。 在集中式新…

【面经总结】Java基础 - 面向对象

面向对象 什么是面向对象 https://www.bilibili.com/video/BV1wZ4y1B7A7 以对象为核心。 类是对象创建的模板&#xff0c;对象是类的实例。 面向对象三大特性是什么 封装&#xff1a;类的创建者将类具体实现隐藏&#xff0c;使用者只需要使用外部接口即可继承&#xff1a;类…

常用sql

–page– jpa里面的&#xff0c;需要-1Pageable pageable PageRequest.of(pageNumber - 1, pageSize, Sort.by(“classId”).descending()); RepositoryImpl里面的pageable不需要-1 queryListForMySql(sql, pageable, BeanPropertyRowMapper.newInstance(DingStudentDto.class…