数据仓库缓慢变化维介绍

缓慢变化维（Slowly Changing Dimensions, SCD）是数据仓库设计中的一个重要概念，用于处理维度表中随时间缓慢变化的属性。维度表中的数据通常描述业务实体（如客户、产品、员工等），而这些实体的某些属性（如地址、名称、职位等）会随时间变化。根据处理这些变化的策略，缓慢变化维通常分为以下几种类型：

SCD 类型

SCD Type 0（固定维度）
- 描述：属性值一旦加载到维度表中，就不会发生变化。
- 用途：用于那些不应该被更新的数据，如历史记录或监管要求的数据。
- 优点：实现简单，不需要处理数据变化。
- 缺点：不能反映任何属性变化，使用场景有限。
SCD Type 1（覆盖更新）
- 描述：每当维度属性发生变化时，直接用新值覆盖旧值。
- 用途：适用于不需要保留历史记录的情况。
- 优点：实现简单，查询性能好。
- 缺点：无法追踪历史变化，旧数据会丢失。
- 示例：
  - 旧记录：客户ID: 123, 地址: "旧地址"
  - 新记录：客户ID: 123, 地址: "新地址"（覆盖旧地址）
SCD Type 2（增加版本）
- 描述：当维度属性发生变化时，为该维度创建一个新版本记录，同时保留历史记录。
- 用途：适用于需要追踪历史变化的情况。
- 优点：能够完整记录历史变化，适合分析数据随时间的变化趋势。
- 缺点：需要额外的存储空间，查询复杂度增加。
- 实现：
  - 添加新列：开始日期（Start Date）、结束日期（End Date）或增加一个版本号列。
- 示例：
  - 旧记录：客户ID: 123, 地址: "旧地址", 开始日期: 2020-01-01, 结束日期: 2021-01-01
  - 新记录：客户ID: 123, 地址: "新地址", 开始日期: 2021-01-01, 结束日期: NULL（当前版本）
SCD Type 3（增加字段）
- 描述：为属性的每次变化增加新的字段来存储旧值和当前值。
- 用途：适用于只需要追踪最近一次变化的情况。
- 优点：查询简单，能够反映最近一次变化。
- 缺点：只能保留有限的历史记录，不适合频繁变化的属性。
- 示例：
  - 记录：客户ID: 123, 当前地址: "新地址", 旧地址: "旧地址"
SCD Type 4（外部历史表）
- 描述：将历史变化存储在一个独立的历史表中，而维度表中只存储当前值。
- 用途：适用于需要完整历史记录，但不影响查询性能的情况。
- 优点：当前值查询性能好，历史记录完整。
- 缺点：需要维护额外的历史表，查询历史数据较复杂。
- 实现：
  - 两个表：主维度表（存储当前值），历史表（存储所有历史变化）。
- 示例：
  - 主维度表：客户ID: 123, 当前地址: "新地址"
  - 历史表：客户ID: 123, 地址: "旧地址", 有效日期: 2020-01-01 至 2021-01-01
SCD Type 6（混合类型）
- 描述：结合 Type 1、Type 2 和 Type 3 的特点，综合应用。
- 用途：适用于需要部分覆盖更新、部分历史追踪的情况。
- 优点：灵活性高，能够根据业务需求灵活选择处理策略。
- 缺点：实现复杂，维护成本高。
- 示例：
  - 记录：客户ID: 123, 当前地址: "新地址", 旧地址: "旧地址", 版本号: 2, 开始日期: 2021-01-01, 结束日期: NULL