【数据仓库-后端，商务智能-前端】
基本算法：关联关系（牵手-谈恋爱），集群关系（杭州人爱吃酸甜口），决策树，线性回归，贝叶斯，神经网络，时间序列
用法：精准营销，客户价值分析，旅客生命周期价值分析，风险，聚类和集群，实施需求和匹配，社会地位参数，
忠诚度和客户粘度，时间序列。

11.1 引言

数据仓库（Data Warehouse，DW），商务智能（Business Inteligence，BI）

11.1.2 目标和原则【非常重要】

一个组织建设数据仓库的目标通常有：
1）支持商务智能活动。
2）赋能商业分析和高效决策。
3）基于数据洞察寻找创新方法。

数据仓库建设应遵循如下指导原则：
1）聚焦业务目标。
确保数据仓库用于组织最优先级的业务并解决业务问题。
2）以终为始。
让业务优先级和最终交付的数据范围驱动数据仓库内容的创建。
3）全局性的思考和设计，局部性的行动和建设。
让最终的愿景指导体系架构，通过集中项目快速迭代构建增量交
付，从而实现更直接的投资回报。
4）总结并持续优化，而不是一开始就这样做。
以原始数据为基础，通过汇总和聚合来满足需求并确保性能，但不
替换细节数据。
5）提升透明度和自助服务。
上下文（各种元数据）信息越丰富，数据消费者越能从数据中获得更多数据价值。向
利益相关方公开集成的数据及其流程信息。
6）与数据仓库一起建立元数据。
数据仓库成功的关键是能够准确解释数据。能回答一些基本问题，如“这个数字为
什么是 X”“这个怎么计算出来的”“这个数据哪里来的”。元数据的获取应该作为软件开发周期的一部分，元数据的管
理也应该作为数据仓库持续运营的一部分。
7）协同。
与其他数据活动协作，尤其是数据治理、数据质量和元数据管理活动。
8）不要千篇一律。
为每种数据消费者提供正确的工具和产品。

11.1.3 基本概念

1.商务智能商务智能两层含义。

第一层含义，商务智能指的是一种理解组织诉求和寻找机会的 数据分析活动 。数据分析的结果用来提高组织决策的成功率。当人们说数据是竞争优势的关键要素时，他们其实是在说商务智能的内在逻辑：如果一个组织向自己的数据“正确提问”，他就能获得关于产品、服务及客户方面的洞见，为实现自己的战略目标做出更好的决策。
第二层含义，商务智能指的是支持这类数据分析活动的 技术集合。决策支持工具、商务智能工具的不断进化，促成了数据查询、数据挖掘、统计分析、报表分析、场景建模、数据可视化及仪表板等一系列应用，它们被用于从预算到高级分析的方方面面。

2.数据仓库

数据仓库有两个重要组成部分：一个集成的决策支持数据库和与之相关的用于收集、清理、转换和存储来自各种操作和外部源数据的软件程序。

4.数据仓库建设的方法【一定会考】

大部分关于数据仓库构建的讨论，都受到两位有影响力的思想领袖 Bill Inmon 和 Ralph Kimball 的影响，他们各有不同的数据仓库建模和实施方法。Inmon 把数据仓库定义为“面向主题的、整合的、随时间变化的、相对稳定的支持管理决策的数据集合”，用规范化的关系模型来存储和管理数据。而 Kimball 则把数据仓库定义为“为查询和分析定制的交易数据的副本”，他的方法通常称作多维模型（参见第 5 章）。虽然 Inmon 和 Kimball 提倡的数据仓库建设方法不同，但他们遵循的核心理念相似：
1）数据仓库存储的数据来自其他系统。
2）存储行为包括以提升数据价值的方式整合数据。
3）数据仓库便于数据被访问和分析使用。
4）组织建设数据仓库，因为他们需要让授权的利益相关方访问到可靠的、集成的数据。
5）数据仓库数据建设有很多目的，涵盖工作流支持、运营管理和预测分析。

【OLTP 尽量少用索引】

【数仓侧重点是 BI，但也可以做 AI，数据湖侧重 AI】
【数仓是ETL，数据湖是ELT】
【数仓是结构化数据，数据湖即可结构化也可非结构化数据】
【进入数仓数据是知道业务场景的，进入数据湖的数据业务场景不明确】
【数仓对已经发生的事情的一个总结和展现，数据湖对未来的一个预测和数据的挖掘】

Q：数仓目标是 BI
A：错，数仓侧重点是 BI。
多维模型通常称为星型模型，由事实表（包含有关业务流程的定量数据，如销售数据）和维度表（存储与事实表数
据相关的描述性属性，为数据消费者解答关于事实表的问题，如这个季度产品 X 卖了多少）组成。
Q：数据集市是必须要的产品嘛？
A：错，数据集市是数仓的一小部分，
Q：主数据是必须要的嘛？
A：错，数据源、ETL、核心数据仓库是必须要的。

7.数据仓库架构组件

（1）源系统
（2）数据集成
（3）中央数据仓库

数据结构的设计元素包括：
①基于性能考虑而设计的业务主键和代理主键之间的关系。
②创建索引和外键以支持维度表。
③用于检测、维护和存储历史记录的变更数据捕获（Change Data Capture，CDC）技术。

8.加载处理的方式

数据仓库建设涉及两种主要的数据集成处理类型：历史数据加载和持续不断的数据更新。历史数据通常只需要加载一次，或者为了处理数据问题加载有限的几次，然后再也不会加载。“持续不断的数据更新”需要始终如一地规划和执行，以保证数据仓库中包含最新的数据。

Q：有几种方法识别增量？
A：4 种：时间戳增量加载、日志表增量加载、数据库交易日志、消息增量。
Q：处理数据量最大的方法
A：全量加载。

11.2活动

11.2.3 开发数据仓库和数据集市

通常来说，数据仓库/商务智能建设项目有三条并存的构建轨迹：
1）数据
2）技术
3）商务智能工具

11.3 工具

11.3.3 商务智能工具的类型

常见的 OLAP 操作包括切片和切块、向下钻取、向上钻取、向上卷积和透视。
1）切片（Slice）。切片是多维数组的子集，对应不在子集中的维度的一个或多个成员的单个值。
2）切块（Dice）。切块操作是数据立方体上两个以上维度的切片，或者是两个以上的连续切片。
3）向下/向上钻取（Drill down/up）。向下钻取或向上钻取是一种特定的分析技术，用户可以在不同数据级别之间导航，范围从最概括（向上）到最详细（向下）。
4）向上卷积（Roll-up）。卷积涉及计算一个或多个维度的所有数据关系。为此，需要先定义计算关系或公式。
5）透视（Pivot）。透视图会更改报表或页面的展示维度。

三种经典的 OLAP 实现方法如下：
1）关系型联机分析处理（ROLAP）。ROLAP 通过在关系数据库（RDBMS）的二维表中使用多维技术来支持 OLAP。
星型架构是 ROLAP 环境中常用的数据库设计技术。
2）多维矩阵型联机分析处理（MOLAP）。MOLAP 通过使用专门的多维数据库技术支持 OLAP。
3）混合型联机分析处理（HOLAP）。它是 ROLAP 和 MOLAP 的结合。HOLAP 实现允许部分数据以 MOLAP 形式存储，而另一部分数据存储在 ROLAP 中。控件的实现方式各不相同，设计师对分区的组合也各有不同。

11.4 方法

驱动需求的原型，自助式商务智能，可查询的审计数据。

11.6 数据仓库/商务智能治理

11.6.5 度量指标（3 个）

3 个度量指标：使用指标、主题域覆盖率、响应时间和性能指标。

1.使用指标

数据仓库中使用的度量指标通常包括注册用户数、连接用户数或并发用户数。这些度量指标表示组织内有多少人正在使用数据仓库。为每个工具授权多少个用户账户是一个很好的开始，特别是对于审计员而言。但是，实际有多少用户连接到该工具是一个更好的度量指标，并且每个时间段由用户社区申请的查询（或与查询相当）数量对于容量规划是更好的技术指标。允许多个分析指标，如审核用户、已生成的用户查询量和使用用户。

2.主题域覆盖率

主题域覆盖百分比衡量每个部门访问仓库的程度（从数据拓扑的角度来看），还强调哪些数据是跨部门共享的，哪些还不是但也可能是共享的。
将操作源映射到目标是另一种自然的扩展，它强制和验证已经收集的血缘关系和元数据，并可以提供渗透分析，确定哪些部门在使用哪些源系统分析。通过减少对大量使用的源对象的更改，有助于将工作调整集中在那些具有高影响力的分析查询上。

3.响应时间和性能指标

大多数查询工具会测量响应时间。通过工具检索响应或性能指标。此数据指标代表用户的数量和类型。