大数据-221 离线数仓 - 数仓 数据集市 建模方法 数仓分层 ODS DW ADS

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(已更完)
  • ClickHouse(已更完)
  • Kudu(已更完)
  • Druid(已更完)
  • Kylin(已更完)
  • Elasticsearch(已更完)
  • DataX(已更完)
  • Tez(已更完)
  • 数据挖掘(已更完)
  • Prometheus(已更完)
  • Grafana(已更完)
  • 离线数仓(正在更新…)

章节内容

上节我们完成了如下的内容:

  • 基本概念 数仓特征
  • 数据库进行对比

在这里插入图片描述

数据集市

数据仓库(DW)是一种反映主题的全局性数据组织,但全局性数据仓库往往太大,在实际应用中他们按部门或业务分别建立反映各个子主题的局部性数据组织,即数据集市(Data Mart),有时也称它为数据仓库。
数据集市:是按照主题域组织的数据集合,用于支持部门级的数据分析与决策。如在商品销售的数据仓库中可以建立多个不同主题的数据集市:

  • 商品采购数据集市
  • 商品库存数据集市
  • 商品销售数据集市

数据集市仅仅是数据仓库的某一部分,实施难度大大降低,并且能够满足企业内部部分业务部分的迫切需求,在初期获得了较大的成功。但随着数据集市的不断增多,这种架构的缺陷也逐步显现。企业内部独立建设的数据集市由于遵循不同的标准和建设原则,以至于多个数据集市的数据混乱和不一致,形成众多的数据孤岛。

业务发展到一定阶段,出现多个事业部门。每个事业部门都有各自的数据,事业部之间的数据往往都是各自存储的,各自定义的。每个事业部的数据就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动,这样的情况被称为数据孤岛,简单来说就是数据间缺乏关联性,彼此无法兼容。

建模方法

数据模型就是数据组织和存储方法,它强调业务、数据存取和使用角度合理存储数据。有了适合的基础数据存储环境的模型,能获得以下好处:

  • 性能:良好的数据模型能够帮助我们快速查询所需要的数据,减少数据的I/O吞吐
  • 成本:良好的数据模型能极大的减少不必要的数据冗余,也能实现计算结果复用,极大的降低数据系统中的存储和计算成本。
  • 效率:良好的数据模型能极大的改善使用使用数据的体验,提高使用数据的效率
  • 质量:良好的数据模型能够改善数据统计口径不一致性,减少数据计算错误的可能性。

大数据系统需要数据模型的方法来帮助更好的组织和存储数据,以便在性能、成本、效率和质量之间取得最佳的平衡。

ER模型

数据仓库之父Bill Inmon提出的建模方法是从全企业的高度设计一个3NF模型,用实体关系(Entity RelationShip,ER)模型描述企业业务,在范式理论上符合3NF。数据仓库中的3NF与OLTP系统中的3NF的区别在于,它是站在企业角度面向主题的抽象,而不是针对某个具体业务流程的实体对象的抽象。其具体有以下几个特点:

  • 需要全面的了解整个企业业务和数据
  • 实施周期非常的长
  • 对建模人员的能力要求非常高

采用ER模型建设数据仓库模型的出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策,其建模步骤分为三个阶段:

  • 高层模型:一个高度抽象的模型,描述主要的主题以及主题间的关系,用于描述企业的业务总体概况
  • 中层模型:在高层模型的基础上,细化主题的数据项
  • 物理模型(也叫底层模型):在中层模型的基础上,考虑物理存储,同时基于性能和平台特点进行物理属性的设计,也可能做一些表的合并、分区的设计等等

维度模型

维度模型是数据仓库领域的Palph Kimball 大师所倡导的,他的《数据仓库工具箱》是数据仓库工程领域最流行的数据仓库建模经典。
维度模型从分析决策的需求出发构建模型,为分析需求服务,重点关注用户如何更快的完成需求分析,同时具有较好的大规模复杂查询的响应性能。其典型的代表是星型模型,以及在一些特殊场景下的雪花模型。
其设计主要分为以下步骤:

  • 选择需要进行分析决策的业务过程,业务过程可以是:单个业务事件,比如交易的支付、退款的。某个事件的状态,比如当前的账户余额等。一系列相关业务事件组成的业务流程。
  • 选择数据的粒度,在事件分析中,我们要预判所有分析需要细分的程度,从而决定选择的粒度。
  • 识别维表,选择好粒度之后,就需要基于此粒度设计维度表,包括维度属性,用于分析时进行分组和筛选。
  • 选择事实,确定分析需要衡量的指标

现代企业业务变化快、人员流动频繁、业务知识功底不够全面,导致ER模型设计产出周期长。大多企业实施数据仓库的经验说明:在不太成熟、快速变化的业务面前,构建ER模型的风险非常大,不太适合去构建ER模型。而维度建模对技术要求不高,快速上手,敏捷迭代,快速交付,更快速完成分析需求,有较好的大规模复杂查询的响应性能。

数仓分层

数据仓库更多代表的是一种对数据的管理和使用的方式,它是一整套包括了数据建模、ETL(数据抽取、转换、加载)、作业调度等在内的完整的理论体系流程。数据仓库在构建过程中通常需要进行分层处理。业务不同,分层的技术处理手段也不同。
分层的主要原因是在管理数据的时候,能对数据有一个更加清晰的掌控。详细来讲,主要有下面几个原因:

  • 清晰的数据结构:每一个数据分层都有它的作用域,在使用表的时候能更方便的定位和理解。
  • 将复杂的问题简单化:将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的问题,比较简单和容易理解,而且便于维护数据的准确性,当数据出现问题之后,可以不用修复所有的数据,只需要从有问题的地方开始修复。
  • 减少重复开发:规范数据分层,开发一些通用的中间层数据,能够极大减少重复计算
  • 屏蔽原始数据的异常:屏蔽业务的影响,不必改一次业务就重新接入数据
  • 数据血缘的追踪:最终给业务呈现的是一个能直接使用业务表,但是它的来源很多,如果有一张来源表出问题了,借助血缘最终能够快速准确的定位到问题,并清楚它的危害范围。

数仓的常见分层一般为3层,分别为:

  • 数据操作层
  • 数据仓库层
  • 应用数据层(数据集市层)。

当然根据研究人员经验或者业务,可以分为更多不同的层,只要能达到流程清晰,方便查数即可。

在这里插入图片描述

ODS

ODS(Operation Data Store 数据准备区),数据仓库源头系统的数据表通常会原封不同的存储一份,这称为ODS层,也称为准备区。它们是后续数据仓库加工数据的来源。ODS层数据的主要来源包括:

  • 业务数据库,可用DataX、Sqoop等工具来抽取,每天定时抽取一次,在实时的应用中,可用Canal监听MySQL Binlog,实时接入变更的数据。
  • 埋点日志,线上系统会打入各种日志,这些日志一般以文件的形式保存,可以用Flume定时抽取
  • 其他数据源,从第三方购买的数据,或是网络爬虫的数据

DW

DW(Data WareHouse 数据仓库层),包含DWD、DWS、DIM层,由ODS层数据加工而成,主要完成数据加工与整合,建立一致性的维度,构建可复用的面向分析和统计的明细事实表,以及汇总公共粒度的指标。

  • DWD(Data WareHouse Detail 细节数据层),是业务与数据仓库的隔离层,以业务过程为建模驱动,基于每个具体的业务过程特点,构建细粒度的明细层事实表。可以结合企业的数据使用特点,将明细事实表的某些重要维度属性字段做适当地冗余,也即宽表化处理。
  • DWS(Data WareHouse Service 服务数据层),基于DWD的基础数据,整合汇总成分析某个主题域的服务数据。以分析的主题为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表。
  • 公共维度层(DIM):基于维度建模理念思想,建立一致性维度
  • TMP层:临时层,存放计算过程中临时产生的数据

ADS

ADS(Application Data Store)应用数据层,基于DW数据,整合汇总成主题域的服务数据,用于提供后续的业务查询等。

简单总结

数据仓库层次的划分不是固定不变的,可以根据实际需求进行适当裁剪或者是添加,如果业务相对简单和独立,可以将DWD、DWS进行合并。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/885953.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

odoo-040 odoo17前端的js方法调用后端py方法action报错

文章目录 问题描述梳理写法xml写法前端方法后端action的写法 错误解释 问题描述 在前端的kanban视图上添加了几个自定义按钮,按钮点击可以跳转到对应的tree视图,在写按钮调用方法的时候报错如下: 前端调用后端action报错: actio…

网络百问百答(一)

什么是链接? 链接是指两个设备之间的连接,它包括用于一个设备能够与另一个设备通信的电缆类型和协议。OSI参考模型的层次是什么? 有7个OSI层:物理层,数据链路层,网络层,传输层,会话层…

Vector Optimization – Stride

文章目录 Vector优化 – stride跳跃Vector优化 – stride跳跃 This distance between memory locations that separates the elements to be gathered into a single register is called the stride. A stride of one unit is called a unit-stride. This is equivalent to se…

Leetcode 每日一题 28.找出字符串中第一个匹配的下标

问题描述 给定两个字符串 haystack 和 needle,我们需要在 haystack 中找出 needle 字符串的第一个匹配项的下标。如果 needle 不是 haystack 的一部分,则返回 -1。 暴力搜索算法 暴力搜索算法是一种简单直观的字符串匹配方法。它的基本思想是&#xf…

aws中AcmClient.describeCertificate返回值中没有ResourceRecord

我有一个需求,就是让用户自己把自己的域名绑定我们的提供的AWS服务器。 AWS需要验证证书 上一篇文章中我用php的AcmClient中的requestCertificate方法申请到了证书。 $acmClient new AcmClient([region > us-east-1,version > 2015-12-08,credentials>[/…

C++20 概念与约束(2)—— 初识概念与约束

《C20 概念与约束(1)—— SFINAE》 ●《C20 概念与约束(2)—— 初识概念与约束》 《C20 概念与约束(3)—— 约束的进阶用法》 1、概念 C20 中引入新的编译期关键字 concept 用于创建概念。个人认为将其…

拦截器实现http请求访问本地图片

本文来记录下拦截器实现http请求访问本地图片 文章目录 概述代码实现本文小结 概述 如下图,本机(服务器)存储的图片想要在浏览器上通过Url地址访问: 浏览器直接访问 代码实现 烂机器实现文件真实地址和物理地址之间的映射 Slf4j Configuration public cl…

Python技巧:查询模块的版本号的方法

1,pycharm里面的 Python interpreter 或者 Python package 2,通过 __version_info__ import matplotlib print(matplotlib.__version_info__) 3,查看目录里面的 _version.py 文件

C语言串讲-3之函数和数组

1.函数名是一个指针,保存函数地址入口。函数名是函数的入口地址。函数的入口地址称为函数指针。 2.传参--本质是创建副本 (1)实参与形参 (2)值传递,指针传递,引用传递 …

【Java多线程】单例模式(饿汉模式和懒汉模式)

目录 单例模式的定义: 饿汉式--单例模式 定义: 案例: 优缺点: 懒汉式--单例模式: 定义: 1)懒汉式单例模式(非线程安全) 2)线程安全的懒汉式单例模…

计算机网络——HTTP篇

基础篇 IOS七层网络模型 TCP/IP四层模型? 应⽤层:位于传输层之上,主要提供两个终端设备上的应⽤程序之间的通信,它定义了信息交换的格式,消息会交给下⼀层传输层来传输。 传输层的主要任务就是负责向两台设备进程之间…

Unity插件NodeCanvas之行为树的详细教程

文章目录 前言叶节点 Leafs1、行为 Action2、判断 Condition控制组件 Composites1、顺序执行器 Sequencer2、选择执行器 Selector3、概率选择执行器 Probability Selector4、权重选择执行器 Priority Selector5、平行执行器 Parallel6、轮流选择器 Flip Selector7、完整执行器 …

XPath:网络爬虫中的数据提取利器

1. XPath简介 XPath (XML Path Language) 是一种在XML和HTML文档中查找信息的语言。在网络爬虫中,XPath是一个非常强大的工具,可以帮助我们精确定位和提取需要的数据。 1.1 为什么选择XPath? 语法简单直观可以精确定位元素支持复杂的查询条…

Qt 使用QTreeView显示并动态的增删改查JSON文件数据

文章目录 效果图概述部分代码总结 效果图 概述 本案例在此开源项目QJsonModel的基础上实现,动态的生成并操作JSON数据,QJsonModel是一个基于QAbstractItemModel的JSON数据模型,它提供了一种简单的方式来将JSON数据可视化,功能简单…

计算机专业可以报考公务员吗?都有哪些职位?

C哥专业提供——计软考研院校选择分析专业课备考指南规划 计算机专业是历年来考公的热门专业,岗位较多,且研究生进入体制内直接是副科级待遇,铁饭碗还是很香的! 25国考计算机专业可以选择的岗位 招聘人数:学硕>专硕…

视频智能分析平台LiteAIServer算法定制未戴安全帽检测技术:智能安防领域的新篇章

在当今这个科技日新月异的时代,人工智能(AI)和计算机视觉技术的飞速发展正在以前所未有的速度改变我们的生活、工作乃至整个社会的面貌。在建筑行业中,安全问题一直是重中之重,而工人未戴安全帽的问题更是工地安全管理…

C++ 优先算法 —— 四数之和(双指针)

目录 题目:四数之和 1. 题目解析 2. 算法原理 Ⅰ. 暴力枚举 Ⅱ. 双指针算法 不漏的处理: 去重处理: 3. 代码实现 Ⅰ. 暴力枚举 Ⅱ. 双指针算法 题目:四数之和 1. 题目解析 题目截图: 这道题与三数之和&am…

思考:linux Vi Vim 编辑器的简明原理,与快速用法之《 7 字真言 》@ “鱼爱返 说 温泉啊“ (**)

Linux vi/vim | 菜鸟教程 https://zhuanlan.zhihu.com/p/602675406 Linux Vim编辑器的基本使用_vim文本编辑器-CSDN博客 这里提出使用 vi / vim 进行简单的编辑操作的原因,主要是在容器镜像中,普遍都是使用这个。 在 linux 服务器应用场景&#x…

使用CSS和JavaScript实现动画效果

使用CSS和JavaScript实现动画效果是Web开发中常见的需求。两者各有优势和适用场景,下面将分别介绍使用CSS动画属性和JavaScript控制动画的不同方式。 一、使用CSS动画 CSS提供了一种简单且直观的方式来创建动画,主要通过以下两种方式: CSS…

C# 通俗易懂的介绍基础知识(七)——栈Stack(从日常生活开始讲解)

目录 一、前言 二、栈是排列方式 三、栈的单词 四、程序中的栈 五、栈的方法 1.声明并初始化栈 2.往栈里放东西(学名:入栈) 3.从栈往外拿东西 (学名:出栈) 4.清空栈 5.遍历 Stack 6.获取Stack的长…