数据仓库是什么

写在前面

刚接触大数据的新手小白可能会对数据仓库这个词比较陌生,本文将介绍数据仓库的主要特征及OLTP&OLAP的区别,帮助读者更好理解数据仓库。

一、什么是数据仓库

数据仓库,简称数仓,是一个对数据进行加工,集成,计算,并最终用于存储、分析、报告的数据系统。

数据仓库接收来自各个外部系统的数据,加工处理后,提供给各个外部应用使用。从数据流向上看,数据在业务系统产生,流转到数据仓库,进行处理后,流向各个数据使用方。

在这里插入图片描述

二、数据仓库的主要特征

数据仓库是面向主题的、集成的、稳定的,反映历史变化的数据集合,用以支持管理决策。

2.1 面向主题的

业务系统更加关注面向业务过程的事务处理(OLTP),并且不同业务系统之间可能是相互隔离的,与业务系统不同的是,数据仓库关注面向主题的数据分析,在数仓中,数据是按照不同的主题区分的。主题是一个相对抽象的概念,是在一个较高的层面对企业级数据综合,归类并加以分析的抽象体,它对应的是企业中某一具体分析领域中所涉及的分析对象。

在这里插入图片描述

2.2 集成的

各个业务系统之间可能是相互隔离的,数据彼此分散,独立,异构,当需要分析一个主题的数据而该主题数据又分散在不同的业务系统中时,对数据进行集成就很有必要了,集成是将各个业务系统的数据进行抽取、清洗、转换和汇总,这是数据仓库建设中最关键,最重要,最复杂的一个环节

2.3 稳定的

数据一旦进入数据仓库,它便稳定且不会改变,每次相同条件的查询结果都是一致的。在数据仓库中,对数据进行的操作主要是查询,目的是对数据进行分析,发现数据中的规律,像修改和删除这种操作是很少的,并且进入到数据仓库的数据一般会保留比较长的时间。

2.4 反映历史变化的

数据仓库包含各种粒度的历史数据,这些数据可能与日期、月份、季度或者年份等时间属性。

与业务系统只关系数据当前状态不同,数据仓库侧重点是分析,因此,它在关注数据当前状态的同时也会关注数据的历史状态。

数据仓库的数据随时间而变化主要体现在以下几个方面:
(1)数据仓库的数据时限一般要远远长于操作型数据的数据时限。
(2)操作型系统存储的是当前数据,而数据仓库中的数据是历史数据。
(3)数据仓库中的数据是按照时间顺序追加的,它们都带有时间属性。

三、OLTP与OLAP

在这里插入图片描述

OLTP

联机事务处理(On-Line Transaction Processing)

重点在事务处理,针对业务系统中的具体业务在数据库中的日常操作,一般是对少数记录进行查询,修改,更新。用户更关心的是操作的响应时间、数据安全、完整和支持并发等生产安全相关的问题。RDBMS是OLTP系统的典型应用,即是我们俗称的数据库,当然这里强调的是关系型数据库如MySQL。

OLAP

联机分析处理(On-Line Analytical Processing)

重点在于分析,这类主要是对数据进行集成,汇总,并通过复杂多维度的处理分析,以达到支持管理决策的目的。

现代OLAP系统一般以数据仓库作为基础,即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端分析工具读取,在多维度的分析中,发现数据中的规律。

总结

实际上OLTP和OLAP是两种处理数据的方式,他们各有优劣,各有侧重点。而OLAP作为数据仓库的主要应用,在企业管理决策中发挥着越来越重要的作用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/4293.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux的NVM安装

搬运 如何在 Linux 上安装和管理多个版本的 Node.js 想要在 Linux 计算机上安装多个版本的 Node.js?以下是您需要了解的有关 NVM 的信息。 如果您曾经因为没有安装兼容版本的 Node.js 而在运行项目时遇到问题,那么您并不孤单。幸运的是,这个…

YOLOv8 的安装、使用与训练

YOLOV8 YOLOv8简介 YOLOv8是YOLO系列的最新版本,它融合了先进的深度学习技术和目标检测领域的最新研究成果 与其前身相比,YOLOv8在速度和精度方面都有了显著的提升,使其成为一个理想的实时目标检测解决方案。该模型结合了卷积神经网络&…

快速了解 git 和 github 是什么,30 分钟速通版

安装 git 安装git和安装node、qq这种软件是一样的,到官网去下载安装就好了,记得选择正确的版本,mac和win需要下载的版本是不一样的。 git下载页面 配置 git 熟悉环境变量的小伙伴应该了解这一步的重要性,如果没有相关经验也不…

分段函数拟合-施加分段点连续约束条件|【Matlab源码+视频介绍】

专栏导读 作者简介:工学博士,高级工程师,专注于工业软件算法研究本文已收录于专栏:《复杂函数拟合案例分享》本专栏旨在提供 1.以案例的形式讲解各类复杂函数拟合的程序实现方法,并提供所有案例完整源码;2.…

解决eureka服务注册名报错

解决eureka服务注册名报错 解决eureka服务注册名报错简介正文使用RestTemplate.getForObject( url,Class)方法中,url直接使用服务注册名进行拼接后无法正常远程调用。如下 报错404,说明没访问到我的解决方法:换依赖版本原来的版本…

PotatoPie 4.0 实验教程(27) —— FPGA实现摄像头图像拉普拉斯边缘提取

拉普拉斯边缘提取有什么作用? 拉普拉斯边缘检测是一种常用的图像处理技术,用于检测图像中的边缘和边界。它的主要作用包括: 边缘检测:拉普拉斯算子可以帮助检测图像中的边缘,即图像中亮度快速变化的位置。这些边缘通常…

数据集笔记:处理北大POI 数据:保留北京POI

数据来源:Map POI (Point of Interest) data - Official data of the contest (pku.edu.cn) windows 下载方法:数据集笔记:windows系统下载北大开放数据研究平台的POI数据-CSDN博客 1 读取数据 1.1 列出所有的文件 dir1D:/data/PKU POI/2…

CentOS 9 (stream) 安装 nginx

1.我们直接使用安装命令 dnf install nginx 2.安装完成后启动nginx服务 # 启动 systemctl start nginx # 设置开机自启动 systemctl enable nginx# 重启 systemctl restart nginx# 查看状态 systemctl status nginx# 停止服务 systemctl stop nginx 3.查看版本确认安装成功…

springboot3整合redis

redis在我们的日常开发中是必不可少的&#xff0c;本次来介绍使用spring boot整合redis实现一些基本的操作&#xff1b; 1、新建一个spring boot项目&#xff0c;并导入相应的依赖&#xff1b; <dependency><groupId>org.springframework.boot</groupId><…

MySQL数据库安装——zip压缩包形式

安装压缩包zip形式的 MySQL 8数据库 一 、先进入官网下载 https://dev.mysql.com/downloads/mysql/ 二、解压到某个文件夹 我解压到了D:\mysql\mysql8 下面 然后在这个文件夹下手动创建 my.ini 文件和 data 文件夹 my.ini 内容如下&#xff1a; 注意 basedir 和 datadi…

[leetcode] B树是不是A树的子结构

给定两棵二叉树 tree1 和 tree2&#xff0c;判断 tree2 是否以 tree1 的某个节点为根的子树具有 相同的结构和节点值 。 注意&#xff0c;空树 不会是以 tree1 的某个节点为根的子树具有 相同的结构和节点值 。 示例 1&#xff1a; 输入&#xff1a;tree1 [1,7,5], tree2 [6,…

基于深度学习的车牌识别

如果你认为车牌只是车子的‘名字’&#xff0c;那么是时候让你见识一下&#xff0c;当科技赋予它‘超能力’时会发生什么&#xff1f; 上效果图&#xff1b; 这就是车牌识别的力量&#xff0c;下面是主函数代码&#xff1a; # -*- coding: UTF-8 -*- import argparse import …

服务器硬件:裸金属安装 VMware ESXi

写在前面 工作中遇到&#xff0c;简单整理博文内容涉及 裸金属安装VMware ESXi 基本步骤理解不足小伙伴帮忙指正 不必太纠结于当下&#xff0c;也不必太忧虑未来&#xff0c;当你经历过一些事情的时候&#xff0c;眼前的风景已经和从前不一样了。——村上春树 一、准备工作 确…

1. 房屋租赁管理系统(Java项目 springboot/vue)

1.此系统的受众 1.1 在校学习的学生&#xff0c;可用于日常学习使用或是毕业设计使用 1.2 毕业一到两年的开发人员&#xff0c;用于锻炼自己的独立功能模块设计能力&#xff0c;增强代码编写能力。 1.3 亦可以部署为商化项目使用。 2. 技术栈 jdk8springbootvue2mysq5.7&8…

基于SpringBoot + Vue实现的家政服务管理系统设计与实现+毕业论文+答辩PPT+指导搭建视频(包运行成功)

目录 项目介绍 论文展示 资源获取 项目介绍 家政服务管理平台是一个管理信息系统&#xff0c;为了宣传的需要&#xff0c;为了给用户提供方便快捷的服务&#xff0c;从而设计了家政服务管理平台。管理员可以通过这个系统把家政服务信息发布出去&#xff0c;可以方便用户快…

重庆市工程技术建设专业职称申报条件

重庆市工程技术建设专业职称申报条件链接重庆市人力资源和社会保障局 重庆市住房和城乡建设委员会关于印发重庆市工程技术建设专业职称申报条件的通知_重庆市人力资源和社会保障局类别基本条件业绩成果备注助理工程师具备硕士学位或第二学士学位&#xff1b;或具备大学本科学历…

Flink 实时数仓(二)【ODS 层开发】

前言 最近投了不少的实习&#xff0c;也收到不错的反馈&#xff0c;虽然是中小公司偏多&#xff0c;但是毕竟现在这个环境双非进大厂实习可不同当年了。可惜的是学院不放人&#xff0c;无奈啊&#xff0c;遍身罗绮者&#xff0c;不是养蚕人。我累死累活肝了两年了&#xff0c;好…

终端安全管理软件哪个好?

终端安全管理软件是保障企业信息安全的重要工具。 它们能够有效地防范恶意软件、黑客攻击和其他安全威胁&#xff0c;并提供多方面的终端设备安全保护措施。 终端安全软件的功能和保护机制各不相同&#xff0c;这就需要企业根据自身的需求和情况来进行评估和选择。 下面总结了…

spring的常用注解

目录 1.前言 2.web url映射 2.1RequestMapping 2.2PostMapping 2.3GetMapping 3.参数接受和接口响应 3.1RequestParam 3.2RequstBoby 3.3ResponseBoby 3.4RestController 4.bean的存储 4.1Controller 4.2Service 4.3Repository 4.4Compontent 4.5Configuration …

短视频生成背景文字工具(前端工具)

过年这两天有些无聊就刷刷抖音&#xff0c;刷着刷着自己也蠢蠢欲动&#xff0c;想发上几个&#xff0c;可是却找不到合适自己的模板。由于个人喜欢一些古诗文之类的&#xff0c;所以自己简单的编写了一个小工具&#xff0c;如下图&#xff1a; 当设置好了之后&#xff0c;将浏…