物流实时数仓——概述与准备工作

目录

一、架构设计与技术栈

(一)数仓架构设计

 (二)所用技术栈

(三)最终效果

二、关于离线与实时的相关概念

三、实时数仓设计思路


一、架构设计与技术栈

(一)数仓架构设计

 (二)所用技术栈

Hadoop 3.3.4

Zookeeper 3.7.1

Kafka 3.3.1

Hbase 2.4.11

Redis 6.0.8

Flink 1.17.0

Clickhouse

Spring

Sugar

(三)最终效果

二、关于离线与实时的相关概念

物流

        业务

离线

        批处理

        在处理数据前,数据是固定的

        处理数据量大

        处理时间长

        T + 1

实时

        流处理

        在处理数据前,数据是不确定的,在处理的过程中,数据源源不断地进来

        处理数据量小

        处理时间短

        T + 0

数仓

        采集、存储、分析

三、实时数仓设计思路

        业务数据保存在mysql中,通过flink-CDC采集到kafka主题中作为ODS层;在通过flink-CDC判断ODS层的数据哪些是维度表,哪些是事实表,维度数据DIM层写到Hbase中,事实数据DWD层写到新的kafka主题中;再将DIM层数据和DWD层数据进行关联,做一个轻度聚合形成DWS层,写到OLAP数据库中,即clickhouse中,形成宽表;指标统计与统计结果通过Springboot数据接口服务写到sugar进行可视化展示,也就是ADS层。

物流实时数仓架构设计图

物流离线数仓架构设计图

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/643214.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysqldump添加从库或者重新同步从库

一、GTID添加从库的方法 1.如果master所有的binlog还在,安装slave后,直接change master 到master 原理是直接获取master所有的gtid并执行 优点是简单 缺点是如果binlog太多,数据完全同步需要的时间较长,并且需要master一开始就启…

Leetcode2806. 取整购买后的账户余额

Every day a Leetcode 题目来源:2806. 取整购买后的账户余额 解法1:数学 题目要求为将 purchaseAmount 四舍五入到最近的 10 的倍数作为 roundedAmount,计算 100−roundedAmount 的值并返回。 分类讨论即可。 代码: /** lc…

机器学习实验3——支持向量机分类鸢尾花

文章目录 🧡🧡实验内容🧡🧡🧡🧡数据预处理🧡🧡代码认识数据相关性分析径向可视化各个特征之间的关系图 🧡🧡支持向量机SVM求解🧡🧡直觉…

CentOS:nohup后台运行jar文件包程序

1、java -jar XXX.jar 特点:当前ssh窗口被锁定,可按CTRL C打断程序运行,或直接关闭窗口,程序退出 那如何让窗口不锁定? 2、java -jar XXX.jar & &代表在后台运行。 特定:当前ssh窗口不被锁定&…

Parade Series - Android Studio

硬件支持 CPU i7 RAM 16Gb -------------- ------- Java 3Gb Android 33GbJava Enviroment C:\ ├─ Java │ ├─ jdk1.8.0_181 │ ├─ jre1.8.0_181 │ ├─ maven-3.8.5 │ └─ gradle-6.5 └─ Cache├─ gr…

世微AP2915宽电压无MOS管切换双色灯性价比方案

1:产品描述 AP2915 是一款可以一路灯串切换两路灯串的降压恒流驱动器,高效率、外围简单、内置功率管,适用于 5-100V 输入的高精度降压 LED 恒流驱动芯片。内置功率管输出功率可达 12W,电流 1.2A。AP2915 一路灯亮切换两路灯亮,其…

【第十五课】数据结构:堆 (“堆”的介绍+主要操作 / acwing-838堆排序 / c++代码 )

目录 关于堆的一些知识的回顾 数据结构:堆的特点 "down" 和 "up":维护堆的性质 down up 数据结构:堆的主要操作 acwing-838堆排序 代码如下 时间复杂度分析 确实是在写的过程中频繁回顾了很多关于树的知识&…

使用ElEment组件实现vue表单校验空值

1.绑定表单组件数组rules 2.在data域中设定组件rules 3.设定调用方法函数 提交校验 取消: 测试页面 提交空值 失去焦点 取消重置 提交后重置

Studio One 6 mac 6.5.2 激活版 数字音乐编曲创作

PreSonus Studio One是PreSonus出品的一款功能强大的音乐创作软件。主要为用户提供音乐创作、录音、编辑、制作等功能。它可以让你创造音乐,无限的轨道,无限的MIDI和乐器轨道,虚拟乐器和效果通道,这些都是强大和完美的。 软件下载…

机器学习西瓜书之对数几率回归

算法原理 在线性模型的基础上增加一个激活函数用于映射。 知识预备 信息论 用概率论和随机过程为基本研究工具,研究广义通信系统的整个过程。常见的有无损压缩、有数据压缩等。 自信息: I ( X ) − log ⁡ b p ( x ) I(X)-\log_bp(x) I(X)−logb​p…

【Maven】-- 打包添加时间戳的两种方法

一、需求 在执行 mvn clean package -Dmaven.test.skiptrue 后,生成的 jar 包带有自定义系统时间。 二、实现 方法一:使用自带属性(不推荐) 使用系统时间戳,但有一个问题,就是默认使用 UTC0 的时区。举例…

单片机11-13

目录 蜂鸣器 蜂鸣器播放按键提示音 蜂鸣器播放音乐 AT24C02(IIC)总线 AT24C02数据存储 AT24C02秒表(定时器扫描按键) DS18B20温度传感器(单总线) 温度显示 温度报警器 蜂鸣器 蜂鸣器播放按键提示音…

网络安全B模块(笔记详解)- 文件MD5校验

1.进入虚拟机操作系统:CentOS 6.8中的/root目录,找到test.txt文件,并使用md5sum工具来计算出该文件的md5值,并将计算该文件md5的命令的字符串作为Flag进行提交; 2.进入虚拟机操作系统:CentOS 6.8中的/root目录,找到test.txt文件,并使用md5sum校验工具来计算出该文件的…

一款相对比较强大的国产ARM单片机HC32F4A0

已经用了3年的HC32F4A0,已经对它比较熟悉了,与STM32相比它的外设使用这些的确是挺大大,不像GD32一类的单片机很多都能兼容STM32。用久了之后就更喜欢用HC32F4A0,功能强大,外设使用灵活,用点向FPGA靠拢的感觉…

安全认证机制之JWT

文章目录 前言一、JWT是什么二、为什么要用JWT三、JWT的组成四、JWT的应用场景总结 前言 在我们实际开发中会接触到很多安全认证机制,诸如HTTP Basic Auth、OAuth、Cookie-session Auth、Token Auth、JWT等等,今天我们就来聊一下基于JWT的Token认证机制。…

AI+量化03_股票数据获取

文章目录 思维导图问答之纯小白 vs GPT4 目标: 掌握量化金融知识、使用Python进行量化开发 背景:纯小白 参考资料:https://github.com/datawhalechina/whale-quant 本章是学习了股票数据的获取: 理论层面:包括股票数据的分类和常…

非诚勿扰宝马女起诉离婚事件:物质固然重要,但婚姻不是儿戏,需慎重对待...

媒体报道,近日,曾因《非诚勿扰》节目中一句“宁愿坐在宝马车里哭,也不坐在自行车上笑”而引发广泛争议的马某,如今再次成为舆论的焦点。 她所描述的闪婚后半年内遭受的家暴情况,不仅是对她个人生活的巨大冲击&#xff…

【AIGC】CLIP

CLIP的基本原理 对比学习: Clip使用对比学习来训练模型。对比学习的目标是通过将正样本(相似的图像和文本对)与负样本(不相似的图像和文本对)进行比较,从而使模型学会区分不同样本之间的差异。这有助于模型…

自然语言处理--基于HMM+维特比算法的词性标注

自然语言处理作业2--基于HMM维特比算法的词性标注 一、理论描述 词性标注是一种自然语言处理技术,用于识别文本中每个词的词性,例如名词、动词、形容词等; 词性标注也被称为语法标注或词类消疑,是语料库语言学中将语料库内单词…

【其他-闲谈】关于博客排行榜

今天在学习内核驱动,有个常量不知道什么意思,然后在一篇博客上找到了答案——GFP_KERNEL的作用 偶然注意到作者排行50,然后往下看了看,想知道为什么他排行这么靠前,看这文章数量,估摸着一天一篇&#xff0c…