【大数据】Hudi 核心知识点详解(一)

Hudi 核心知识点详解(一)

  • 1.数据湖与数据仓库的区别 ?
    • 1.1 数据仓库
    • 1.2 数据湖
    • 1.3 两者的区别
  • 2.Hudi 基础功能
    • 2.1 Hudi 简介
    • 2.2 Hudi 功能
    • 2.3 Hudi 的特性
    • 2.4 Hudi 的架构
    • 2.5 湖仓一体架构
  • 3.Hudi 数据管理
    • 3.1 Hudi 表数据结构
      • 3.1.1 .hoodie 文件
      • 3.1.2 数据文件
    • 3.2 数据存储概述
    • 3.3 Metadata 元数据
    • 3.4 Index 索引
      • 索引策略
        • 工作负载 1:对事实表
        • 工作负载 2:对事件表
        • 工作负载 3:随机更新 / 删除维度表
    • 3.5 Data 数据

在 Flink 实时流中,经常会通过 Flink CDC 插件读取 Mysql 数据,然后写入 Hudi 中。所以在执行上述操作时,需要了解 Hudi 的基本概念以及操作原理,这样在近实时往 Hudi 中写数据时,遇到报错问题,才能及时处理。

接下来将从以下几方面全面阐述 Hudi 组件核心知识点。

  • 数据湖与数据仓库的区别 ?
  • Hudi 基础功能
  • Hudi 数据管理
  • Hudi 核心点解析

1.数据湖与数据仓库的区别 ?

1.1 数据仓库

  • 数据仓库(英语:Data Warehouse,简称:数仓、DW),是一个用于 存储分析报告 的数据系统。

  • 数据仓库的目的是构建面向分析的集成化数据环境,分析结果为企业提供 决策支持Decision Support)。

在这里插入图片描述

1.2 数据湖

  • 数据湖Data Lake)和数据库、数据仓库一样,都是数据存储的设计模式,现在企业的数据仓库都会通过分层的方式将数据存储在文件夹、文件中。

  • 数据湖是一个集中式数据存储库,用来存储大量的原始数据,使用平面架构来存储数据。

  • 定义:一个以原始格式(通常是对象块或文件)存储数据的系统或存储库,通常是所有企业数据的单一存储。

  • 数据湖可以包括来自关系数据库的结构化数据(行和列)、半结构化数据(CSV、日志、XML、JSON)、非结构化数据(电子邮件、文档、PDF)和二进制数据(图像、音频、视频)。

  • 数据湖中数据,用于报告、可视化、高级分析和机器学习等任务。

在这里插入图片描述

1.3 两者的区别

  • 数据仓库是一个优化的数据库,用于分析来自事务系统和业务线应用程序的关系数据。

  • 数据湖存储来自业务线应用程序的关系数据,以及来自移动应用程序、IoT 设备和社交媒体的非关系数据。

特性
数据仓库
数据湖
数据来自事务系统、运营数据库和业务线应用程序的关系数据来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的非关系和关系数据
Schema设计在数据仓库实施之前(写入型 Schema)写入在分析时(读取型 Schema)
性价比更快查询结果会带来较高存储成本更快查询结果只需较低存储成本
数据质量可作为重要事实依据的高度监管数据任何可以或无法进行监管的数据(例如原始数据)
用户业务分析师数据科学家、数据开发人员和业务分析师(使用监管数据)
分析批处理报告、BI和可视化机器学习、预测分析、数据发现和分析

数据湖并不能替代数据仓库,数据仓库在高效的报表和可视化分析中仍有优势。

2.Hudi 基础功能

2.1 Hudi 简介

Apache Hudi 由 Uber 开发并开源,该项目在 2016 年开始开发,并于 2017 年开源,2019 年 1 月进入 Apache 孵化器,且 2020 年 6 月称为 Apache 顶级项目,目前最新版本:0.10.1 版本。

Hudi 一开始支持 Spark 进行数据摄入(批量 Batch 和流式 Streaming),从 0.7.0 版本开始,逐渐与 Flink 整合,主要在于 Flink SQL 整合,还支持 Flink SQL CDC。

在这里插入图片描述

HudiHadoop Upserts anD Incrementals 的缩写),是目前市面上流行的三大开源数据湖方案之一。

用于管理分布式文件系统 DFS 上大型分析数据集存储。

简单来说,Hudi 是一种针对分析型业务的、扫描优化的数据存储抽象,它能够使 DFS 数据集在分钟级的时延内支持变更,也支持下游系统对这个数据集的增量处理。

2.2 Hudi 功能

  • ✅ Hudi 是在大数据存储上的一个数据集,可以将 Change Logs 通过 upsert 的方式合并进 Hudi。
  • ✅ Hudi 对上可以暴露成一个普通 Hive 或 Spark 表,通过 API 或命令行可以获取到增量修改的信息,继续供下游消费。
  • ✅ Hudi 保管修改历史,可以做时间旅行或回退。
  • ✅ Hudi 内部有主键到文件级的索引,默认是记录到文件的布隆过滤器。

在这里插入图片描述

2.3 Hudi 的特性

Apache Hudi 使得用户能在 Hadoop 兼容的存储之上存储大量数据,同时它还提供两种原语,不仅可以 批处理,还可以在数据湖上进行 流处理

1️⃣ Update / Delete 记录:Hudi 使用细粒度的文件 / 记录级别索引来支持 Update / Delete 记录,同时还提供写操作的事务保证。查询会处理最后一个提交的快照,并基于此输出结果。

2️⃣ 变更流:Hudi 对获取数据变更提供了一流的支持:可以从给定的 时间点 获取给定表中已 updated / inserted / deleted 的所有记录的增量流,并解锁新的查询姿势(类别)。

  • ✅ Apache Hudi 本身不存储数据,仅仅管理数据。
  • ✅ Apache Hudi 也不分析数据,需要使用计算分析引擎,查询和保存数据,比如 Spark 或 Flink。
  • ✅ 使用 Hudi 时,加载 jar 包,底层调用 API,所以需要依据使用大数据框架版本,编译 Hudi 源码,获取对应依赖 jar 包。

在这里插入图片描述

2.4 Hudi 的架构

在这里插入图片描述

  • ✅ 通过 DeltaStreammer、Flink、Spark 等工具,将数据摄取到数据湖存储,可使用 HDFS 作为数据湖的数据存储。
  • ✅ 基于 HDFS 可以构建 Hudi 的数据湖。
  • ✅ Hudi 提供统一的访问 Spark 数据源和 Flink 数据源。
  • ✅ 外部通过不同引擎,如:Spark、Flink、Presto、Hive、Impala、Aliyun DLA、AWS Redshit 访问接口。

图片

2.5 湖仓一体架构

Hudi 对于 Flink 友好支持以后,可以使用 Flink + Hudi 构建实时湖仓一体架构,数据的时效性可以到分钟级,能很好的满足业务准实时数仓的需求。

通过湖仓一体、流批一体,准实时场景下做到了:数据同源、同计算引擎、同存储、同计算口径。

在这里插入图片描述

3.Hudi 数据管理

3.1 Hudi 表数据结构

Hudi 表的数据文件,可以使用操作系统的文件系统存储,也可以使用 HDFS 这种分布式的文件系统存储。为了后续分析性能和数据的可靠性,一般使用 HDFS 进行存储。以 HDFS 存储来看,一个 Hudi 表的存储文件分为两类。

在这里插入图片描述

  • .hoodie 文件:由于 CRUD 的零散性,每一次的操作都会生成一个文件,这些小文件越来越多后,会严重影响 HDFS 的性能,Hudi 设计了一套文件合并机制。.hoodie 文件夹中存放了对应的 文件合并操作 相关的日志文件。
  • amricasasia 相关的路径是 实际的数据文件,按分区存储,分区的路径 key 是可以指定的。

3.1.1 .hoodie 文件

Hudi 把随着时间流逝,对表的一系列 CRUD 操作叫做 Timeline,Timeline 中某一次的操作,叫做 Instant

Hudi 的核心是维护 Timeline 在不同时间对表执行的所有操作,Instant 这有助于提供表的即时视图,同时还有效地支持按到达顺序检索数据。Hudi Instant 由以下组件组成:

  • Instant Action:记录本次操作是一次操作类型,数据提交COMMITS),还是 文件合并COMPACTION),或者是 文件清理CLEANS)。
  • Instant Time:本次操作发生的时间,通常是时间戳(例如:20190117010349),它按照动作开始时间的顺序单调递增。
  • State:操作的状态,发起REQUESTED),进行中INFLIGHT),还是 已完成COMPLETED)。

.hoodie 文件夹中存放对应操作的状态记录:

在这里插入图片描述

3.1.2 数据文件

Hudi 真实的数据文件使用 Parquet 文件格式存储。

在这里插入图片描述

其中包含一个 metadata 元数据文件和数据文件 parquet 列式存储。

Hudi 为了实现数据的 CRUD,需要能够唯一标识一条记录,Hudi 将把数据集中的 唯一字段record key)+ 数据所在分区partition Path)联合起来当做 数据的唯一键

3.2 数据存储概述

Hudi 数据集的 组织目录结构 与 Hive 表示非常相似,一份数据集对应这一个根目录。数据集被 打散为多个分区,分区字段以文件夹形式存在,该文件夹包含该分区的所有文件。

在这里插入图片描述

在根目录下,每个分区都有唯一的分区路径,每个分区数据存储在多个文件中。

每个文件都有唯一的 fileId 和生成文件的 commit 标识。如果发生更新操作时,多个文件共享相同的 fileId,但会有不同的 commit

3.3 Metadata 元数据

时间轴Timeline)的形式将数据集上的各项操作元数据维护起来,以支持数据集的瞬态视图,这部分元数据存储于根目录下的元数据目录。一共有三种类型的元数据:

  • Commits:一个单独的 commit 包含对数据集之上一批数据的一次原子写入操作的相关信息。我们用单调递增的时间戳来标识 commits,标定的是一次写入操作的开始。
  • Cleans:用于清除数据集中不再被查询所用到的旧版本文件的后台活动。
  • Compactions:用于协调 Hudi 内部的数据结构差异的后台活动。例如,将更新操作由基于行存的日志文件归集到列存数据上。

图片

3.4 Index 索引

Hudi 维护着一个索引,以支持在记录 key 存在情况下,将新记录的 key 快速映射到对应的 fileId

  • Bloom filter:存储于数据文件页脚。默认选项,不依赖外部系统实现。数据和索引始终保持一致。
  • Apache HBase:可高效查找一小批 key。在索引标记期间,此选项可能快几秒钟。

在这里插入图片描述

索引策略

工作负载 1:对事实表

许多公司将大量事务数据存储在 NoSQL 数据存储中。例如,拼车情况下的行程表、股票买卖、电子商务网站中的订单。这些表通常会随着对最新数据的随机更新而不断增长,而长尾更新会针对较旧的数据,这可能是由于交易在以后结算 / 数据更正所致。换句话说,大多数更新进入最新的分区,很少有更新进入较旧的分区。

在这里插入图片描述
对于这样的工作负载,BLOOM 索引表现良好,因为索引查找 将基于大小合适的布隆过滤器修剪大量数据文件。此外,如果可以构造键,以使它们具有一定的顺序,则要比较的文件数量会通过范围修剪进一步减少。

Hudi 使用所有文件键范围构建一个区间树,并有效地过滤掉更新 / 删除记录中与任何键范围不匹配的文件。

为了有效地将传入的记录键与布隆过滤器进行比较,即最小数量的布隆过滤器读取和跨执行程序的统一工作分配,Hudi 利用输入记录的缓存并采用可以使用统计信息消除数据偏差的自定义分区器。有时,如果布隆过滤器误报率很高,它可能会增加混洗的数据量以执行查找。

Hudi 支持动态布隆过滤器(使用启用 hoodie.bloom.index.filter.type=DYNAMIC_V0),它根据存储在给定文件中的记录数调整其大小,以提供配置的误报率。

工作负载 2:对事件表

事件流无处不在。来自 Apache Kafka 或类似消息总线的事件通常是事实表大小的 10 − 100 10-100 10100 倍,并且通常将 时间(事件的到达时间 / 处理时间)视为一等公民。

例如,物联网事件流、点击流数据、广告印象 等。插入和更新仅跨越最后几个分区,因为这些大多是仅附加数据。鉴于可以在端到端管道中的任何位置引入重复事件,因此在存储到数据湖之前进行重复数据删除是一项常见要求。

在这里插入图片描述
一般来说,这是一个非常具有挑战性的问题,需要以较低的成本解决。虽然,我们甚至可以使用键值存储来使用 HBASE 索引执行重复数据删除,但索引存储成本会随着事件的数量线性增长,因此可能会非常昂贵。

实际上,BLOOM 带有范围修剪的索引是这里的最佳解决方案。人们可以利用时间通常是一等公民这一事实并构造一个键,event_ts + event_id 例如插入的记录具有单调递增的键。即使在最新的表分区中,也可以通过修剪大量文件来产生巨大的回报。

工作负载 3:随机更新 / 删除维度表

这些类型的表格通常包含高维数据并保存参考数据,例如 用户资料商家信息。这些是高保真表,其中更新通常很小,但也分布在许多分区和数据文件中,数据集从旧到新。通常,这些表也是未分区的,因为也没有对这些表进行分区的好方法。

在这里插入图片描述
如前所述,BLOOM 如果无法通过比较范围 / 过滤器来删除大量文件,则索引可能不会产生好处。在这样的随机写入工作负载中,更新最终会触及表中的大多数文件,因此布隆过滤器通常会根据一些传入的更新指示所有文件的真阳性。因此,我们最终会比较范围 / 过滤器,只是为了最终检查所有文件的传入更新。

SIMPLE 索引将更适合,因为它不进行任何基于预先修剪的操作,而是直接与每个数据文件中感兴趣的字段连接 。HBASE 如果操作开销是可接受的,并且可以为这些表提供更好的查找时间,则可以使用索引。

在使用全局索引时,用户还应该考虑设置 hoodie.bloom.index.update.partition.path=truehoodie.simple.index.update.partition.path=true 处理分区路径值可能因更新而改变的情况,例如用户表按家乡分区;用户搬迁到不同的城市。这些表也是 Merge-On-Read 表类型的绝佳候选者。

3.5 Data 数据

Hudi 以两种不同的存储格式存储所有摄取的数据,用户可选择满足下列条件的任意数据格式:

  • 读优化的列存格式ROFormat):缺省值为 Apache Parquet
  • 写优化的行存格式WOFormat):缺省值为 Apache Avro

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/211314.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C语言】位运算实现二进制数据处理及BCD码转换

文章目录 1.编程实验:按short和unsigned short类型分别对-12345进行左移2位和右移2位操作,并输出结果。2.编程实验:利用位运算实现BCD码与十进制数之间的转换,假设数据类型为unsigned char。3.编…

FPGA | Verilog基础语法

这里写自定义目录标题 Case语句系统任务$dumpfile | 为所要创建的VCD文件指定文件名。$dumpvar | 指定需要记录到VCD文件中的信号$fscanf$fread菜鸟教程连接 Case语句 case(case_expr)condition1 : true_statement1 ;condition2 : true_stat…

多线程(进阶二:CAS)

目录 一、CAS的简单介绍 CAS逻辑(用伪代码来描述) 二、CAS在多线程中简单的使用 三、原子类自增的代码分析 都看到这了,点个赞再走吧,谢谢谢谢谢 一、CAS的简单介绍 CAS的全称:“Compare And Swap”,字…

C语言——字符函数和字符串函数(一)

📝前言: 这篇文章对我最近学习的有关字符串的函数做一个总结和整理,主要讲解字符函数和字符串函数(strlen,strcpy和strncpy,strcat和strncat)的使用方法,使用场景和一些注意事项&…

python常见库的汇总

python常见库 一、爬虫二、界面开发三、图片处理四、视频处理、视频剪辑五、音频处理六、数据处理七、数据库八、网页开发九、神经学习、AI开发十、打包十一、Excel处理十二、微信十三、控制鼠标键盘十四、手柄十五、控制外设十六、邮箱十七、短信 一、爬虫 Requests&#xff…

Java入门项目--蚂蚁爱购

简介 这是一个靠谱的Java入门项目实战,名字叫蚂蚁爱购。 从零开发项目,视频加文档,十天就能学会开发JavaWeb项目,教程路线是:搭建环境> 安装软件> 创建项目> 添加依赖和配置> 通过表生成代码> 编写Ja…

解锁MySQL的威力:针对常见问题的快速解决指南

数据库和表的创建 创建数据库: CREATE DATABASE IF NOT EXISTS MyDatabase; USE MyDatabase;案例: 想象您要开始一个博客项目。首先,您需要一个地方来存储所有的文章和用户信息。上述命令帮助您创建了这样一个存储空间,名为MyDa…

Tomcat使用https方式连接

Tomcat使用https方式连接 拢共分两步,第一步:生成密钥。第二步:修改配置。 第一步:生成密钥。 keytool -genkey -v -alias tomcat -keyalg RSA -validity 365 -keystore /usr/tomcat-8.5/conf/tomcat.keystore第二步&#xff1…

RocketMQ-源码架构二

梳理一些比较完整,比较复杂的业务线 消息持久化设计 RocketMQ的持久化文件结构 消息持久化也就是将内存中的消息写入到本地磁盘的过程。而磁盘IO操作通常是一个很耗性能,很慢的操作,所以,对消息持久化机制的设计,是…

华为机试真题 C++ 实现【字符串重新排列】

题目 给定一个字符串s,s包括以空格分隔的若干个单词,请对s进行如下处理后输出: 1、单词内部调整:对每个单词字母重新按字典序排序 2、单词间顺序调整: 1)统计每个单词出现的次数,并按次数降序…

蒙特霍尔问题(选择三扇门后的车与羊)及其贝叶斯定理数学解释

1. 蒙特霍尔问题 有一个美国电视游戏节目叫做“Let’s Make a Deal”,游戏中参赛者将面对3扇关闭的门,其中一扇门背后有一辆汽车,另外两扇门后是山羊,参赛者如果能猜中哪一扇门后是汽车,就可以得到它。 通常&#xf…

笔记68:Pytorch中repeat函数的用法

repeat 相当于一个broadcasting的机制 repeat(*sizes) 沿着指定的维度重复tensor。不同与expand(),本函数复制的是tensor中的数据。 import torch import torch.nn.functional as F import numpy as np a torch.Tensor(128,1,512) B a.repeat(1,5,1) print(B.s…

OpenGL 着色器程序的保存和加载(二进制)

背景 为了提高OpenGL 着色器程序的编译和链接速度,我们可以将程序保存为二进制进行加载,可以大幅度提升加载效率。 方法 以下是加载和保存二进制程序的方法。 // 加载着色器程序的二进制文件到已创建的着色器程序中 bool loadPragram(const std::str…

javaee实验:文件上传及拦截器的使用

目录 文件上传ModelAttribute注解实验目的实验内容实验过程项目结构编写代码结果展示 文件上传 Spring MVC 提供 MultipartFile 接口作为参数来处理文件上传。 MultipartFile 提供以下方法来获取上传的文件信息:  getOriginalFilename 获取上传的文件名字&#x…

华为OD机试真题-测试用例执行计划-2023年OD统一考试(C卷)

题目描述: 某个产品当前迭代周期内有N个特性( F1,F2,.......FN)需要进行覆盖测试,每个特性都被评估了对应的优先级,特性使用其ID作为下标进行标识。 设计了M个测试用例(T1,T2......,TM ),每个用例对应了一个覆盖特性的集合,测试用例使用其ID作为下标进行标识,测试用例…

特权FPGA学习笔记

C/C/system C-----vivado HLS------------->RTL门电路,省去了HDL语言的中间转换,可以看作是C向C#的演进,基于zynq面向以前使用C的开发人员,但是个人觉得,HDL存在且未被C取代,工具的着眼点就是面向底层调…

Spring Cloud 与微服务学习总结(19)—— Spring Cloud Alibaba 之 Nacos 2.3.0 史上最大更新版本发布

Nacos 一个用于构建云原生应用的动态服务发现、配置管理和服务管理平台,由阿里巴巴开源,致力于发现、配置和管理微服务。说白了,Nacos 就是充当微服务中的的注册中心和配置中心。 Nacos 2.3.0 新特性 1. 反脆弱插件 Nacos 2.2.0 版本开始加入反脆弱插件,从 2.3.0 版本开…

飞天使-linux操作的一些技巧与知识点2

TCP 的三次握手 第一次,客户端与服务端建立链接,需要发送请求连接的消息 第二次,服务端接口到数据后,返回一个确认的操作*(至此客户端和服务端链路建立成功) 第三次,服务端还需要发送要与客户端…

【Linux】探索Linux进程状态 | 僵尸进程 | 孤儿进程

最近,我发现了一个超级强大的人工智能学习网站。它以通俗易懂的方式呈现复杂的概念,而且内容风趣幽默。我觉得它对大家可能会有所帮助,所以我在此分享。点击这里跳转到网站。 目录 一、进程状态1.1运行状态1.2阻塞状态1.3挂起状态 二、具体L…

React中使用react-json-view展示JSON数据

文章目录 一、前言1.1、在线demo1.2、Github仓库 二、实践2.1、安装react-json-view2.2、组件封装2.3、效果2.4、参数详解2.4.1、src(必须) :JSON Object2.4.2、name:string或false2.4.3、theme:string2.4.4、style:object2.4.5、…