【Iceberg学习三】Reporting和Partitioning原理

Metrics Reporting

Type of Reports

从 1.1.0 版本开始，Iceberg 支持 MetricsReporter 和 MetricsReport API。这两个 API 允许表达不同的度量报告，并支持一种可插拔的方式来报告这些报告。

ScanReport（扫描报告）

扫描报告（ScanReport）记录了在对一个给定表进行扫描规划时收集的度量指标。除了包含一些关于该表的一般信息，如快照 ID 或表名，它还包括以下度量指标：

  • 总扫描规划持续时间
  • 结果中包含的数据/删除文件数量
  • 扫描/跳过的数据/删除清单文件数量
  • 扫描/跳过的数据/删除文件数量
  • 扫描的等值/位置删除文件数量
CommitReport（提交报告）

提交报告记录了在提交对表的更改（也就是生成快照）之后收集的度量指标。除了包含一些关于该表的一般信息，如快照 ID 或表名，它还包括以下度量指标：

  • 总持续时间
  • 提交成功所需的尝试次数
  • 增加/移除的数据/删除文件数量
  • 增加/移除的等值/位置删除文件数量
  • 增加/移除的等值/位置删除操作数量

Available Metrics Reporters

LoggingMetricsReporter

这是在没有配置其他指标报告器时的默认指标报告器，其目的是将结果记录到日志文件中。示例输出如下所示：

INFO org.apache.iceberg.metrics.LoggingMetricsReporter - Received metrics report: 
ScanReport{tableName=scan-planning-with-eq-and-pos-delete-files, snapshotId=2, filter=ref(name="data") == "(hash-27fa7cc0)", schemaId=0, projectedFieldIds=[1, 2], projectedFieldNames=[id, data], scanMetrics=ScanMetricsResult{totalPlanningDuration=TimerResult{timeUnit=NANOSECONDS, totalDuration=PT0.026569404S, count=1}, resultDataFiles=CounterResult{unit=COUNT, value=1}, resultDeleteFiles=CounterResult{unit=COUNT, value=2}, totalDataManifests=CounterResult{unit=COUNT, value=1}, totalDeleteManifests=CounterResult{unit=COUNT, value=1}, scannedDataManifests=CounterResult{unit=COUNT, value=1}, skippedDataManifests=CounterResult{unit=COUNT, value=0}, totalFileSizeInBytes=CounterResult{unit=BYTES, value=10}, totalDeleteFileSizeInBytes=CounterResult{unit=BYTES, value=20}, skippedDataFiles=CounterResult{unit=COUNT, value=0}, skippedDeleteFiles=CounterResult{unit=COUNT, value=0}, scannedDeleteManifests=CounterResult{unit=COUNT, value=1}, skippedDeleteManifests=CounterResult{unit=COUNT, value=0}, indexedDeleteFiles=CounterResult{unit=COUNT, value=2}, equalityDeleteFiles=CounterResult{unit=COUNT, value=1}, positionalDeleteFiles=CounterResult{unit=COUNT, value=1}}, metadata={iceberg-version=Apache Iceberg 1.4.0-SNAPSHOT (commit 4868d2823004c8c256a50ea7c25cff94314cc135)}}

INFO org.apache.iceberg.metrics.LoggingMetricsReporter - Received metrics report: 
CommitReport{tableName=scan-planning-with-eq-and-pos-delete-files, snapshotId=1, sequenceNumber=1, operation=append, commitMetrics=CommitMetricsResult{totalDuration=TimerResult{timeUnit=NANOSECONDS, totalDuration=PT0.098429626S, count=1}, attempts=CounterResult{unit=COUNT, value=1}, addedDataFiles=CounterResult{unit=COUNT, value=1}, removedDataFiles=null, totalDataFiles=CounterResult{unit=COUNT, value=1}, addedDeleteFiles=null, addedEqualityDeleteFiles=null, addedPositionalDeleteFiles=null, removedDeleteFiles=null, removedEqualityDeleteFiles=null, removedPositionalDeleteFiles=null, totalDeleteFiles=CounterResult{unit=COUNT, value=0}, addedRecords=CounterResult{unit=COUNT, value=1}, removedRecords=null, totalRecords=CounterResult{unit=COUNT, value=1}, addedFilesSizeInBytes=CounterResult{unit=BYTES, value=10}, removedFilesSizeInBytes=null, totalFilesSizeInBytes=CounterResult{unit=BYTES, value=10}, addedPositionalDeletes=null, removedPositionalDeletes=null, totalPositionalDeletes=CounterResult{unit=COUNT, value=0}, addedEqualityDeletes=null, removedEqualityDeletes=null, totalEqualityDeletes=CounterResult{unit=COUNT, value=0}}, metadata={iceberg-version=Apache Iceberg 1.4.0-SNAPSHOT (commit 4868d2823004c8c256a50ea7c25cff94314cc135)}}
RESTMetricsReporter

当使用 RESTCatalog 时，这是默认配置，其目的是将指标发送到 REST 服务器，在 /v1/{prefix}/namespaces/{namespace}/tables/{table}/metrics 端点，如 REST OpenAPI 规范中所定义。

通过 REST 发送指标可以通过 rest-metrics-reporting-enabled（默认为 true）属性进行控制。

Implementing a custom Metrics Reporter

实现 MetricsReporter API 在处理传入的 MetricsReport 实例时提供了完全的灵活性。例如，可以将结果发送到 Prometheus 端点或任何其他可观测性框架/系统。

下面是一个简短的示例，说明了一个 InMemoryMetricsReporter，它将报告存储在一个列表中并使其可用：

public class InMemoryMetricsReporter implements MetricsReporter {private List<MetricsReport> metricsReports = Lists.newArrayList();@Overridepublic void report(MetricsReport report) {metricsReports.add(report);}public List<MetricsReport> reports() {return metricsReports;}
}

Registering a custom Metrics Reporter

Via Catalog Configuration

目录属性 metrics-reporter-impl 通过指定其完全限定类名来允许注册一个指定的 MetricsReporter，例如 metrics-reporter-impl=org.apache.iceberg.metrics.InMemoryMetricsReporter。

Via the Java API during Scan planning

即使已经通过 metrics-reporter-impl 属性在目录级别注册了 MetricsReporter，也可以在扫描规划期间提供额外的报告器，如下所示：

TableScan tableScan = table.newScan().metricsReporter(customReporterOne).metricsReporter(customReporterTwo);try (CloseableIterable<FileScanTask> fileScanTasks = tableScan.planFiles()) {// ...
}

Partitioning（分区）

什么是分区

分区是一种通过在写入时将相似的行分组在一起来加速查询的方法。

例如，从日志表查询日志条目通常会包含一个时间范围，就像这个查询在上午10点到12点之间的日志：

SELECT level, message FROM logs
WHERE event_time BETWEEN '2018-12-01 10:00:00' AND '2018-12-01 12:00:00';

将日志表配置为按 event_time 的日期进行分区，将把具有相同事件日期的日志事件分组到同一个文件中。Iceberg 跟踪那个日期，并将使用它来跳过其他没有有用数据的日期的文件。

Iceberg 可以按年、月、日和小时的粒度来分区时间戳。它还可以使用分类列，比如在这个日志示例中的 level，将行存储在一起以加速查询。

iceberg做了什么不一样的地方

其他表格格式如 Hive 支持分区，但 Iceberg 支持隐藏分区。

  1. Iceberg 处理了表中行生成分区值的繁琐且容易出错的任务。
  2. Iceberg 自动避免读取不必要的分区。使用者无需知晓表是如何分区的，也无需在他们的查询中添加额外的过滤器。
  3. Iceberg 的分区布局可以根据需要进行演变。

HIVE中的分区

为了演示差异，考虑一下 Hive 将如何处理日志表。

在 Hive 中，分区是显式的并且表现为一个列，所以日志表会有一个名为 event_date 的列。在写入时，插入操作需要为 event_date 列提供数据：

INSERT INTO logs PARTITION (event_date)SELECT level, message, event_time, format_time(event_time, 'YYYY-MM-dd')FROM unstructured_log_source;

同样，搜索日志表的查询除了需要一个 event_time 过滤器外，还必须有一个 event_date 过滤器。

SELECT level, count(1) as count FROM logs
WHERE event_time BETWEEN '2018-12-01 10:00:00' AND '2018-12-01 12:00:00'AND event_date = '2018-12-01';

如果缺少 event_date 过滤器，Hive 会扫描表中的每一个文件，因为它不知道 event_time 列与 event_date 列之间的关系。

Hive分区方式的问题

Hive 必须被给定分区值。在日志示例中，它不知道 event_time 和 event_date 之间的关系。

这导致了几个问题：

  1. Hive 不能验证分区值 —— 正确值的产生取决于写入者
  2. 使用错误的格式，例如使用 2018-12-01 而不是 20181201，会导致悄无声息的错误结果，而不是查询失败
  3. 使用错误的源列，如 processing_time，或者错误的时区，也会导致错误的结果，而不是失败
  4. 用户需要正确编写查询
  5. 使用错误的格式也会导致悄无声息的错误结果
  6. 不理解表的物理布局的用户会遇到不必要的慢查询 —— Hive 不能自动转换过滤器
  7. 正常工作的查询与表的分区方案绑定，因此分区配置不能在不破坏查询的情况下更改

Iceberg的隐藏分区

Iceberg 通过获取列值并可选择对其进行转换来产生分区值。Iceberg 负责将 event_time 转换为 event_date，并跟踪这种关系。

表的分区是使用这些关系来配置的。日志表将按照 date(event_time) 和 level 来进行分区。

因为 Iceberg 不要求用户维护分区列，所以它可以隐藏分区。分区值每次都能正确产生，并且总是在可能的情况下用于加速查询。生产者和消费者甚至可能看不到 event_date。

最重要的是，查询不再依赖于表的物理布局。有了物理和逻辑之间的分离，Iceberg 表可以随着数据量的变化，随时间演进其分区方案。配置错误的表可以在不进行昂贵迁移的情况下修复。

有关所有支持的隐藏分区转换的详细信息，请参阅分区转换部分。

有关更新表的分区规范的详细信息，请参阅分区演化部分。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/673245.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

视觉未来：从图像读取到高级处理的计算机视觉精粹

视觉未来：从图像读取到高级处理的计算机视觉精粹

1.计算机视觉 计算机视觉是一门集多学科知识于一体的领域&#xff0c;旨在赋予计算机处理和理解来自现实世界的视觉信息的能力。这涉及从图像或视频中提取数据&#xff0c;并利用这些数据来做出决策或增强人类的理解。计算机视觉的核心挑战是如何使计算机通过视觉感知来理解复…
阅读更多...
算法——前缀和算法

算法——前缀和算法

1. 什么是前缀和算法 前缀和算法&#xff08;Prefix Sum&#xff09;是一种用于快速计算数组元素之和的技术。它通过预先计算数组中每个位置前所有元素的累加和&#xff0c;将这些部分和存储在一个新的数组中&#xff0c;从而在需要计算某个区间的和时&#xff0c;可以通过简单…
阅读更多...
Mockito测试框架中的方法详解

Mockito测试框架中的方法详解

这里写目录标题 第一章、模拟对象1.1&#xff09;①mock()方法&#xff1a;1.2&#xff09;②spy()方法&#xff1a; 第二章、模拟对象行为2.1&#xff09;模拟方法调用①when()方法 2.2&#xff09;模拟返回值②thenReturn(要返回的值)③doReturn() 2.3&#xff09;模拟并替换…
阅读更多...
springboot-web服务迁移Kubernetes

springboot-web服务迁移Kubernetes

1、搞定基础镜像 docker pull openjdk:8-jre-alpine docker tag openjdk:8-jre-alpine 10.204.82.15/kubernetes/openjdk:8-jre-alpine docker push 10.204.82.15/kubernetes/openjdk:8-jre-alpine 2、springboot-web应用服务打包 3、编写Dockerfile构建镜像 FROM 10.204.82.…
阅读更多...
深入了解CMSIS：ARM Cortex微控制器软件接口标准介绍

深入了解CMSIS：ARM Cortex微控制器软件接口标准介绍

CMSIS (Cortex Microcontroller Software Interface Standard) 是ARM公司提供的一套规范和接口&#xff0c;旨在为Cortex-M系列微控制器提供一致的软件接口&#xff0c;以提高开发效率和可移植性。本文将深入介绍CMSIS的各个部分和功能&#xff0c;并解释其在嵌入式系统开发中的…
阅读更多...
Elasticsearch 中的索引的分区(Shards)和副本(Replicas)的使用

Elasticsearch 中的索引的分区(Shards)和副本(Replicas)的使用

Elasticsearch是一个高性能的、分布式的搜索与数据分析引擎&#xff0c;广泛用于全文搜索、结构化搜索、分析以及这三者的组合场景。在Elasticsearch中&#xff0c;“索引”&#xff08;Index&#xff09;是其最基本的数据管理单位&#xff0c;可以类比为传统关系数据库中的“数…
阅读更多...
Affinity Photo值不值得买 Affinity Photo多少钱

Affinity Photo值不值得买 Affinity Photo多少钱

照片编辑软件在设计师和摄影爱好者中都扮演着重要的角色&#xff0c;而Affinity Photo作为一款备受赞誉的专业级照片编辑软件&#xff0c;值不值得购买呢&#xff1f;Affinity Photo多少钱&#xff1f;下面我们将从多个方面来评估其价值。 一、Affinity Photo值不值得买&#x…
阅读更多...
利用CMSIS-RTOS实现多任务调度和同步

利用CMSIS-RTOS实现多任务调度和同步

在嵌入式系统中&#xff0c;多任务调度和同步对于实现复杂的应用程序非常重要。CMSIS-RTOS是一套针对嵌入式系统的操作系统接口规范&#xff0c;它定义了一组API函数&#xff0c;可用于在嵌入式系统上实现任务调度、同步和通信等功能。本文将介绍如何利用CMSIS-RTOS实现多任务调…
阅读更多...
Redis分布式锁的使用案例

Redis分布式锁的使用案例

一、引入依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.5.0</version> </dependency> 二、工具类 package com.hl.redisdemo.util;import redis.clients.jedi…
阅读更多...
学习Android的第四天

学习Android的第四天

目录 Android FrameLayout ( 帧布局 ) FrameLayout size 大小 FrameLayout 属性 Android GridLayout ( 网格布局 ) GridLayout 属性 计算器布局 Android AbsoluteLayout 绝对布局 AbsoluteLayout 四大控制属性 Android FrameLayout ( 帧布局 ) FrameLayout 是 Android…
阅读更多...
K210开发板开箱介绍

K210开发板开箱介绍

一、正面有一个电容触摸屏 二、左上角是一个Type-C接口&#xff0c;可用来供电以及下载程序 三、右上角是一个三向的拨动开关&#xff0c;分别是向左、向右、向下三个通道 四、右侧这个是复位按键 五、这部分是wifi模块的一个串口以及按键 六、wifi模块在开发板的背面&#xff…
阅读更多...
北斗导航 | 接收机自主完好性监测算法研究成果及研究团队介绍

北斗导航 | 接收机自主完好性监测算法研究成果及研究团队介绍

===================================================== github：https://github.com/MichaelBeechan CSDN：https://blog.csdn.net/u011344545 ===================================================== 近年来，接收机自主完好性监测（Receiver Autonomous Integrity Monito…
阅读更多...
板块零 IDEA编译器基础：第三节 下载和在IDEA中集成 Tomcat服务器 来自【汤米尼克的JAVAEE全套教程专栏】

板块零 IDEA编译器基础：第三节 下载和在IDEA中集成 Tomcat服务器 来自【汤米尼克的JAVAEE全套教程专栏】

板块零 IDEA编译器基础&#xff1a;第三节 下载和在IDEA中集成 Tomcat服务器 一、为什么选择Tomcat&#xff08;1&#xff09;常见的JAVA WEB服务器&#xff08;2&#xff09;选择Tomcat的理由 二、Tomcat 8.5下载解压三、Tomcat 结构目录四、在IDEA中集成Tomcat 假设我们已经…
阅读更多...
day06-Flex布局

day06-Flex布局

01-标准流 标准流也叫文档流&#xff0c;指的是标签在页面中默认的排布规则&#xff0c;例如&#xff1a;块元素独占一行&#xff0c;行内元素可以一行显示多个。 02-浮动 基本使用 作用&#xff1a;让块元素水平排列。 属性名&#xff1a;float 属性值 left&#xff1a;左…
阅读更多...
【element-ui】el-select下拉框el-date-picker弹出框定位问题解决方案

【element-ui】el-select下拉框el-date-picker弹出框定位问题解决方案

问题描述&#xff1a; 项目开发过程中发现el-select和el-date-picker弹出框显示时候&#xff0c;滚动屏幕&#xff0c;导致弹出框定位出现问题。 首先考虑到看一下element-ui官网提供的api&#xff0c;如下图 1、select提供了popper-append-to-body属性的配置 代码如下&#x…
阅读更多...
VoIP之主备注册服务器机制

VoIP之主备注册服务器机制

在IP话机的实际使用中&#xff0c;不可避免的会出现服务器离线运维、服务宕机、IP话机和服务器连接中断等情况。为了保证电话服务的连续性&#xff0c;在VoIP部署服环境中必须有冗余机制。常见的冗余机制以主备服务器的形式实现。 一、主备机制原理 话机正常情况下注册在主服…
阅读更多...
【lesson44】进程间通信之匿名管道

【lesson44】进程间通信之匿名管道

文章目录 理解进程通信管道理解使用管道1.创建管道2.fork创建子进程3.构建单向通信信道子进程构建通信父进程构建通信 使用管道的完整版代码扩展Task.hppProcessPool.cc 理解进程通信 进程运行具有独立性—>进程想通信&#xff0c;难度其实是比较大的---->进程通信的本质…
阅读更多...
DFS——剪枝

DFS——剪枝

dfs在每个点&#xff08;状态&#xff09;的情况比较多&#xff0c;但是节点比较少的时候很常用&#xff0c;我们将每个状态的情况延伸出去&#xff0c;可以画出一棵搜索树。dfs会搜到每一种情况&#xff0c;所以我们实际上可以按照任意顺序来判否。为了优化搜索我们可以在搜索…
阅读更多...
喵的一下午（分享今天的趣事）

喵的一下午（分享今天的趣事）

2024/2/7 晚 喵喵我呀&#xff0c;起的很晚。又没有敲算法。于是&#xff0c;今天就没法发CSDN了。 每天&#xff0c;我还是特别喜欢看阅读量增加没&#xff0c;有没有人点赞&#xff0c;或者说添加收藏&#xff0c;当然&#xff0c;如果又多一个关注的朋友&#xff0c…
阅读更多...
数据结构——单链表详解

数据结构——单链表详解

目录 前言 一.什么是链表 1.概念 ​编辑 2.分类 二.单链表的实现(不带头单向不循环链表) 2.1初始化 2.2打印 2.3创建新节点 2.4头插、尾插 2.5头删、尾删 2.6查找 2.7在指定位置之前插入 2.8在指定位置之后插入 2.9删除pos位置 2.10删除pos之后的 2.11销毁链表…
阅读更多...
最新文章

Copyright @ 2022~2023