Hadoop 集群小文件归档 HAR、小文件优化 Uber 模式

文章目录

      • 小文件归档 HAR
      • 小文件优化 Uber 模式

小文件归档 HAR

小文件归档是指将大量小文件合并成较大的文件，从而减少存储开销、元数据管理的开销以及处理时的任务调度开销。

这里我们通过 Hadoop Archive (HAR) 来进行实现，它是一种归档格式，可以将多个小文件和目录归档成单个 HAR 文件。

在进行下面的操作前，请先启动集群。

对小文件进行归档

当前，在 /input 目录下存储了 3 个小文件，如下所示：

在这里插入图片描述

现在我们对这三个文件进行归档，命令如下：

hadoop archive -archiveName input.har -p /input /result

这里将目录 /input 下的所有文件都进行归档，并保存在 /result 目录下，取名为 input.har。

在这里插入图片描述
进入归档结果目录中，可以发现归档文件的目录结构，其中 part-0 中存储的就是真正的文件内容，它包含了三个文件的所有内容；其余的文件都是归档相关的文件记录信息。

查看已经归档的文件

hadoop fs -ls har:///result/input.har

在这里插入图片描述

解档文件

hadoop fs -cp har:///result/input.har/* /

在这里插入图片描述

注意，解档指定的目录必须提前创建。

小文件优化 Uber 模式

什么是 Uber 模式？

“Uber 模式” 是指在 Hadoop 中运行 MapReduce 任务时，将所有的任务（Mapper 和 Reducer）都运行在一个单独的 JVM 进程中，而不是在集群的不同节点上分别启动多个 JVM 进程来运行任务。

这个模式的名称来自于 Uber 公司，他们在其 Hadoop 集群上采用了这种方式来运行任务。

优点

  • 减少资源开销： Uber 模式可以减少任务启动的开销，因为不需要为每个任务都启动一个单独的 JVM 进程，这样可以节省内存和CPU资源。

  • 提高局部性： 由于所有任务在同一个 JVM 中运行，数据的局部性更高，因为不需要在不同节点之间传输数据。

  • 避免任务调度开销： 在分布式环境中，任务的调度也会带来一定的开销，Uber 模式可以避免这些开销，从而提高任务的执行效率。

缺点

  • 单点故障： 如果运行任务的 JVM 发生故障，所有的任务都会受到影响，而不是像分布式模式下那样只影响一个节点上的任务。

  • 资源限制： 由于所有任务共享一个 JVM，可能会受到 JVM 内存限制的影响，特别是对于需要大量内存的任务。

  • 性能不适用于所有场景： Uber 模式在某些情况下可能会导致性能下降，特别是当任务需要大量的并行计算时，由于共享一个 JVM，可能无法充分利用多核处理器。

当开启 Uber 模式后，Hadoop 会根据一定的规则和条件来自动判断是否使用 Uber 模式运行任务，还是使用分布式模式。

Uber 模式的配置

编辑 Hadoop 中的 mapred-site.xml 配置文件，添加下列内容：

	<!--开启uber模式，默认关闭 --><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><!-- 限制单个 JVM 中运行的 Map 任务数量，防止资源过度占用，最大 9  --> <property><name>mapreduce.job.ubertask.maxmaps</name><value>9</value></property><!-- 限制单个 JVM 中运行的 Reduce 任务数量，最大 1 --><property><name>mapreduce.job.ubertask.maxreduces</name><value>1</value></property><!-- 设置在 Uber 模式下最大的输入数据量，默认值为 dfs.blocksize 的值（128MB） --><property><name>mapreduce.job.ubertask.maxbytes</name><value></value></property>

分发文件同步配置到其它机器，无需重启集群。

测试

当前，在 /input 目录下存储了 3 个小文件，如下所示：

在这里插入图片描述

我们来运行 Hadoop 官方案例 wordcount 来测试 Uber 模式是否设置成功。

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

如果配置成功，在案例执行过程中会打印提示，正在使用 Uber 模式运行：

在这里插入图片描述

我们进入 Yarn 中查看案例运行记录：

在这里插入图片描述

可以看到只启动了 1 个容器进行处理，并且只花费了 8 秒，读者可以关闭 Uber 模式来对比前后的速度差别。

未开启 Uber 模式执行效率

在这里插入图片描述

启动了 5 个容器进行处理，花费了 15 秒。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/66575.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

使用Docker配置深度学习的运行环境

使用Docker配置深度学习的运行环境

文章目录 推荐实验环境前言docker安装docker操作docker配置常见方法&#xff08;安装包、联网、程序管理器&#xff09;安装驱动的前提要求传统方法安装驱动程序程序管理器安装联网安装deb包安装 安装完成后的设置非传统方法安装-通过容器安装驱动的前提要求安装NVIDIA-Contain…
阅读更多...
Scala集合继承体系图

Scala集合继承体系图

Scala集合简介 1&#xff09; Scala 的集合有三大类&#xff1a;序列 Seq、集Set、映射 Map&#xff0c;所有的集合都扩展自 Iterable特质。 2&#xff09; 对于几乎所有的集合类&#xff0c;Scala 都同时提供了可变和不可变的版本&#xff0c;分别位于以下两个包 不可变集合…
阅读更多...
Orangepi安装外设库 wiringPi

Orangepi安装外设库 wiringPi

注意&#xff1a;mobaXterm传送文件要在SSH登陆环境下才可以。 同时电脑和orangepi都在同一个wifi下。
阅读更多...
浅谈React split_分割字符串

浅谈React split_分割字符串

当我们需要将一个字符串按照指定的分隔符进行分割成数组时&#xff0c;可以使用JavaScript中的split方法。在React中&#xff0c;我们可以在组件的生命周期方法中使用split方法来实现这个功能。 下面是一个使用split方法的示例代码&#xff0c;并对其进行详细解释&#xff1a;…
阅读更多...
unittest框架的使用

unittest框架的使用

先简单介绍一下unittest的核心组成部分&#xff1a; 测试夹具&#xff1a;Test Fixture 一般用于执行测试用例的准备或者清理工作&#xff0c;比如测试开始前的数据准备或者测试结束的数据清理等。通过setUp()、tearDown()、setUpClass()、tearDownClass()这四个钩子函数实现了…
阅读更多...
javaee 事务 事务的特性 事务的并发问题 事务的隔离级别

javaee 事务 事务的特性 事务的并发问题 事务的隔离级别

什么是事务(Transaction) 是并发控制的单元&#xff0c;是用户定义的一个操作序列。这些操作要么都做&#xff0c;要么都不做&#xff0c;是一个不可分割的工作单位。通过事务&#xff0c;sql 能将逻辑相关的一组操作绑定在一起&#xff0c;以便服务器 保持数据的完整性。事务…
阅读更多...
int num = 0； while(true) { num++； if (num == 3) { System.out.println(3)； } }

int num = 0； while(true) { num++； if (num == 3) { System.out.println(3)； } }

昨天看到一篇帖子&#xff0c;以下代码的运行结果是什么呢&#xff1f; int num 0; while(true) {num;if (num 3) {System.out.println(3);} }答案是无数个3&#xff0c;因为i超过int最大值会溢出&#xff0c;再从int最小值开始加 但是看到评论里以下代码的运行时间&#x…
阅读更多...
tableau基础学习2：时间序列数据预处理与绘图

tableau基础学习2：时间序列数据预处理与绘图

文章目录 数据预处理1. 原始数据2. 合并数据集2. 创建计算字段 绘图分析1. 趋势分析2. 计算字段趋势分析 这一部分&#xff0c;我们记录一些分析时序趋势的分析步骤 数据预处理 1. 原始数据 原始数据是excel表格&#xff0c;其中包含三个Sheet页&#xff0c; 这里我们选择两…
阅读更多...
ModaHub魔搭社区专访百度智能云李莅：以后所有的数据库它都会原生地支持用向量？

ModaHub魔搭社区专访百度智能云李莅：以后所有的数据库它都会原生地支持用向量？

ModaHub魔搭社区&#xff1a;您是否认为&#xff0c;以后所有的数据库它都会原生地支持用向量&#xff1f; 李莅&#xff1a;传统数据库广义上也分好几类&#xff1a;一类是关系型的&#xff0c;一类是 NoSQL 类的&#xff0c;还有一类是分析型的数据库。我觉得关系型的这种数据…
阅读更多...
Super Resolve Dynamic Scene from Continuous Spike Streams论文笔记

Super Resolve Dynamic Scene from Continuous Spike Streams论文笔记

摘要 近期&#xff0c;脉冲相机在记录高动态场景中展示了其优越的潜力。不像传统相机将一个曝光时间内的视觉信息进行压缩成像&#xff0c;脉冲相机连续地输出二的脉冲流来记录动态场景&#xff0c;因此拥有极高的时间分辨率。而现有的脉冲相机重建方法主要集中在重建和脉冲相…
阅读更多...
Nginx 和 网关的关系是什么

Nginx 和 网关的关系是什么

分析&回答 Nginx也可以实现网关&#xff0c;可以实现对api接口的拦截&#xff0c;负载均衡、反向代理、请求过滤等。网关功能可以进行扩展&#xff0c;比如&#xff1a;安全控制&#xff0c;统一异常处理&#xff0c;XXS,SQL注入等&#xff1b;权限控制&#xff0c;黑白名…
阅读更多...
iframe通过postMessage进行跨域通信以及在Angular中使用

iframe通过postMessage进行跨域通信以及在Angular中使用

写在前面 在前端开发过程中&#xff0c;会遇到一些需要使用iframe的场景&#xff0c;使用iframe关键的一个点是数据之间的传输&#xff0c;基于同源的要求十分苛刻&#xff0c;大家基本上是都是跨域的&#xff0c;如果跨域进行数据传输呢&#xff1f; 大家使用的比较多的就是p…
阅读更多...
服务器监控可视化

服务器监控可视化

IT监控可视化是一种将IT监控数据以图形化的方式呈现给用户的技术&#xff0c;可以帮助用户更直观、更易懂地了解IT系统的运行状况。服务器监控可视化是其中的一个重要应用场景&#xff0c;可以将服务器的各种性能指标以图表、仪表盘等形式展示&#xff0c;以便管理员更好地了解…
阅读更多...
数据结构学习系列之顺序表的查找与排序以及去重

数据结构学习系列之顺序表的查找与排序以及去重

顺序表的查找&#xff1a;根据顺序表中数据元素的位置进行查找&#xff0c;代码如下&#xff1a;示例代码&#xff1a; int search_seq_list(list_t *seq_list,int pos,int *num){if(NULL seq_list || NULL num){printf("内存分配失败\n");return -1;}if( pos <…
阅读更多...
c++ set/multiset

c++ set/multiset

set/multiset 集合&#xff0c;一个单个&#xff0c;一个多个(multi)。两个库都是"set"。 https://blog.csdn.net/fckbb/article/details/130917681 对象创建 set(const Pred& compPred()&#xff0c;const A& alA()):创建空集合。set(const set& x):…
阅读更多...
HTTP协议初识·中篇

HTTP协议初识·中篇

加上目录&#xff0c;会出现导向不正确的情况&#xff0c;可能是bug&#xff0c;目录一长就容易出错&#xff1f; 本篇主要讲解了&#xff1a; 网页分离(网页代码和.c文件分离) html链接跳转 网页添加图片 确认并返回资源类型 填写正文长度属性 添加表单 临时重定向 补充知识&a…
阅读更多...
06-限流策略有哪些，滑动窗口算法和令牌桶区别，使用场景？【Java面试题总结】

06-限流策略有哪些，滑动窗口算法和令牌桶区别，使用场景？【Java面试题总结】

限流策略有哪些&#xff0c;滑动窗口算法和令牌桶区别&#xff0c;使用场景&#xff1f; 常见的限流算法有固定窗口、滑动窗口、漏桶、令牌桶等。 6.1 固定窗口 概念&#xff1a;固定窗口&#xff08;又称计算器限流&#xff09;&#xff0c;对一段固定时间窗口内的请求进行…
阅读更多...
通过ref 操作dom , 点击按钮后跳转到页面指定图片位置

通过ref 操作dom , 点击按钮后跳转到页面指定图片位置

滚动图片到视图 定义了一个名为 scrollToIndex 的函数&#xff0c;它接受一个参数 index。当按钮被点击时&#xff0c;这个函数会被调用&#xff0c;并根据传入的 index 值来滚动到对应的图片。 以 alt 来标记图片位置 alt“Tom” import { useRef } from "react";c…
阅读更多...
国标视频云服务EasyGBS国标视频平台迁移服务器后无法启动的问题解决方法

国标视频云服务EasyGBS国标视频平台迁移服务器后无法启动的问题解决方法

国标视频云服务EasyGBS支持设备/平台通过国标GB28181协议注册接入&#xff0c;并能实现视频的实时监控直播、录像、检索与回看、语音对讲、云存储、告警、平台级联等功能。平台部署简单、可拓展性强&#xff0c;支持将接入的视频流进行全终端、全平台分发&#xff0c;分发的视频…
阅读更多...
双指针——力扣刷题

双指针——力扣刷题

同向双指针 一般是滑动窗口&#xff0c;子数组类型 做法&#xff1a;一般我们遍历右端点&#xff0c;然后根据条件滑动左端点。左右端点均只向右移动。 要求&#xff1a;左端点向右滑动到某一位置后不可能在下一个枚举的右端点时&#xff0c;发生左移现象。 相向双指针 适用…
阅读更多...
最新文章

Copyright @ 2022~2023