【Hadoop】MapReduce (七)

MapReduce

执行流程

MapTask执行流程

  1. Read：读取阶段
    1. MapTask会调用InputFormat中的getSplits方法来对文件进行切片
    2. 切片之后，针对每一个Split，产生一个RecordReader流用于读取数据
    3. 数据是以Key-Value形式来产生，交给map方法来处理。每一个键值对触发调用一次map方法
  2. Map：映射阶段
    1. map方法在获取到键值对之后，按照要求对键值对中的数据进行拆分解析，解析之后按照要求输出键值对形式的结果
  3. Collect：收集阶段
    1. MapTask拆分产生数据之后，并不是直接将数据传输给ReduceTask，而是会调用OutputCollector.collect方法来收集输出结果
    2. OutputCollector.collect在收集到数据之后，会先按照指定的规则，对数据进行分区，分区完成之后，会将数据写到缓冲区中
    3. 缓冲区本质上是一个环形的字节数组，默认大小是100M(可以通过属性mapreduce.task.io.sort.mb来调节)，默认阈值是0.8(可以通过属性mapreduce.map.sort.spill.percent来调节)
  4. Spill：溢写阶段
    1. 当缓冲区使用达到指定阈值的时候，MapTask会将缓冲区中的数据冲刷(flush)到磁盘上，这个过程称之为溢写(spill)
    2. 在溢写的时候，会按照如下步骤进行
      1. 排序(sort)。此时，是将毫无规律的数据整理成有序数据，采用的Quick Sort(快速排序)。需要注意的是，数据在排序的时候，是按照分区内进行的排序，即先按照分区大小进行分区号的升序，然后每一个分区内按照指定规则排序。因此，数据是分区内有序
      2. 合并(combine)。如果用户指定了Combiner，那么此时会将数据进行合并处理
      3. 写出(flush)。按照分区的顺序，将每一个分区中的数据依次写入任务的工作目录的临时文件output/spillN.out中。N表示溢写次数。溢写次数不能完全由原始数据大小来决定，还得考虑map方法的处理过程。此时，单个结果文件中是分区且有序的，整体而言是局部有序
      4. 压缩(compress)。如果用户指定了对MapTask的结果进行压缩，那么数据在写出之后还会进行压缩处理
      5. 记录(record)。将分区数据的元信息记录到内存索引数据结果SpillRecord中。元信息中包含：每一个分区在每一个临时结果文件中的偏移量(offset)，每一个分区压缩前的数据大小以及压缩后的数据大小。如果SpillRecord中记录的所有的元信息大小之和不超过1M，那么SpillRecord中的数据也会写到output/spillN.out.index中
  5. Merge：合并阶段
    1. 当MapTask将所有的数据处理完成之后，会将所有的临时结果文件spillN.out合并(merge)成一个大的结果文件output/file.out，同时会为这个文件生成索引文件file.out.index
    2. 在merge过程中，数据会再次进行分区。分区之后数据会再次进行排序。注意，此次排序是将局部有序的数据整理成整体有序，采用的是Merge Sort(归并排序)
    3. 在merge过程中，如果指定了Combiner，那么数据会进行combine操作
    4. merge的时候，默认情况下，是每10个(可以通过属性mapreduce.task.io.sort.factor来调节)小文件合并成1个大文件，通过多次合并，最后会产生一个结果文件file.out。这样子，能够有效的避免同时打开大量文件带来的开销
    5. 注意：无论是否会进行Spill过程，最后都会产生一个file.out文件！！！

ReduceTask执行流程

  1. 当达到启动阈值的时候，ReduceTask就会启动。默认情况下，启动阈值是0.05，即5%的MapTask结束ReduceTask就会启动。可以通过属性mapreduce.job.reduce.slowstart.completedmaps来调节
  2. ReduceTask启动之后，会启动fetch线程来抓取数据。默认情况下，每一个ReduceTask最多可以启动5个fetch线程来抓取数据。可以通过属性mapreduce.reduce.shuffle.parrellelcopies来调节
  3. fetch启动之后，会通过http请求的get请求来获取数据，在请求的时候，会携带参数表示当前的分区号。MapTask在收到请求之后，根据参数(分区号)来解析file.out.index文件，从中获取指定分区的位置，然后才会读取file.out，将对应分区的数据返回
  4. fetch线程在抓取到数据之后，会先对数据进行大小判断。如果数据超过了ReduceTask的缓冲区阈值，那么会将数据直接以文件形式写到磁盘上；如果没有超过ReduceTask的缓冲区阈值，那么就先放到缓冲区中
    1. 缓冲区的大小由属性mapreduce.reduce.shuffle.input.buffer.percent来决定，默认是0.7，是ReduceTask执行过程中允许占用内存的70%
    2. 缓冲区的阈值由属性mapreduce.reduce.shuffle.merge.percent来决定，默认是0.66，即缓冲区大小的66%
  5. fetch线程在抓取数据的同时，ReduceTask会启动两个后台线程将抓取来的数据进行merge，以防内存以及磁盘占用过多
  6. 所有的fetch线程完成之后，ReduceTask会将抓取来的所有的数据进行排序。同样，此时也是将局部有序的数据整理成整体有序的数据，所以依然采用的是归并排序(Merge Sort)
  7. 经过排序和merge，最终产生了一个大的临时文件来交给ReduceTask来处理。此时，ReduceTask会将相同的键对应的值放到一起，形成一个伪迭代器(本质上就是一个流，来读取刚刚产生的临时文件)，这个过程称之为分组(group)。也正因为是伪迭代器(将流包装成了迭代器，临时文件读取完之后就会被销毁)，所以只能遍历一次！
  8. 分组完成之后，每一个键调用一次reduce方法，按照指定的规则来对数据进行聚合
  9. reduce处理完之后，会将结果传递给OutputFormat，按照指定规则将数据以指定形式写出到指定位置

流程图

在这里插入图片描述

常见优化方案

  1. 减少MapTask的溢写次数。溢写是将数据写到磁盘上，程序和磁盘交互次数越多，效率越低；此时，如果需要提高效率，就可以考虑减少MapTask和磁盘的交互次数
    1. 调节缓冲区的大小。通过mapreduce.task.io.sort.mb来调节，实际过程中，一般会将这个值调节为250M~400M
    2. 调节缓冲区阈值的大小。通过属性mapreduce.map.sort.spill.percent来调节
  2. 减少Merge次数。通过属性mapreduce.task.io.sort.factor来调节
  3. 增加Combiner。如果计算可以传递，那么建议在程序中使用Combiner。根据经验，使用Combiner，大约可以提升40%的效率
  4. 减少Reduce。如果MapTask处理完成之后，不需要使用Reduce聚合，那么此时可以直接省略Reduce
  5. 合理设置ReduceTask的执行内存。默认情况下，每一个ReduceTask最多占用1G内存，如果试图超过1G内存，就会被kill掉
    1. 调大ReducedTask的执行内存。通过mapreduce.reduce.memory.mb属性来调节，单位是MB，默认值是1024
    2. 调大缓冲区的占比。通过mapreduce.reduce.shuffle.input.buffer.percent属性来调节
    3. 调大缓冲区的阈值。通过mapreduce.reduce.shuffle.merge.percent属性来调节
  6. 增加fetch线程的数量。通过mapreduce.reduce.shuffle.parrellelcopies属性来调节
  7. 可以考虑对数据进行压缩。即将MapTask产生的结果进行压缩之后传递给ReduceTask，但是这种方案是在网络和解压效率之间进行了平衡/对比

其他

小文件问题

  1. 在大数据开发环境中，虽然实际处理的文件大部分都是大文件，但是依然无法避免产生小文件

  2. 一般而言，如果文件大小≤Block*0.8，那么此时就认为这是一个小文件。实际过程中，一般认为不超过100M的文件就是小文件

  3. 小文件在分布式环境下的问题

    1. 存储：在HDFS中，每一个小文件对应一条元数据，如果存储大量的小文件，那么会产生大量的元数据，此时会导致占用较多的内存，同时导致元数据的读写效率降低
    2. 计算：在MapReduce中，每一个小文件对应一个切片，每一个切片对应一个MapTask。如果需要对大量的小文件进行处理，那么就意味着需要产生大量的MapTask，导致集群的资源被同时大量的占用和释放

  4. 目前对小文件的处理方案无非两种：合并(merge)和打包

  5. MapReduce提供了一种原生的打包方案：Hadoop Archive，将多个小文件打成一个.har包

    # 将/txt/打成txt.har包，放到/result下
hadoop archive -archiveName txt.har -p /txt /result

数据倾斜

  1. 在集群中，因为处理的数据量不均等导致任务执行时间不一致而产生的等待，称之为数据倾斜
  2. 数据倾斜可能发生在Map端，也可能会发生在Reduce端
    1. Map端产生数据倾斜的直接原因：需要同时处理多个文件，且文件大小不均等，文件不可切
    2. Reduce产生数据倾斜的直接原因：对数据进行分类
  3. 数据倾斜无法避免，因为数据本身就有倾斜特性
  4. 理论上来说，数据倾斜产生之后可以解决，但是实际过程中，不太好解决；对于Reduce端的数据倾斜，实际过程中，可能会采用二阶段聚合方式来处理

推测执行机制

  1. 推测执行机制本质是MapReduce针对慢任务的一种优化。当出现慢任务的时候，MapReduce会将这个任务拷贝一份到其他节点上，两个节点同时执行相同的任务，谁先执行完谁的结果就作为最终结果，另一个没有执行完的就会被kill掉

  2. 慢任务的出现场景

    1. 任务分配不均匀：每一个节点被分配到的任务数量不同
    2. 节点性能不一致：每一台服务器的配置不同
    3. 数据倾斜：任务之间处理的数据量不均等

  3. 实际工作中，因为数据倾斜而导致的慢任务出现的概率更高，此时推测执行机制除了会占用更多的集群资源以外，并不能提高执行效率。因此，实际过程中，一般会考虑关闭推测执行机制

    <!-- MapTask的推测执行机制 -->
<property><name>mapreduce.map.speculative</name><value>true</value>
</property>
<!-- ReduceTask的推测执行机制 -->
<property><name>mapreduce.reduce.speculative</name><value>true</value>
</property>

join

  1. 案例：统计每一天的利润(文件：order.txt和product.txt)
  2. 需要同时处理多个文件，且信息来源不是只依靠单个文件就能处理，此时需要确定一个主文件，将其他的文件作为缓存文件进行处理，这个过程称之为join

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/8774.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

02_SpringBoot程序快速启动

02_SpringBoot程序快速启动

目录 打包命令启动启动成功测试结果 打包 点击package打包命令&#xff0c;会生成target目录&#xff0c;目录下会有生成的jar包 命令启动 打开cmd命令窗口&#xff0c;进入子项目的target目录下,输入命令后&#xff0c;回车… java -jar .\note-boot-core-1.0-SNAPSHOT.j…
阅读更多...
C++新手村指南：入门基础

C++新手村指南：入门基础

目录 C概念 C发展史 C关键字&#xff08;C98&#xff09; 命名空间 命名空间的定义 命名空间的使用 C中的输入&&输出 缺省参数 缺省参数的概念 缺省参数的分类 函数重载 函数重载概念 函数重载实现 引用 引用的概念 引用的特性 常引用 引用的使用场景…
阅读更多...
【Python图像分类系列】建立CNN模型实现猫狗图像分类（案例+源码）

【Python图像分类系列】建立CNN模型实现猫狗图像分类（案例+源码）

这是我的第275篇原创文章。 一、引言 基于CNN卷积神经网络在图像识别领域的应用&#xff1a;猫狗图像识别。主要内容包含&#xff1a; 数据创建和预处理 神经网络模型搭建 神经网络模型的训练和拟合 文中使用的深度学习框架是Keras。部分数据展示&#xff1a; 猫&#xf…
阅读更多...
基于opencv的车辆统计

基于opencv的车辆统计

车辆统计&#xff09; 一、项目背景二、整体流程三、常用滤波器的特点四、背景减除五、形态学开运算闭运算 六、项目完整代码七、参考资料 一、项目背景 检测并识别视频中来往车辆的数量 最终效果图&#xff1a; 二、整体流程 加载视频图像预处理&#xff08;去噪、背景减除…
阅读更多...
C++类和对象中篇

C++类和对象中篇

&#x1f407; &#x1f525;博客主页&#xff1a; 云曦 &#x1f4cb;系列专栏&#xff1a;[C] &#x1f4a8;路漫漫其修远兮 吾将而求索 &#x1f49b; 感谢大家&#x1f44d;点赞 &#x1f60b;关注&#x1f4dd;评论 文章目录 &#x1f4d4;前言&#x1f4d4;1、类的六个…
阅读更多...
视频汇聚边缘网关EasyCVR硬件设备无法访问域名，解析失败该如何处理？

视频汇聚边缘网关EasyCVR硬件设备无法访问域名，解析失败该如何处理？

安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台部署轻快&#xff0c;可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等&#xff0c;以及支持厂家私有协议与SDK接入&#xff0c;包括海康Ehome、海大宇等设备的SDK等。视频汇聚融合管理平台EasyCVR既具备传统安防视…
阅读更多...
小麦穗检测数据集VOC+YOLO格式6508张1类别

小麦穗检测数据集VOC+YOLO格式6508张1类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;6508 标注数量(xml文件个数)&#xff1a;6508 标注数量(txt文件个数)&#xff1a;6508 标注…
阅读更多...
实践指南：如何将SpringBoot项目无缝部署到Tomcat服务器

实践指南：如何将SpringBoot项目无缝部署到Tomcat服务器

序言 SpringBoot 是一个用来简化 Spring 应用初始搭建以及开发过程的框架&#xff0c;我们可以通过内置的 Tomcat 容器来轻松地运行我们的应用。但在生产环境中&#xff0c;我们可能需要将应用部署到独立的 Tomcat 服务器上。本文给大家介绍 SpringBoot 项目部署到独立 Tomcat…
阅读更多...
JS-拖拽元素放大缩小

JS-拖拽元素放大缩小

效果左右布局&#xff0c;拖拽后&#xff0c;宽度放大缩小 其实自己写也可以&#xff0c;不过还是发现了两个好用的js库&#xff0c;既然不需要自己写&#xff0c;当然是能偷懒就偷懒 1、resizerjs 官网地址&#xff1a;https://github.com/eknowles/resizerjs <!doctype …
阅读更多...
ssrf初步

ssrf初步

一&#xff0c;简介 全称&#xff1a;Server-Side Request Forgery&#xff08;中文&#xff1a;服务器端请求伪造&#xff09; 攻击者从服务端发起请求&#xff0c;让服务器连接任意外部系统&#xff0c;从而泄露敏感数据。主要利用各种协议的请求伪造&#xff0c;例如php协…
阅读更多...
IDEA使用Maven生成普通项目没有生成iml文件解决方法

IDEA使用Maven生成普通项目没有生成iml文件解决方法

右击主目录选择&#xff1a; Open in Terminal 在生成的控制台输入&#xff1a; mvn idea:module 回车便自动生成iml文件啦&#xff01; 双击下主目录就可以看见啦
阅读更多...
数据分析概念定义和发展前景

数据分析概念定义和发展前景

数据分析概念定义和发展前景 前言一、数据分析概念二、数据的定义数据的定义数据的分类定性数据定量数据 三、数据的价值数据为什么具有价值 四、数据分析的目的对于企业来说总结 五、数据分析类型的划分描述性统计分析探索性数据分析传统的统计分析方法验证性数据分析 六、 数…
阅读更多...
【亲测可用】linux centos7.9 快速安装python3环境 手把手实操教程

【亲测可用】linux centos7.9 快速安装python3环境 手把手实操教程

安装好linux centos7.9 默认只有python2的环境如下&#xff1a; python2.7.5这个很老旧的版本了&#xff0c;有很多新库不支持&#xff0c;性能可能也不行。 接下来快速安装python3环境&#xff0c;并设置源做到快速安装包&#xff0c;设置虚拟环境&#xff0c;打造强大的pyth…
阅读更多...
MacOS搭建docker本地私有镜像库

MacOS搭建docker本地私有镜像库

相关环境 macOS: bigsur 11.7.8 docker desktop: 4.22.0 docker engine: 24.0.5 准备工作 本机已经安装好docker desktop&#xff0c;未安装的自行参考其他教程。如果不能翻墙&#xff0c;可以修改本地的镜像地址&#xff0c;可在docker desktop 设置中的docker engine中修…
阅读更多...
Redis-新数据类型-Bitmaps

Redis-新数据类型-Bitmaps

新数据类型-Bitmaps 简介 在计算机中&#xff0c;用二进制&#xff08;位&#xff09;作为存储信息的基本单位&#xff0c;1个字节等于8位。 例如 “abc” 字符串是由 3 个字节组成&#xff0c;计算机存储时使用其二进制表示&#xff0c;"abc"分别对应的ASCII码是 …
阅读更多...
数据结构与算法 知识点整理

数据结构与算法 知识点整理

线性表 线性表的基本概念 线性表的定义&#xff1a;线性表是一个具有相同特性的数据元素的有限序列。 相同特性&#xff1a;所有元素属于同一数据类型 有限&#xff1a;数据元素个数是有限的 序列&#xff1a;数据元素由逻辑序号&#xff08;逻辑位序&#xff09;唯一确定…
阅读更多...
Oracle SQL Developer导出数据库表结构，表数据，索引以及序列号等对象

Oracle SQL Developer导出数据库表结构，表数据，索引以及序列号等对象

目录 一、业务需求 三、环境说明 三、数据导出 四、数据导入 一、业务需求 通过Oracle SQL Developer软件将指定oracle数据库中的表结构&#xff0c;表数据&#xff0c;索引以及序列号等对象导出成SQL文件。 三、环境说明 数据库版本&#xff1a;Oracle Database 11g Expres…
阅读更多...
【管理篇】如何向上沟通？

【管理篇】如何向上沟通？

目录标题 向上沟通中下列问题最普遍和上级能不聊就不聊拿捏不好该不该和上级聊的分寸和尺度很难领会到上级的意图如何影响上级的一些观点和决策? 如何应对上述问题呢&#xff1f;&#x1f60e;如何管理上级&#xff1f;&#x1f44c; 向上沟通中下列问题最普遍 和上级能不聊就…
阅读更多...
sql函数--10---In 多个字段

sql函数--10---In 多个字段

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 1.普通 in语句查询sqlMyBatis错误写法正确写法ListString[] 2.In多个字段sql案例脚本实例&#xff1a;错误写法&#xff1a;正确写法&#xff1a; MyBatis XML 写法…
阅读更多...
Spring 事务及事务传播机制(1)

Spring 事务及事务传播机制(1)

目录 事务 回顾: 什么是事务 为什么需要事务 事务的操作 Spring事务的实现 Spring编程式事务(简单了解即可, 问就是基本不用) 观察事务提交 观察事务回滚 Spring声明式事务 Transactional Transactional作用 事务 回顾: 什么是事务 定义: 事务是指逻辑上的一组操作, 构…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023