Hadoop3教程（二十一）：MapReduce中的压缩

文章目录

  • （123）压缩概述
    • 在Map阶段启用
    • 在Reduce阶段启用
  • （124）压缩案例实操
    • 如何在Map输出端启用压缩
    • 如何在Reduce端启用压缩
  • 参考文献

（123）压缩概述

压缩也是MR中比较重要的一环，其可以应用于Map阶段，比如说Map端输出的文件，也可以应用于Reduce阶段，如最终落地的文件。

压缩的好处，是减少磁盘的IO以及存储空间。缺点也很明显，就是极大增加了CPU的开销（频繁计算带来的频繁压缩与解压缩）。

压缩的基本原则：

  • 对运算密集型job，少用压缩；（计算时需要解压缩，计算完需要压缩，受不了）
  • 对IO密集型Job，多用压缩。

MR支持很多种压缩算法，常用的有以下几个：

压缩格式Hadoop自带？算法文件扩展名是否可切片换成压缩格式后，原来的程序是否需要修改
DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改
Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改
bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改
LZO否，需要安装LZO.lzo是需要建索引，还需要指定输入格式
Snappy是，直接使用Snappy.snappy否和文本处理一样，不需要修改

支持切片的话，使用上会更方便很多。

压缩性能的比较如下：

压缩算法原始文件大小压缩文件大小压缩速度解压速度
gzip8.3GB1.8GB17.5MB/s58MB/s
bzip28.3GB1.1GB2.4MB/s9.5MB/s
LZO8.3GB2.9GB49.3MB/s74.6MB/s

据说最好的还是Google开发的snappy，其官网介绍它的压缩速度是250MB/s，解压缩速度是500MB/s。

那在生产环境下，该如何选择合适的压缩方式呢？

一般是重点考虑以下几点：

  • 压缩/解压缩速度；
  • 压缩率，即压缩后的文件大小；
  • 压缩后是否还支持切片。

结合这几点，我们再回头看这几种压缩算法。

Gzip压缩：压缩率比较高，但是压缩/解压缩速度一般，且不支持切片；

Bzip2压缩，压缩率非常高，且支持切片，但是压缩/解压缩速度极慢；

Lzo压缩，压缩/解压缩速度非常快，且支持切片，但是压缩率一般；不过Lzo需要额外创建索引之后，才能支持切片。

Snappy压缩，压缩和解压缩速度极快，但不支持切片，压缩率一般。

压缩可以在MapReduce的任意阶段启用，一共三个阶段，即Map的输入端、Map到Reduce部分、Reduce的输出端。

在Map阶段启用

在Map的输入端启用压缩时：

不需要显式指定使用的编解码方式，Hadoop会自动通过文件扩展名，来选择合适的编解码方式。

同时，需要注意，如果数据量小于块大小的话，则可以考虑压缩、解压缩速度比较快的算法，如LZO、snappy；如果数据量大于块大小的话，则可以重点考虑支持切片的算法，如Bzip2和LZO。

在Mapper的输出端启用压缩时：

这里启用压缩，主要是为了减少MapTask和ReduceTask之间的网络IO，所以可以选择重点考虑压缩和解压缩快的LZO、snappy等。

在Reduce阶段启用

在Reducer的输出端启用压缩时：

如果输出的数据是需要永久保存，那么可以采用压缩率比较高的算法，以减少存储的空间；

如果是作为下一个MapReduce的输入，那么可以考虑数据量和是否支持切片。

（124）压缩案例实操

讲怎么写压缩代码的，此处只做了解，所以基本是直接复制教程文档。

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

要在Hadoop中启用压缩，可以配置如下参数

参数默认值阶段建议
io.compression.codecs （在core-site.xml中配置）无，这个需要在命令行输入hadoop checknative查看输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress（在mapred-site.xml中配置）falsemapper输出这个参数设为true启用压缩
mapreduce.map.output.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecmapper输出企业多使用LZO或Snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置）falsereducer输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2

抄一下案例。

如何在Map输出端启用压缩

假如想Mapper输出端启用压缩，只需要调整驱动类即可，Mapper和Reducer类不需要做特殊处理，跟正常一样就可以。

package com.atguigu.mapreduce.compress;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;	
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCountDriver {public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {Configuration conf = new Configuration();// 开启map端输出压缩conf.setBoolean("mapreduce.map.output.compress", true);// 设置map端输出压缩方式conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class,CompressionCodec.class);Job job = Job.getInstance(conf);job.setJarByClass(WordCountDriver.class);job.setMapperClass(WordCountMapper.class);job.setReducerClass(WordCountReducer.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.setInputPaths(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));boolean result = job.waitForCompletion(true);System.exit(result ? 0 : 1);}
}

如何在Reduce端启用压缩

假如想Reducer输出端启用压缩：

package com.atguigu.mapreduce.compress;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;
import org.apache.hadoop.io.compress.DefaultCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.io.compress.Lz4Codec;
import org.apache.hadoop.io.compress.SnappyCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCountDriver {public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {Configuration conf = new Configuration();Job job = Job.getInstance(conf);job.setJarByClass(WordCountDriver.class);job.setMapperClass(WordCountMapper.class);job.setReducerClass(WordCountReducer.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.setInputPaths(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));// 设置reduce端输出压缩开启FileOutputFormat.setCompressOutput(job, true);// 设置压缩的方式FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class); 
//	    FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class); 
//	    FileOutputFormat.setOutputCompressorClass(job, DefaultCodec.class); boolean result = job.waitForCompletion(true);System.exit(result?0:1);}
}

参考文献

  1. 【尚硅谷大数据Hadoop教程，hadoop3.x搭建到集群调优，百万播放】

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/112442.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

golang 图像验证码

golang 图像验证码

为什么base64图片 for RESTful 服务 Data URIs 支持大部分浏览器,IE8之后也支持.小图片使用base64响应对于RESTful服务来说更便捷安装golang包 go get -u github.com/mojocn/base64Captcha对于中国大陆Gopher go get golang.org/x/image 失败解决方案: mkdir -p $GOPATH/src/g…
阅读更多...
【C++ Primer Plus学习记录】复合类型总结

【C++ Primer Plus学习记录】复合类型总结

数组、结构和指针是C的3种复合类型。 数组可以在一个数据对象中存储多个同种类型的值。通过索引或者下标，可以访问数组中各个元素。 结构可以将多个不同类型的值存储在同一个数据对象中，可以使用成员运算符（.）来访问其中的成员。…
阅读更多...
虚拟音频设备软件 Loopback mac中文版软件介绍

虚拟音频设备软件 Loopback mac中文版软件介绍

创建虚拟音频设备以从应用程序和音频输入设备获取声音，然后将其发送到音频处理应用程序，它就是—Loopback for Mac，Loopback mac为您提供高端工作室混音板的强大功能，有了它在Mac上传递音频会变得很容易。 Loopback for mac中文版…
阅读更多...
Flink之窗口触发机制及自定义Trigger的使用

Flink之窗口触发机制及自定义Trigger的使用

1 窗口触发机制 窗口计算的触发机制都是由Trigger类决定的,Flink中为各类内置的WindowsAssigner都设计了对应的默认Trigger. 层次结构如下: Trigger ProcessingTimeoutTriggerEventTimeTriggerCountTriggerDeltaTriggerNeverTrigger in GlobalWindowsContinuousEventTimeTrigge…
阅读更多...
LuatOS-SOC接口文档(air780E)-- ir - 红外遥控

LuatOS-SOC接口文档(air780E)-- ir - 红外遥控

ir.sendNEC(pin, addr, cmd, repeat, disablePWM)# 发送NEC数据 参数 传入值类型 解释 int 使用的GPIO引脚编号 int 用户码（大于0xff则采用Extended NEC模式） int 数据码 int 可选，引导码发送次数（110ms一次&#xff0…
阅读更多...
Vue3.0里为什么要用 Proxy API 替代 defineProperty API ？

Vue3.0里为什么要用 Proxy API 替代 defineProperty API ？

一、Object.defineProperty 定义：Object.defineProperty() 方法会直接在一个对象上定义一个新属性，或者修改一个对象的现有属性，并返回此对象 为什么能实现响应式 通过defineProperty 两个属性，get及set get 属性的 getter 函…
阅读更多...
Swift使用Embassy库进行数据采集：热点新闻自动生成器

Swift使用Embassy库进行数据采集：热点新闻自动生成器

概述 爬虫程序是一种可以自动从网页上抓取数据的软件。爬虫程序可以用于各种目的，例如搜索引擎、数据分析、内容聚合等。本文将介绍如何使用Swift语言和Embassy库编写一个简单的爬虫程序，该程序可以从新闻网站上采集热点信息，并生成一个简单…
阅读更多...
GCC优化相关

GCC优化相关

文章目录 优化选项博文链接 单独设置某段代码优化等级博文链接 优化选项 -O/-O0:无优化(默认)-O1:使用能减少目标文件大小以及执行时间并且不会使编译时间明显增加的优化。该模式在编译大型程序的时候会花费更多的时间和内存。在-O1 下，编译会尝试减少代码体积和代码…
阅读更多...
Sarscape5.6版本中导入外部控制点、写入精密轨道文件与GACOS用于大气相位

Sarscape5.6版本中导入外部控制点、写入精密轨道文件与GACOS用于大气相位

SARscape中导入外部GCP点用于轨道精炼 https://www.cnblogs.com/enviidl/p/16524645.html在SAR处理时，有时会加入GCP点文件，SAR处理中用到的控制点分为两类：用于校正地理位置的几何控制点（Geometry GCP）和用于轨道精炼…
阅读更多...
多测师肖sir_高级金牌讲师___ui自动化之selenium001

多测师肖sir_高级金牌讲师___ui自动化之selenium001

一、认识selenium （1）selenium是什么？ a、selenium是python中的一个第三方库 b、Selenium是一个应用于web应用程序的测试工具，支持多平台，多浏览器，多语言去实现ui自动化测试，我们现在讲的Sel…
阅读更多...
Atlassian Confluence OGNL表达式注入RCE CVE-2021-26084

Atlassian Confluence OGNL表达式注入RCE CVE-2021-26084

影响版本 All 4.x.x versions All 5.x.x versions All 6.0.x versions All 6.1.x versions All 6.2.x versions All 6.3.x versions All 6.4.x versions All 6.5.x versions All 6.6.x versions All 6.7.x versions All 6.8.x versions All 6.9.x versions All 6.1…
阅读更多...
Android之播放本地视频和Url视频方法

Android之播放本地视频和Url视频方法

一、播放本地视频文件 根据文件路径在浏览器中播放，可用于视频预览等场景 效果： 用浏览器播放本地视频 文件路径例子： /storage/emulated/0/Android/data/com.custom.jfrb/files/Movies/1697687179497.mp4 File file new File("文件…
阅读更多...
RK3568笔记四：基于TensorFlow花卉图像分类部署

RK3568笔记四：基于TensorFlow花卉图像分类部署

若该文为原创文章，转载请注明原文出处。 基于正点原子的ATK-DLRK3568部署测试。 花卉图像分类任务，使用使用 tf.keras.Sequential 模型，简单构建模型，然后转换成 RKNN 模型部署到ATK-DLRK3568板子上。 在 PC 使用 Windows 系统…
阅读更多...
使用telegram机器人发送通知

使用telegram机器人发送通知

文章目录 背景1 创建机器人2 与机器人的会话3 调用API让机器人发送消息 背景 在训练深度学习模型时，除了粗略估计外，很难预测训练何时结束。此外，我们可能还想随时随地查看训练情况，如果每次都需要登录回服务器的话并不方便。因此…
阅读更多...
Kubernetes与Docker和Containerd是个什么关系

Kubernetes与Docker和Containerd是个什么关系

文章目录 小结描述实例参考 小结 Kubernetes 在不停地迭代演进，Kubernetes停止使用Docker做为Container Runtime，改为Containerd或者CRI-O等与与Container Runtime Interface (CRI)更兼容的Container Runtime，进行了小结。 容器组&#xff…
阅读更多...
wordpress网站部署了ssl证书之后就排版混乱了

wordpress网站部署了ssl证书之后就排版混乱了

刚给自己的小网站部署了SSL证书，之后就发现https访问主页竟然乱套了。在手机上访问却是正常的。 直接上解决方案： 编辑网站根目录下的wp-config.php文件 在自定义文本处添加以下代码： if ($_SERVER[HTTP_X_FORWARDED_PROTO] https) $_SE…
阅读更多...
PHP-FFMpeg 操作音视频

PHP-FFMpeg 操作音视频

✨ 目录 🎈 安装PHP-FFMpeg🎈 视频中提取一张图片🎈 视频中提取多张图片🎈 调整视频大小🎈 视频添加水印🎈 生成音频波形🎈 音频转换🎈 给音频添加元数据🎈 拼接多个音视…
阅读更多...
利用ArcGIS获取每一个冰川的中心位置经纬度坐标：要素转点和要素折点转点的区别

利用ArcGIS获取每一个冰川的中心位置经纬度坐标：要素转点和要素折点转点的区别

问题概述：下图是天山地区的冰川的分布，我们可以看到每一条冰川是一个面要素，要求得到每一个冰川（面要素）的中心经纬度坐标。 1.采用要素转点功能 选择工具箱的【数据管理工具】-【要素】-【要素转点】。完成之后再采用…
阅读更多...
计算机基础知识36

计算机基础知识36

数据库数据的演变史 ATM：1. 把数据都存在了文件中，文件名不规范 kevin|123 kevin123 kevin*123 2. 存储数据的文件越来越多，放在db文件夹，占用空间，查询存储不方便，速度慢 # 数据库软件能解…
阅读更多...
lnmp架构部署Discuz论坛并配置重定向转发

lnmp架构部署Discuz论坛并配置重定向转发

lnmp架构部署Discuz论坛并配置重定向转发 文章目录 lnmp架构部署Discuz论坛并配置重定向转发环境说明部署Discuz论坛系统下载Discuz论坛系统代码包，官网地址如下：部署Discuz论坛系统步骤：解压安装Discuz源码包配置虚拟主机进入Discuz安装界面…
阅读更多...
最新文章

Copyright @ 2022~2023