9-MapReduce开发技术

单选题
题目1:MapReduce自定义排序规则需要重写下列那项方法
选项:
A  readFields()
B  compareTo()
C  map()
D  reduce()
答案:B
------------------------------
题目2:下面关于MapReduce模型中Map函数与Reduce函数的描述正确的是
选项:
A  一个Map函数就是对一部分原始数据进行指定的操作
B  一个Map操作就是对每个Reduce所产生的一部分中间结果进行合并操作。
C  Map与Map之间不是相互独立的。
D  Reducee与Reduce之间不是相互独立的。
答案:A
------------------------------
题目3:MapReduce适用于
选项:
A  任意应用程序
B  任意可以在Windows Server 2008上的应用程序
C  可以串行处理的应用程序
D  可以并行处理的应用程序
答案:D
------------------------------
题目4:在Hadoop中,下面哪个是默认的inputFormat类型,它将每行内容作为新值,而将字节偏移量作为Key
选项:
A  FileInputFormat
B  TextInputFormat
C  KeyValueTextInputFormat
答案:B
------------------------------
题目5:下面哪个是一种编程模型,它将大规模的数据处理工作拆分成互相独立的任务然后并行处理
选项:
A  MapReduce
B  HDFS
C  Pig
答案:A
------------------------------
题目6:在Hadoop的分区阶段,默认的Partitioner是什么
选项:
A  HashPar
B  Partitioner
C  HashPartitioner
答案:C
------------------------------
题目7:在MapReduce中,下面哪个阶段是并行进行的
选项:
A  Shuffle和Map
B  Shuffle和Sort
C  Reduce和Sort
答案:B
------------------------------
题目8:有关MapReduce,下面哪个说法是正确的
选项:
A  它提供了资源管理能力
B  它是开源数据仓库系统,用于查询和分析存储在Hadoop中的大型数据集
C  它是Hadoop数据处理层
答案:C
------------------------------
题目9:编写MapReduce程序时,下列叙述错误的是
选项:
A  reduce函数所在的类必须继承自Reducer类
B  map函数的输出就是reduce函数的输入
C  reduce函数的输出默认是有序的
D  启动MapReduce进行分布式并行计算的方法是start()
答案:D
------------------------------
题目10:Hadoop MapReduce计算的流程是
选项:
A  Map任务—Shuffle—Reduce任务
B  Map任务—Reduce任务—Shuffle
C  Reduce任务—Map任务—Shuffle
D  Shuffle—Map任务—Reduce任务
答案:A
------------------------------
多选题
题目1:关于MapReduce的shuffle过程,叙述正确的是
选项:
A  Shuffle分为Map任务端的Shuffle和Reduce任务段的Shuffle
B  Map任务的输出结果不是立即写入磁盘,而是首先写入缓存
C  并非所有场合都可以使用合并操作
D  每个Reduce任务真正开始之前,大部分时间都在从Map端领取所需的数据
答案:ABCD
------------------------------
题目2:MapReduce为了保证任务的正常执行,采用哪些容错机制
选项:
A  重复执行
B  重新开始整个任务
C  推测执行
D  直接丢弃执行效率低的作业
答案:AC
------------------------------
题目3:对MapReduce的体系结构,以下说法正确的是
选项:
A  分布式编程架构
B  以数据为中心,更看重吞吐率
C  分而治之的思想
D  将一个任务分解成多个子任务
答案:ABCD
------------------------------
题目4:MapReduce体系结构主要由哪几个部分组成
选项:
A  TaskTracker
B  Task
C  JobTracker
D  Client
答案:ABCD
------------------------------
题目5:下列关于传统并行计算框架(比如MPI)和MapReduce并行计算框架比较正确的是
选项:
A  前者相比后者学习起来更难
B  前者是共享式(共享内存/共享存储),容错性差,后者是非共享式的,容错性好
C  前者适用于实时、细粒度计算、计算密集型,后者适用于批处理、非实时、数据密集型
D  前者所需硬件价格贵,可扩展性差,后者硬件便宜,扩展性好
答案:ABCD
------------------------------
题目6:MapReduce与HBase的关系,哪些描写叙述是正确的?
选项:
A  两者不可或缺,MapReduce是HBase能够正常执行的保证
B  两者不是强关联关系,没有MapReduce,HBase能够正常执行
C  MapReduce能够直接访问HBase
D  它们之间没有不论什么关系
答案:BC
------------------------------
判断题
题目1:分区数量是ReduceTask的数量。
选项:
答案:
------------------------------
题目2:Map阶段处理数据时,是按照Key的哈希值与ReduceTask数量取模进行分区的规则。
选项:
答案:
------------------------------
题目3:在Hadoop中每个应用程序被表示成一个作业,每个作业又被分成多个任务,JobTracker的负责作业的分解、状态监控以及资源管理。
选项:
答案:
------------------------------
题目4:Map的主要工作是将多个任务的计算结果进行汇总。
选项:
答案:错误
------------------------------
题目5:HDFS是分布式文件系统,其命名空间包括块、目录和文件。
选项:
答案:
------------------------------
题目6:HDFS集群开始启动时,其处于安全模式,可以进行读操作,不能进行写操作。
选项:
答案:
------------------------------
题目7:两个键值对<“hello”,1>和<“hello”,1>x,如果对其进行归并(merge),会得到<“hello”,<1,1>>,如果对其进行合并(combine),会得到<“hello”,2>。
选项:
答案:错误
------------------------------
题目8:MapReduce设计的一个理念就是“计算向数据靠拢”,而不是“数据向计算靠拢”,因为,移动数据需要大量的网络传输开销。
选项:
答案:
------------------------------
填空题
题目1:Sqoop底层利用_____技术以_____方式加快了数据传输速度,并且具有较好的容错性功能。
选项:
答案:
MapReduce
批处理
------------------------------
题目2:Partitioner组件目的是 _____
选项:
答案:将key均匀分布在ReduceTask上
------------------------------
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/200051.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker安装与基础操作

Docker优势&#xff1a; 1.交付物标准化&#xff1a;标准化设计大大提高了物流体系的运行效率。传统的软件交付物包括&#xff1a;应 用程序、依赖软件安装包、配置说明文档、安装文档、上线文档等非标准 化组件。…

234 回文链表

解题思路&#xff1a; \qquad 由于链表的结构特点&#xff0c;访问链表中的元素的时间复杂度为O(n)。相比较而言&#xff0c;使用数组会方便很多&#xff0c;实现O(1)访问。 \qquad 所以这个题&#xff0c;可以先遍历一遍把数值存到数组中&#xff0c;再使用双指针判断是否是…

openlayers地图使用---跟随地图比例尺动态标绘大小的一种方式

openlayers地图使用—跟随地图比例尺动态标绘大小的一种方式 预期&#xff1a;随着地图比例尺放大缩小&#xff0c;地图上的标绘随着变化尺寸 结果图 页面元素 <script src"https://cdn.bootcdn.net/ajax/libs/openlayers/8.1.0/dist/ol.min.js"></script…

7_企业架构MySQL读写分离

企业架构MySQL读写分离 学习目标和内容 1、能够理解读写分离的目的 2、能够描述读写分离的常见实现方式 3、能够通过项目框架配置文件实现读写分离 4、能够通过中间件实现读写分离 一、背景描述及其方案设计 1、业务背景描述 时间&#xff1a;2014.6.-2015.9 发布产品类型&…

AntDesignBlazor示例——创建项目

本示例是AntDesign Blazor的入门示例&#xff0c;在学习的同时分享出来&#xff0c;以供新手参考。 示例代码仓库&#xff1a;https://gitee.com/known/AntDesignDemo 1. 开发环境 VS2022 17.8.2.NET8AntDesign 0.16.2 2. 学习目标 创建新项目安装AntDesign组件包及使用方…

帆软部分公式及sql生成(月份、季度取数)

以下均为帆软公式&#xff1a; 1.获得当前月往后推三月&#xff0c;如当前为8月&#xff0c;获得“9-11月”字样if($DATA_MONTH_BOX<10,($DATA_MONTH_BOX1)-($DATA_MONTH_BOX3)月, if($DATA_MONTH_BOX10,$DATA_YEAR_BOX年11月-$NEXT_YEAR年1月, if($DATA_MONTH_BO…

不知道如何制作电商产品说明书?推荐一个很好的方法!

作为一名电商从业者&#xff0c;你可能会经常面临一个问题&#xff1a;如何制作一份详细且吸引人的产品说明书&#xff1f;这的确是一个棘手的问题&#xff0c;因为产品说明书不仅要准确地描述产品的特点和功能&#xff0c;还要能够吸引潜在客户的注意。 一、电商网站制作产品说…

基于轻量级模型GHoshNet开发构建眼球眼疾识别分析系统,构建全方位多层次参数对比分析实验

工作中经常会使用到轻量级的网络模型来进行开发&#xff0c;所以平时也会常常留意使用和记录&#xff0c;在前面的博文中有过很多相关的实践工作&#xff0c;感兴趣的话可以自行移步阅读即可。 《移动端轻量级模型开发谁更胜一筹&#xff0c;efficientnet、mobilenetv2、mobil…

动态规划求解0/1背包问题

题目: 你有一个背包和一些物品&#xff0c;每个物品都有自己的体积和价值。背包有一个最大的体积限制。目标是选择一些物品放入背包&#xff0c;使得背包中物品的总价值最大&#xff0c;同时保证背包中物品的总体积不超过背包的体积限制。 思路: 初始化变量和数组&#xff1a;…

06、pytest将多个测试放在一个类中

官方用例 # content of test_class.py # 实例1 class TestClass:def test_one(self):x "this"assert "h" in xdef test_two(self):x "hello"assert hasattr(x,"check")# content of test_class_demo.py # 每个测试都有唯一的类实例…

VUE学习笔记(表单数据收集)

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>收集表单数据</title><script type"t…

Java异常机制入门详解(下)

异常的处理方式 异常有3中处理方式&#xff0c;分别是&#xff1a; ①JVM默认的处理方式 ②自己处理 ③抛出异常 JVM默认的处理方式 ●把异常的名称&#xff0c;异常原因及异常出现的位置等信息输出在了控制台&#xff08;以红色字体&#xff09; ●程序停止执行&#x…

CopyOnWriteArrayList怎么用

什么是CopyOnWriteArrayListCopyOnWriteArrayList常用方法CopyOnWriteArrayList源码详解CopyOnWriteArrayList使用注意点CopyOnWriteArrayList存在的性能问题CopyOnWriteArrayList 使用实例基本应用实例并发应用实例 拓展写时复制 什么是CopyOnWriteArrayList CopyOnWriteArra…

企业网络安全守护者:EventLog Analyzer日志审计系统

在当今数字时代&#xff0c;企业网络不仅仅是业务运营的核心&#xff0c;也成为各种潜在威胁的目标。为了保障企业的网络安全&#xff0c;日志审计系统成为了不可或缺的一环。其中&#xff0c;ManageEngine的EventLog Analyzer作为一款强大而全面的日志管理与审计解决方案&…

回顾Django的第六天

1.session的使用 1.1Cookie 客户端浏览器上的键值对----为了做会话保持 -怎么来的&#xff1f; 服务端写入的---》服务端再返回的响应头中写入---》浏览器会自动取出来--》存起来 -key value 形式--》过期时间---》path---》http only。。。 -只要浏览器中有cookie&…

【第三方】微信登录

目录 前言小程序登录步骤说明前端效果涉及到的接口登录凭证&#xff1a;wx.login获取用户信息&#xff1a;wx.getUserInfo 后端涉及到接口小程序登录 代码展示 微信扫码登录 前言 微信官方文档&#xff0c;需要对接哪个模块就从哪里进入。 由于本次我们需要的是小程序的登录。…

有趣的代码——有故事背景的程序设计3

这篇文章再和大家分享一些有“背景”的程序设计&#xff0c;希望能够让大家学到知识的同时&#xff0c;对编程学习更感兴趣&#xff0c;更能在这条路上坚定地走下去。 目录 1.幻方问题 2.用函数打印九九乘法表 3.鸡兔同笼问题 4.字数统计 5.简单选择排序 1.幻方问题 幻方又…

【无标题】什么是UL9540测试,UL9540:2023版本增加哪些测试项目

什么是UL9540测试&#xff0c;UL9540:2023版本增加哪些测试项目 UL 9540是美国安全实验室&#xff08;Underwriters Laboratories&#xff09;发布的标准&#xff0c;名称为"UL 9540: Energy Storage Systems and Equipment"&#xff0c;翻译为中文为"能量存储…

【JavaWeb】前端工程化(VUE3)

前端工程化&#xff08;VUE3&#xff09; 文章目录 前端工程化&#xff08;VUE3&#xff09;一、概述二、ECMA6Script2.1 es6的变量和模板字符串2.2 es6的解构表达式2.3 es6的箭头函数2.4 rest和spread2.5 es6的对象创建和拷贝2.6 es6的模块化处理 三、前端工程化环境搭建3.1 N…

数据分析师的学习之路-pandas篇(7)

继续接上篇&#xff0c;这次学习下透视表、线性回归还有根据条件上颜色。 3.9 透视表 在excel里也经常用到透视表来构建想要的列的组合来形成一个新的表&#xff0c;在pandas里也能做。 举例数据是这样的&#xff1a; 是各种类产品的订单数据&#xff0c;现在想做一个透视表&…