Hadoop-Yarn

 一、Yarn资源调度器

思考:

1)如何管理集群资源?

2)如何给任务合理分配资源?

Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台。

而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

1.1 Yarn基础架构

YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。

  • ResourceManager(RM)
    • 处理客户端请求
    • 监控NodeManager
    • 资源的分配与调度
    • 启动或监控ApplicationMaster
  • NodeManager(NM)
    • 管理单个节点上的资源
    • 处理来自ResourceManager的命令
    • 处理来自ApplicationMaster的命令
  • ApplicationMaster
    • 为应用程序申请资源并分配给内部的任务
    • 任务的监控与容错
  • Container
    • Container是 YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁 盘、网络等。

1.2 Yarn工作机制

  1. MR 程序提交到客户端所在的节点。
  2. YarnRunner 向 ResourceManager 申请一个 Application。
  3. RM 将该应用程序的资源路径返回给 YarnRunner。
  4. 该程序将运行所需资源提交到 HDFS 上。
  5. 程序资源提交完毕后,申请运行 mrAppMaster。
  6. RM 将用户的请求初始化成一个 Task。
  7. 其中一个 NodeManager 领取到 Task 任务。
  8. 该 NodeManager 创建容器 Container,并产生 MRAppmaster。
  9. Container 从 HDFS 上拷贝资源到本地。
  10. MRAppmaster 向 RM 申请运行 MapTask 资源。
  11. RM 将运行 MapTask 任务分配给另外两个 NodeManager,另两个 NodeManager 分别领取任务并创建容器。
  12. MR 向两个接收到任务的 NodeManager 发送程序启动脚本,这两个 NodeManager分别启动 MapTask,MapTask 对数据分区排序。
  13. MrAppMaster 等待所有 MapTask 运行完毕后,向 RM 申请容器,运行 ReduceTask。
  14. ReduceTask 向 MapTask 获取相应分区的数据。
  15. 程序运行完毕后,MR 会向 RM 申请注销自己。

1.3 作业提交全过程

HDFS、YARN、MapReduce三者关系

作业提交过程之YARN:

作业提交过程之HDFS & MapReduce

作业提交全过程详解

(1)作业提交

第 1 步:Client 调用 job.waitForCompletion 方法,向整个集群提交 MapReduce 作业。

第 2 步:Client 向 RM 申请一个作业 id。

第 3 步:RM 给 Client 返回该 job 资源的提交路径和作业 id。

第 4 步:Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。

第 5 步:Client 提交完资源后,向 RM 申请运行 MrAppMaster。

(2)作业初始化

第 6 步:当 RM 收到 Client 的请求后,将该 job 添加到容量调度器中。

第 7 步:某一个空闲的 NM 领取到该 Job。第 8 步:该 NM 创建 Container,并产生 MRAppmaster。第 9 步:下载 Client 提交的资源到本地。

(3)任务分配

第 10 步:MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。

第 11 步:RM 将运行 MapTask 任务分配给另外两个 NodeManager,另两个 NodeManager分别领取任务并创建容器。

(4)任务运行

第 12 步:MR 向两个接收到任务的 NodeManager 发送程序启动脚本,这两个NodeManager 分别启动 MapTask,MapTask 对数据分区排序。

第13步:MrAppMaster等待所有MapTask运行完毕后,向RM申请容器,运行ReduceTask。

第 14 步:ReduceTask 向 MapTask 获取相应分区的数据。

第 15 步:程序运行完毕后,MR 会向 RM 申请注销自己。

(5)进度和状态更新

YARN 中的任务将其进度和状态(包括 counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval 设置)向应用管理器请求进度更新, 展示给用户。

(6)作业完成

除了向应用管理器请求作业进度外, 客户端每 5 秒都会通过调用 waitForCompletion()来检查作业是否完成。

时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。

作业完成之后, 应用管理器和 Container 会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

1.4 Yarn调度器和调度算法

目前,Hadoop 作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(FairScheduler)。

Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。CDH 框架默认调度器是 Fair Scheduler。具体设置详见:yarn-default.xml 文件

1.4.1 先进先出调度器

FIFO 调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。

优点:简单易懂;

缺点:不支持多队列,生产环境很少使用

1.4.2 容量调度器

Capacity Scheduler 是 Yahoo 开发的多用户调度器。

  • 多队列:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。
  • 容量保证:管理员可为每个队列设置资源最低保证和资源使用上限
  • 灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。
  • 多租户:支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

1)队列资源分配

从root开始,使用深度优先算法,优先选择资源占用率最低的队列分配资源。

2)作业资源分配

默认按照提交作业的优先级和提交时间顺序分配资源。

3)容器资源分配

按照容器的优先级分配资源;如果优先级相同,按照数据本地性原则:

(1)任务和数据在同一节点

(2)任务和数据在同一机架

(3)任务和数据不在同一节点也不在同一机架

1.4.3 公平调度器

Fair Schedulere 是 Facebook 开发的多用户调度器。

1)与容量调度器相同点

(1)多队列:支持多队列多作业

(2)容量保证:管理员可为每个队列设置资源最低保证和资源使用上线

(3)灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。

(4)多租户:支持多用户共享集群和多应用程序同时运行;为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

2)与容量调度器不同点

(1)核心调度策略

容量调度器:优先选择资源利用率低的队列公平调度器:

优先选择对资源的缺额比例大的

(2)每个队列可以单独设置资源分配方式

容量调度器:FIFO、 DRF

公平调度器:FIFO、FAIR、DRF

公平调度器设计目标是:在时间尺度上,所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”•

调度器会优先为缺额大的作业分配资源。

公平调度器队列资源分配方式:

1)FIFO策略

公平调度器每个队列资源分配策略如果选择FIFO的话,此时公平调度器相当于上面讲过的容量调度器。

2)Fair策略

Fair 策略(默认)是一种基于最大最小公平算法实现的资源多路复用方式,默认情况下,每个队列内部采用该方式分配资源。这意味着,如果一个队列中有两个应用程序同时运行,则每个应用程序可得到1/2的资源;如果三个应用程序同时运行,则每个应用程序可得到1/3的资源。

具体资源分配流程和容量调度器一致;(1)选择队列(2)选择作业(3)选择容器

以上三步,每一步都是按照公平策略分配资源

  • 实际最小资源份额:mindshare = Min(资源需求量,配置的最小资源)
  • 是否饥饿:isNeedy = 资源使用量 < mindshare(实际最小资源份额)
  • 资源分配比:minShareRatio = 资源使用量 / Max(mindshare, 1)
  • 资源使用权重比:useToWeightRatio = 资源使用量 / 权重

1.5 Yarn常用命令

Yarn 状态的查询,除了可以在 hadoop103:8088 页面查看外,还可以通过命令操作。常见的命令操作如下所示:

1.5.1 yarn application查看任务

(1)列出所有 Application

yarn application -list

(2)根据 Application 状态过滤:yarn application -list -appStates (所有状态:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)

yarn application -list -appStates

(3)Kill 掉 Application:

yarn application -killapplication_1612577921195_0001

1.5.2 yarn logs查看日志

(1)查询 Application 日志:yarn logs -applicationId

yarn logs -applicationIdapplication_1612577921195_0001

(2)查询 Container 日志:yarn logs -applicationId -containerId

yarn logs -applicationIdapplication_1612577921195_0001 -containerIdcontainer_1612577921195_0001_01_000001

1.5.3 yarn application attempt 查看尝试运行的任务

(1)列出所有 Application 尝试的列表:yarn applicationattempt -list

yarn applicationattempt -listapplication_1612577921195_0001

(2)打印 ApplicationAttemp 状态:yarn applicationattempt -status

yarn applicationattempt -statusappattempt_1612577921195_0001_000001

1.5.4 yarn container 查看容器

(1)列出所有 Container:yarn container -list

yarn container -listappattempt_1612577921195_0001_000001

(2)打印 Container 状态:yarn container -status

yarn container -statuscontainer_1612577921195_0001_01_000001

1.5.5 yarn node 查看节点状态

列出所有节点:yarn node -list -all

yarn node -list -all

1.5.6 yarn rmadmin更新配置

加载队列配置:yarn rmadmin -refreshQueues

yarn rmadmin -refreshQueues

1.5.7 yarn queue查看队列

打印队列信息:yarn queue -status

yarn queue -status default

1.6 Yarn生产环境核心参数

1)ResourceManager相关

  • yarn.resourcemanager.scheduler.class 配置调度器,默认容量
  • yarn.resourcemanager.scheduler.client.thread-count ResourceManager处理调度器请求的线程数量,默认50

2)NodeManager相关

  • yarn.nodemanager.resource.detect-hardware-capabilities 是否让yarn自己检测硬件进行配置,默认false
  • yarn.nodemanager.resource.count-logical-processors-as-cores 是否将虚拟核数当作CPU核数,默认false
  • yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数,例如:4核8线程,该参数就应设为2,默认1.0
  • yarn.nodemanager.resource.memory-mb NodeManager使用内存,默认8G
  • yarn.nodemanager.resource.system-reserved-memory-mb NodeManager为系统保留多少内存
  • yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制container,默认打开
  • yarn.nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制container,默认打开
  • yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例,默认2.1

3)Container相关

  • yarn.scheduler.minimum-allocation-mb 容器最最小内存,默认1G
  • yarn.scheduler.maximum-allocation-mb 容器最最大内存,默认8G
  • yarn.scheduler.minimum-allocation-vcores 容器最小CPU核数,默认1个
  • yarn.scheduler.maximum-allocation-vcores 容器最大CPU核数,默认4个

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/793377.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

5.110 BCC工具之btrfsslower.py解读

一,工具简介 btrfsslower 显示慢于阈值的 btrfs 读取、写入、打开和同步操作 二,代码示例 #!/usr/bin/env pythonfrom __future__ import print_function from bcc import BPF import argparse from datetime import datetime, timedelta from time import strftime# symb…

【IoTDB 线上小课 01】我们聊聊“金三银四”下的开源

关于 IoTDB&#xff0c;关于物联网&#xff0c;关于时序数据库&#xff0c;关于开源...你是否仍有很多疑问&#xff1f; 除了自己钻研文档&#xff0c;群里与各位“大佬”的沟通&#xff0c;你是否还希望能够有个学习“捷径”&#xff1f; 天谋科技发起社区小伙伴&#xff0c;正…

数据分析(三)线性回归模型实现

1. 惩罚线性回归模型概述 线性回归在实际应用时需要对普通最小二乘法进行一些修改。普通最小二乘法只在训练数据上最小化错误&#xff0c;难以顾及所有数据。 惩罚线性回归方法是一族用于克服最小二乘法&#xff08; OLS&#xff09;过拟合问题的方法。岭回归是惩罚线性回归的…

【机器学习理论】2023 Spring Homework 2 Solution

注:此答案为非官方但正确的答案 Problem 1 (Empirical and Average Rademacher Complexity): In class, we defined the Rademacher complexity of a function set H \mathcal{H} H as R n ( H ) = E S

关于rabbitmq的prefetch机制

消息预取机制&#xff08;Prefetch Mechanism&#xff09;是RabbitMQ中用于控制消息传递给消费者的一种机制。它定义了在一个信道上&#xff0c;消费者允许的最大未确认的消息数量。一旦未确认的消息数量达到了设置的预取值&#xff0c;RabbitMQ就会停止向该消费者发送更多消息…

PS从入门到精通视频各类教程整理全集,包含素材、作业等(8)

PS从入门到精通视频各类教程整理全集&#xff0c;包含素材、作业等 最新PS以及插件合集&#xff0c;可在我以往文章中找到 由于阿里云盘有分享次受限制和文件大小限制&#xff0c;今天先分享到这里&#xff0c;后续持续更新 B站-PS异闻录&#xff1a;萌新系统入门课课程视频 …

2024年最新社交相亲系统源码下载

最新相亲系统源码功能介绍 参考&#xff1a;相亲系统源码及功能详细介绍 相亲系统主要功能 &#xff08;已完成&#xff09; 相亲系统登录注册 相亲系统会员列表 相亲系统会员搜索 相亲系统会员详情 相亲系统会员身份认证 - 对接阿里云 相亲系统资源存储 - 对接七…

大意了MySQL关键字EXPLAIN

一、问题 然后explain带了单引号、以区别其关键字 二、报错如下 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near explain, us.nickname AS user_send_nickname, ua.nickname…

学习鸿蒙基础(12)

目录 一、网络json-server配置 &#xff08;1&#xff09;然后输入&#xff1a; &#xff08;2&#xff09;显示下载成功。但是输入json-server -v的时候。报错。 &#xff08;3&#xff09;此时卸载默认的json-server &#xff08;4&#xff09;安装和nodejs匹配版本的js…

页面刚加载的时候显示自己定义的{{***}}然后一闪而过

这时候别用插值表达式语法了&#xff0c;直接用v-text或者v-html就能解决这个问题 但是有个问题&#xff0c;如下图所示&#xff1a; 具体bind使用方式&#xff0c;如下图所示&#xff1a; 但是v-bind也可以进行简写&#xff0c;就是去掉v-bind&#xff0c;直接写&#xff1a…

2404d,d语言支持源码包

原文 支持源码包文件 这是个编译器功能,而不是D语言功能. 与给链接器提供目标文件库方式类似,给编译器添加源码包文件支持.包(及其所有子文件)都可成为源码包文件. 然后,把源码包文件提供给编译器,而不是包含大量文件的目录.即,如,可按一个(std.sar)文件分发所有的标准库. …

什么是typescript?

typescript并不是一种全新的语言&#xff0c;准确来说是js的一种超级&#xff0c;任何合法的js代码都是可以在typescript上运行&#xff0c;反过来说&#xff0c;ts上包含着一些js上一些没有的功能 ts包含着目前很多主流的标准&#xff0c;甚至包含了很多目前正在实验的语法。…

如何正确使用reflect:Go反射规范与最佳实践

在Go语言中,reflect包提供了一种强大的机制,允许我们在运行时检查和操作类型信息。正确使用reflect可以帮助我们编写更灵活和动态的代码。以下是一些如何正确使用reflect的示例和最佳实践: 1. 理解reflect.Type和reflect.Value 首先,我们需要理解reflect.Type和reflect.V…

Claude-3超越GPT-4:下一代AI在编程、学术和写作领域的突破

在当今这个信息爆炸的时代&#xff0c;人工智能技术的进步为我们提供了前所未有的便利。尤其是在编程、学术研究和专业写作等领域&#xff0c;AI的辅助作用变得尤为重要。最近&#xff0c;我有幸体验了一款新型的人工智能工具——Claude-3&#xff0c;它的表现让我惊讶不已&…

golang 归并回源策略

前言 下面是我根据业务需求画了一个架构图&#xff0c;没有特别之处&#xff0c;很普通&#xff0c;都是我们常见的中间件&#xff0c;都是一些幂等性GET 请求。有一个地方很有意思&#xff0c;从service 分别有10000 qps 请求到Redis&#xff0c;并且它们的key 是一样的。这样…

小于n的最大数 Leetcode 902 Numbers At Most N Given Digit Set

这两个问题的本质就是一个棵树&#xff0c;然后根据n对树做剪枝。难点在于剪的时候边界条件有些坑&#xff0c;get_lower_largest_digit_dic是这两个题目的共同点 题目一&#xff1a; 小于n的最大数 算法题目&#xff1a;小于n的最大数 问题描述&#xff1a;给一个数组nums[5…

『python爬虫』巨量http代理使用 每天白嫖1000ip(保姆级图文)

目录 注册 实名得到API链接和账密 Python3requests调用Scpay总结 欢迎关注 『python爬虫』 专栏&#xff0c;持续更新中 欢迎关注 『python爬虫』 专栏&#xff0c;持续更新中 注册 实名 注册巨量http 用户概览中领取1000ip,在动态代理中使用.用来测试一下还是不错的 得到AP…

什么是rsync协议

2024年4月5日&#xff0c;周五上午 rsync协议是一种用于文件同步和传输的协议&#xff0c;旨在高效地在两个位置之间传输文件或文件夹&#xff0c;并且在传输时只传输文件的差异部分&#xff0c;从而减少带宽占用和传输时间。 以下是rsync协议的主要特点和工作原理&#xff1a…

Ribbon有哪些负载均衡策略

负载均衡类都实现了IRule接口。 RandomRule&#xff1a;随机的选用一个实例 RoundRobinRule&#xff1a;轮询的使用实例 RetryRule&#xff1a;在轮询的基础上加了一个错误重试机制&#xff0c;在deadline时间内会不断的重试 WeightResponeTimeRule&#xff1a;根据权重去做…

55555555555555

欢迎关注博主 Mindtechnist 或加入【Linux C/C/Python社区】一起学习和分享Linux、C、C、Python、Matlab&#xff0c;机器人运动控制、多机器人协作&#xff0c;智能优化算法&#xff0c;滤波估计、多传感器信息融合&#xff0c;机器学习&#xff0c;人工智能等相关领域的知识和…