【大数据】YARN调度器及调度策略

YARN调度器

YARN负责作业资源调度，在集群中找到满足业务的资源，帮助作业启动任务，管理作业的生命周期。

​

YARN技术架构

​

目前，Hadoop作业调度器主要有三种：先进先出调度器（First In First Out）、容量调度器（Capacity Scheduler）、公平调度器（Fair Scheduler）。

Apache Hadoop-1.x 默认调度器为先进先出调度器（First In First Out）；

Apache-Hadoop-2.7.2 之后默认调度器是容量调度器（Capacity Scheduler）；

Apache-Hadoop-3.2.2 默认调度器是公平调度器（Fair Scheduler）。

1.先进先出调度器

FIFO调度器(First In First Out): 单队列，根据提交作业的先后顺序，先到先得。

1.1 先进先出调度器的特点

  1. 无需任何配置，作业按照先来后到分配资源，但会出现小任务被大任务阻塞的情况。

2.容量调度器

Yahoo开发的多用户调度器，容量调度器每个队列内部先进先出，同一时间队列中只有一个任务在执行，队列的并行度为队列的个数。

2.1 容量调度器特点

  1. 多队列：每隔队列可以配置一定的资源量，每个队列内部采用先进先出的调度策略。

  2. 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限。

  3. 资源灵活：如果一个队列中的资源有剩余，可以暂时共享给哪些需要资源的队列，而一旦该队列有新的作业提交，则其他队列借调的资源会归还给该队列。

  4. 多租户：支持多用户共享集群和多作业同时运行；为了防止一个用户的作业独占队列中的资源，可以对用户提交作业所使用的资源进行限定。

2.2 容量调度器配置模板

容量调度器的配置文件是 capacity-scheduler.xml。

参数名称说明
capacity队列容量百分比 (%)，每个级别的所有队列的容量总和必须等于 100，该值也可以配置为绝对资源，如 [memory=10240,vcores=12]，这表示 10GB 内存和 12 个 VCore。
maximum-capacity队列容量最大百分比（%），需要确保每个队列的绝对最大容量大于等于绝对容量。此外，将此值设置为 -1 会将最大容量设置为 100%，也可以设置为绝对资源。
maximum-allocation-mb每个队列在资源管理器上分配给每个容器请求的最大内存限制。此设置覆盖集群配置 yarn.scheduler.maximum-allocation-mb。该值必须小于等于集群最大值。
maximum-allocation-vcores每个队列在资源管理器中分配给每个容器请求的虚拟内核的最大限制。此设置会覆盖集群配置 yarn.scheduler.maximum-allocation-vcores。该值必须小于或等于集群最大值。
user-settings.[user-name].weight此浮点值用于计算队列中的用户限制资源值。该值将使每个用户的权重大于或小于队列中的其他用户。例如，如果用户 A 在队列中接收的资源比用户 B 和 C 多 50%，则用户 A 的此属性将设置为 1.5。用户 B 和 C 将默认为 1.0。
minimum-user-limit-percent如果有资源需求，每个队列都会在任何时刻强制限制分配给用户的资源百分比。用户限制可以在最小值和最大值之间变化，但不会小于此设置值。例如，假设该属性的值为 25，如果两个用户向一个队列提交了应用程序，则没有一个用户可以使用超过 50% 的队列资源。如果第三个用户提交程序，则没有一个用户可以使用超过 33% 的队列资源。对于 4 个或更多用户，任何用户都不能使用超过 25% 的队列资源。值为 100 表示不施加用户限制，默认值为 100，值指定为整数。
<property><name>yarn.scheduler.capacity.root.queues</name> // 队列列表，新增加的队列需要在这个配置项中添加<value>a,b,c</value><description>当前等级的队列，root表示根队列</description>
</property>
​
<property><name>yarn.scheduler.capacity.root.a.queues</name> // 子队列配置<value>a1,a2</value><description>当前等级的队列，root表示根队列</description>
</property>
​
<!--子队列样例 test-->
<property><name>yarn.scheduler.capacity.root.test.capacity</name><value>3</value>
<description>test队列在默认标签下标准队列容量，各个队列该属性相加必须等于100</description>
</property>
​
<property><name>yarn.scheduler.capacity.root.test.maximum-capacity</name><value>4.5</value><description>test队列在默认标签下最大队列容量，当其他队列空闲时，可以占用空闲的资源。通常该值给上边标准容量值的1.5倍，该属性相加不用等于100</description>
</property>
​
<property><name>yarn.scheduler.capacity.root.test.maximum-applications</name><value>1000</value><description>test队列最大任务提交数，通常普通租户给200左右即可</description>
</property>
​
<property><name>yarn.scheduler.capacity.root.test.acl_submit_applications</name><value>tdpzj</value><description>test队列的提交权限用户</description>
</property>
​
<property><name>yarn.scheduler.capacity.root.test.acl_administer_queue</name><value>tdpzj</value><description>test队列的管理权限用户</description>
</property>
​
<property><name>yarn.scheduler.capacity.root.test.state</name><value>RUNNING</value><description>test队列的状态，包括RUNNING和STOPPED状态</description>
</property>

3.公平调度器

Facebook开发的多用户调度器，

3.1 公平调度器的特点

  1. 多队列：每隔队列可配置一定的资源，每个队列内部采用先进先出的调度策略。

  2. 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限。

  3. 资源灵活：如果一个队列中的资源有剩余，可以暂时共享给哪些需要资源的队列，而一旦该队列有新的作业提交，则其他队列借调的资源会归还给该队列。

  4. 多租户：支持多用户共享集群和多作业同时运行；为了防止一个用户的作业独占队列中的资源，可以对用户提交作业所使用的资源进行限定。

3.2 公平调度器配置模板

公平调度器配置文件是 fair-scheduler.xml。

参数名称说明
minResources最少资源保证量，设置格式为“X mb, Y vcores”，当一个队列的最少资源保证量未满足时，它将优先于其他同级队列获得资源，对于不同的调度策略（后面会详细介绍），最少资源保证量的含义不同，对于fair策略，则只考虑内存资源，即如果一个队列使用的内存资源超过了它的最少资源量，则认为它已得到了满足；对于drf策略，则考虑主资源使用的资源量，即如果一个队列的主资源量超过它的最少资源量，则认为它已得到了满足。
maxResources最多可以使用的资源量，fair scheduler会保证每个队列使用的资源量不会超过该队列的最多可使用资源量。
maxRunningApps最多同时运行的应用程序数目。通过限制该数目，可防止超量Map Task同时运行时产生的中间输出结果撑爆磁盘。
minSharePreemptionTimeout最小共享量抢占时间。如果一个资源池在该时间内使用的资源量一直低于最小资源量，则开始抢占资源。
schedulingMode/schedulingPolicy队列采用的调度模式，可以是fifo、fair或者drf。
aclSubmitApps可向队列中提交应用程序的Linux用户或用户组列表，默认情况下为“*”，表示任何用户均可以向该队列提交应用程序。需要注意的是，该属性具有继承性，即子队列的列表会继承父队列的列表。配置该属性时，用户之间或用户组之间用“，”分割，用户和用户组之间用空格分割，比如“user1, user2 group1,group2”。
aclAdministerApps该队列的管理员列表。一个队列的管理员可管理该队列中的资源和应用程序，比如可杀死任意应用程序。

配置示例：

<?xml version="1.0"?>
<allocations><queue name="sample_queue"> //队列名<minResources>10000 mb,0vcores</minResources> //最小资源<maxResources>90000 mb,0vcores</maxResources> //最大资源<maxRunningApps>50</maxRunningApps> //可以同时运行的作业数<weight>2.0</weight> //权值<schedulingPolicy>fair</schedulingPolicy> //队列内部调度策略，可选的有：fair、fifo、drf 或者 继承该类的子类（org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.SchedulingPolicy）<queue name="sample_sub_queue"> //队列的子目录<minResources>5000 mb,0vcores</minResources></queue></queue><user name="sample_user"> //对于特定用户的配置<maxRunningApps>30</maxRunningApps></user><userMaxAppsDefault>5</userMaxAppsDefault> //默认的用户最多可以同时运行的任务
</allocations>

4.公平调度器与容量调度器的区别

4.1 核心调度策略不同

  1. 容量调度器优先选择资源利用率低的队列；

  2. 公平调度器优先选择对资源缺额比例大的队列。

4.2 每个队列可设置的调度策略不同

  1. 容量调度器：FIFO、DRF（内存+CPU）；

  2. 公平调度器：FIFO、FAIR、DRF。

5.调度策略

5.1. FIFO策略

公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。

5.2 Fair策略

Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。

具体资源分配流程和容量调度器一致：选择队列、选择作业、选择容器，以上三步，每一步都是按照公平策略进行资源的分配。

5.3 DRF策略

DRF（Dominant Resource Fairness），在进行作业资源分配的分配时同时考虑内存和CPU。

例如集群中一共用100CPU和10TB的内存，作业A需要（2CPU，300GB），作业B需要（6CPU，100GB），在集群中两个作业分别需要（2%CPU，3%内存）、（6%CPU，1%内存）的资源，这表示作业A是内存主导的，作业B是CPU主导的，针对这种场景，可以考虑引入DRF策略对不同的作业进行内存和CPU的限制。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/643394.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

electron-updater使用整理

electron-updater使用整理

参考文章&#xff1a; 手撸 Electron 自动更新&#xff0c;再繁琐也要搞懂它 - 掘金 (juejin.cn)Electron 自动更新&#xff0c;绕过 latest.yml 使用自定义接口 - 掘金 (juejin.cn)electron-updater实现热更新完整流程 - 掘金 (juejin.cn) 一、 配置 1. 安装electron-updat…
阅读更多...
【正点原子STM32】搭建开发环境(安装MDK和器件支持包、DAP仿真器和ST LINK仿真器、CH340串口驱动)

【正点原子STM32】搭建开发环境(安装MDK和器件支持包、DAP仿真器和ST LINK仿真器、CH340串口驱动)

一、常用开发工具简介 MDKDAP 二、安装MDK 1、MDK简介2、如何获取MDK3、安装MDK和器件支持包 三、安装仿真器驱动 DAP仿真器免驱ST LINK仿真器驱动安装方法 ST LINK驱动及教程 四、安装CH340 USB虚拟串口驱动 1、安装CH340 USB虚拟串口驱动2、为什么要安装CH340 USB虚拟…
阅读更多...
Google ASPIRE框架：赋予大型语言模型（LLMs）自我评估的新动力

Google ASPIRE框架：赋予大型语言模型（LLMs）自我评估的新动力

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…
阅读更多...
大数据学习之Flink、比较不同框架的容错机制

大数据学习之Flink、比较不同框架的容错机制

第一章、Flink的容错机制 第二章、Flink核心组件和工作原理 第三章、Flink的恢复策略 第四章、Flink容错机制的注意事项 第五章、Flink的容错机制与其他框架的容错机制相比较 目录 第五章、Flink的容错机制与其他框架的容错机制相比较 Ⅰ、Flink的容错机制与其他框架的容…
阅读更多...
springboot 整合 ElasticSearch 方法 (一)

springboot 整合 ElasticSearch 方法 (一)

下载 ES 相当于安装 MySQL, 可以在官网上下载 (链接在后面). 要注意安装的 ES 的版本要和项目中用的 Springboot 的版本对应. 比如我用的 Springboot 版本是 2.6, 所以ES要下载7.15 版本的. 官网链接: https://www.elastic.co/cn/downloads/elasticsearch 点右边这个查看更多…
阅读更多...
腾讯云4核8G12M服务器我的世界mc够多少人？

腾讯云4核8G12M服务器我的世界mc够多少人？

mc我的世界服务器4核8g够多少人&#xff1f;80人&#xff0c;4核8G服务器最多支持80人同时在线。关于我的世界服务器的CPU和内存有用户测试过&#xff0c;阿腾云atengyun.com认为最多可以支持80人同时在线。如果运行的云服务器配置较低&#xff0c;启动游戏后可以在左下角看到配…
阅读更多...
展厅设计更好的方法

展厅设计更好的方法

一、与公司形象契合 在展厅规划时必定要留意公司的LOGO、主色调&#xff0c;以及企业文明。在展现时使用丰满的展厅规划传达出企业的理念。而在功用设置上&#xff0c;应当考虑内涵功用&#xff0c;从展厅作业人员的视点动身&#xff0c;为展厅作业人员提供杰出的环境&#xff…
阅读更多...
【Java】---反射：Class、Filed、Constructor、Method

【Java】---反射：Class、Filed、Constructor、Method

【Java】—反射 文章目录 【Java】---反射一、反射1.1 概念1.2 操作步骤 二、Class类2.1 概念2.2 方法2.2.1 getName()2.2.2 getSimpleName()2.2.3 getPackage()2.2.4 getSuperclass()2.2.5 getInterfaces() 三、Field类3.1 概念3.2 方法3.2.1 setAccessible(Boolean b)3.2.2 s…
阅读更多...
关于图像分割项目的可视化脚本

关于图像分割项目的可视化脚本

1. 前言 之前实现了目标检测和图像分类任务的可视化脚本&#xff0c;本章将最后一个分割任务的可视化脚本实现 效果展示如下&#xff1a; 代码会在当前目录保存展示好的图片&#xff0c;从左到右依次为&#xff0c;原图、mask图、mask覆盖在原图的掩膜图 关于目标检测的可视化…
阅读更多...
HTTP状态信息

HTTP状态信息

1xx: 信息 消息:描述:100 Continue服务器仅接收到部分请求&#xff0c;但是一旦服务器并没有拒绝该请求&#xff0c;客户端应该继续发送其余的请求。101 Switching Protocols服务器转换协议&#xff1a;服务器将遵从客户的请求转换到另外一种协议。 2xx: 成功 消息:描述:200…
阅读更多...
【蓝桥杯选拔赛真题61】python偶数平方 第十五届青少年组蓝桥杯python 选拔赛比赛真题解析

【蓝桥杯选拔赛真题61】python偶数平方 第十五届青少年组蓝桥杯python 选拔赛比赛真题解析

目录 python偶数平方 一、题目要求 1、编程实现 2、输入输出
阅读更多...
【二】从零到1设计一个丧葬行业小程序

【二】从零到1设计一个丧葬行业小程序

1、准备工作 1-1、服务器准备 腾讯云轻量级服务器 4核2G 地址: http://1.14.34.13/ 购买域名 www.pengyangyan.work &#xff08;备案中&#xff09; 图片服务器&#xff1a;七牛云 1-2、环境配置 服务器 docker容器部署 https://blog.csdn.net/pengyangyan/article/d…
阅读更多...
app如何实现悬浮框滚动到那个模块定位到那。

app如何实现悬浮框滚动到那个模块定位到那。

如图&#xff1a; 使用uniapp内置方法 onPageScroll 获取到滚动了多少。 其实拿到屏幕滚动多少就很简单了&#xff0c;下面是思路。 tap栏切换效果代码就不贴了。直接贴如何到那个模块定位到哪&#xff0c;和点击定位到当前模块。 <view v-if"show" class&qu…
阅读更多...
Java中异常的优雅处理方式

Java中异常的优雅处理方式

工作当中经常遇到程序跑异常的问题&#xff0c;而优雅处理异常则是高质量代码的关键。本文将深入讨论Java中异常的优雅处理方式&#xff0c;通过代码示例和实际使用场景进行详细说明&#xff0c;帮助大家更好地理解和应用异常处理机制。 1. 异常处理基础 在Java中&#xff0c…
阅读更多...
HarmonyOS鸿蒙应用开发( 四、重磅组件List列表组件使用详解)

HarmonyOS鸿蒙应用开发( 四、重磅组件List列表组件使用详解)

List列表组件&#xff0c;是一个非常常用的组件。可以说在一个应用中&#xff0c;它的身影无处不在。它包含一系列相同宽度的列表项&#xff0c;适合连续、多行呈现同类数据&#xff0c;如商品列表、图片列表和和文本列表等。ArkUI 框架采用 List 容器组件创建列表&#xff08;…
阅读更多...
某国有企业后备人才培养机制建设

某国有企业后备人才培养机制建设

某电力勘测设计院始建于1958年&#xff0c;是中国电力建设集团有限公司旗下的大型电力工程咨询公司。伴随着中国电力事业的发展&#xff0c;已发展为具备甲级电力工程规划、咨询、勘测、设计、总承包、环境及安全管理评价、地质灾害勘察、评估与治理、光电建筑一体化及发电专项…
阅读更多...
大数据学习之Flink算子、了解DataStream API（基础篇一）

大数据学习之Flink算子、了解DataStream API（基础篇一）

DataStream API &#xff08;基础篇&#xff09; 注&#xff1a; 本文只涉及DataStream 原因&#xff1a;随着大数据和流式计算需求的增长&#xff0c;处理实时数据流变得越来越重要。因此&#xff0c;DataStream由于其处理实时数据流的特性和能力&#xff0c;逐渐替代了DataSe…
阅读更多...
Windows下安装达梦8开发版数据库

Windows下安装达梦8开发版数据库

达梦数据库属于国产主流数据库之一&#xff0c;本文记录WIndows下安装最新的达梦8数据库的过程。   达梦官网&#xff08;参考文献1&#xff09;下载开发版&#xff08;X86平台&#xff09;版安装包&#xff0c;如下图所示&#xff1a; 解压安装包后&#xff0c;其中包含ISO文…
阅读更多...
Unity中UGUI在Mask剪裁粒子特效的实现

Unity中UGUI在Mask剪裁粒子特效的实现

在Unity使用Mask是剪裁不了粒子特效的&#xff0c;之前有想过RenderTexture来实现&#xff0c;不过使用RenderTexture不适合用于很多个特效&#xff0c;因为RenderTexture依赖Camera的照射&#xff0c;如果在背包中每种道具都有不同的特效&#xff0c;那使用RenderTexture则需要…
阅读更多...
Vue3+Vite+Cesium项目开发心得（实时更新）

Vue3+Vite+Cesium项目开发心得（实时更新）

之前就想写的&#xff0c;纯属个人习惯总结&#xff0c;欢迎订正&#xff01; Cesium相关 1. Cesium包的引入&#xff0c;我还是建议直接放到public下面&#xff0c;html里直接加script标签的形式&#xff1b; 2. Vue的响应式不要挂接任何Cesium创建的任何对象&#xff0c;尤…
阅读更多...
最新文章

Copyright @ 2022~2023