yarn的资源优化的调整参数

yarn的资源优化的调整参数
在这里插入图片描述

官网:
https://hadoop.apache.org/docs/r3.3.6/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

没事多看官网哈

yarn.nodemanager.resource.memory-mb:用于设置NodeManager节点的总内存容量,单位为MB。根据集群的物理内存情况,适当调整该参数可以确保分配给Yarn的内存资源与集群实际可用内存一致。

yarn.nodemanager.resource.cpu-vcores:用于设置NodeManager节点的总虚拟核心数。与内存类似,根据集群的CPU资源情况进行调整,确保分配给Yarn的CPU资源与集群实际可用CPU核心数相匹配。

yarn.scheduler.minimum-allocation-mb:用于设置Yarn调度器的最小内存分配单位,单位为MB。这个参数可以决定Yarn对任务的最小内存需求,可以根据任务的特性和集群资源来进行调整。

yarn.scheduler.maximum-allocation-mb:用于设置Yarn调度器的最大内存分配单位,单位为MB。这个参数决定了Yarn对任务的最大内存需求限制,可以根据集群资源情况来进行适配。

yarn.scheduler.minimum-allocation-vcores:用于设置Yarn调度器的最小虚拟核心数分配单位。这个参数可以决定Yarn对任务的最小CPU需求,可以根据任务的特性和集群CPU资源来进行调整。

yarn.scheduler.maximum-allocation-vcores:用于设置Yarn调度器的最大虚拟核心数分配单位。这个参数决定了Yarn对任务的最大CPU需求限制,可以根据集群CPU资源情况来进行适配。

yarn.scheduler.capacity..maximum-allocation-mb:用于设置队列的最大内存分配量,如前面提到的。通过设置这个参数,可以对不同队列进行细粒度的内存控制

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/81068.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PostgreSQL缓存管理

缓冲区管理器、存储和后端进程之间的关系 缓存管理结构 PostgreSQL 缓冲区管理器由buffer table、buffer descriptors和buffer pool组成。buffer pool层存储表和索引等数据文件页,以及空闲空间映射和可见性映射。buffer pool是一个数组,每个槽存储数据文…

TensorFlow与pytorch特定版本虚拟环境的安装

TensorFlow与Python的版本对应,注意,一定要选择对应的版本,否则会让你非常痛苦,折腾很久搞不清楚原因。 建议使用国内镜像源安装 没有GPU后缀的就表示是CPU版本的,不加版本就是最新 pip install tensorflow -i https:…

Python 正则表达式匹配特殊字符串

文章目录 匹配特殊的字符串提取特殊的字符串 匹配特殊的字符串 匹配字符串中特定格式的字符串, 在一串字符串中,先找到特殊规则的substring, 然后再提取相关的位置value strings [result-2023-08-18-6g1s1ch-DB9909, result-2023-08-18-4g1s3ch-DB99…

150.逆波兰表达式求值

目录 一、题目 二、分析代码 三、中缀表达式转后缀表达式 一、题目 150. 逆波兰表达式求值 - 力扣&#xff08;LeetCode&#xff09; 二、分析代码 class Solution { public:int evalRPN(vector<string>& tokens) {stack<int>s;for(auto ch:tokens){if(ch!…

【面试刷题】——Qt事件处理器级别的划分

在Qt中&#xff0c;事件处理器&#xff08;Event Handler&#xff09;可以分为不同的级别&#xff0c;以适应不同的需求和场景。以下是Qt事件处理器级别的划分&#xff1a; 应用程序级别事件处理器&#xff1a; 这是最高级别的事件处理器&#xff0c;通常用于处理应用程序范围…

车载软件架构 —— AUTOSAR Vector SIP包(一)

车载软件架构 —— AUTOSAR Vector SIP包(一) 我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 没有人关注你。也无需有人关注你。你必须承认自己的价值,你不能站在他人的角度来反对自己。人生在…

进程程序替换

✅<1>主页&#xff1a;&#xff1a;我的代码爱吃辣 &#x1f4c3;<2>知识讲解&#xff1a;Linux——进程替换 ☂️<3>开发环境&#xff1a;Centos7 &#x1f4ac;<4>前言&#xff1a;我们创建子进程的目的是什么&#xff1f;想让子进程帮我们执行特定的…

Docker搭建ELK日志采集服务及Kibana可视化图表展示

架构 ES docker network create elkmkdir -p /opt/ELK/es/datachmod 777 /opt/ELK/esdocker run -d --name elasticsearch --net elk -p 9200:9200 -p 9300:9300 -e "discovery.typesingle-node" -v /opt/ELK/es/plugins:/usr/share/elasticsearch/plugins -v /opt/…

嵌入式C 语言中的三块技术难点

​ C 语言在嵌入式学习中是必备的知识&#xff0c;甚至大部分操作系统都要围绕 C 语言进行&#xff0c;而其中有三块技术难点&#xff0c;几乎是公认级别的“难啃的硬骨头”。 今天就来带你将这三块硬骨头细细拆解开来&#xff0c;一定让你看明白了。 0x01 指针 指针是公认…

redis实战-redis实现异步秒杀优化

秒杀优化-异步秒杀思路 未优化的思路 当用户发起请求&#xff0c;此时会请求nginx&#xff0c;nginx会访问到tomcat&#xff0c;而tomcat中的程序&#xff0c;会进行串行操作&#xff0c;分成如下几个步骤 1、查询优惠卷 2、判断秒杀库存是否足够 3、查询订单 4、校验是否是一…

关于try..catch..finally..throw

try 每个try块必须与至少一个catch或finally块&#xff0c;否则会抛出SyntaxError错误。 单独使用try块进行验证&#xff1a; try { throw new Error(Error while executing the code); } 1 2 3 ⓧ Uncaught SyntaxError: Missing catch or finally after try 1 try…catch …

大厂超全安全测试--关于安全测试的分类及如何测试

安全测试&#xff08;总结&#xff09; 1.jsonNP劫持 &#xff08;其实json劫持和jsonNP 劫持属于CSRF跨站请求伪造&#xff09;的攻击范畴&#xff0c;解决方法和CSRF一样 定义&#xff1a;构造带有jsonp接口的恶意页面发给用户点击&#xff0c;从而将用户的敏感信息通过js…

Jtti:Ubuntu下如何迁移Thunderbird邮件

要迁移Thunderbird邮件&#xff0c;您需要复制和转移Thunderbird的邮件文件和配置文件。以下是一般的迁移步骤&#xff1a; 注意&#xff1a;在进行迁移之前&#xff0c;请确保Thunderbird已经安装在目标Ubuntu系统上。 备份旧系统的Thunderbird数据&#xff1a; 在源系统上打开…

MySQL——主从复制

简介 在实际的生产中&#xff0c;为了解决Mysql的单点故障已经提高MySQL的整体服务性能&#xff0c;一般都会采用「主从复制」。 主从复制开始前有个前提条件&#xff1a;两边的数据要一样&#xff0c;主必须开启二进制日志 dump thread 线程 基于位置点从是否需要开启二进…

【面试刷题】——什么是面向过程 什么是面向对象

"面向过程"和"面向对象"是两种不同的编程范式&#xff0c;它们描述了程序的设计和组织方式。 面向过程编程&#xff08;Procedural Programming&#xff09;&#xff1a; 面向过程编程是一种以过程或函数为中心的编程范式。在面向过程编程中&#xff0c;…

计算机组成原理——基础入门总结(一)

本帖更新一些关于计算机组成原理的重点内容。由于博主考研时并不会考这门课&#xff0c;但是考虑到操作系统中又很多重要晦涩的概念涉及很多诸如内存、存储器、磁盘、cpu乃至各种寄存器的知识&#xff0c;此处挑选一些核心的内容总结复盘一遍——实现声明&#xff1a;本帖的内容…

Python统计pdf中英文单词的个数

之前的文章提供了批量识别pdf中英文的方法,详见【python爬虫】批量识别pdf中的英文,自动翻译成中文上。以及自动pdf英文转中文文档,详见【python爬虫】批量识别pdf中的英文,自动翻译成中文下。    本文实现python统计pdf中英文字符的个数。 文章目录 一、要统计字符的pdf…

第16篇ESP32 platformio_arduino框架 wifi联网_连接WiFi热点并连接tcp server收发数据进行通讯

第1篇:Arduino与ESP32开发板的安装方法 第2篇:ESP32 helloword第一个程序示范点亮板载LED 第3篇:vscode搭建esp32 arduino开发环境 第4篇:vscodeplatformio搭建esp32 arduino开发环境 ​​​​​​第5篇:doit_esp32_devkit_v1使用pmw呼吸灯实验 第6篇:ESP32连接无源喇叭播…

许可分析 license分析 第十一章

许可分析是指对软件许可证进行详细的分析和评估&#xff0c;以了解组织内部对软件许可的需求和使用情况。通过许可分析&#xff0c;可以帮助组织更好地管理和优化软件许可证的使用。以下是一些可能的许可分析方法和步骤&#xff1a; 软件许可证监管合规性&#xff1a;严格遵守软…

Linux 文件创建、查看

touch、cat、more命令 ①touch命令——创建文件 ②cat命令——查看文件内容全部显示 这是txt.txt文件内容 使用cat命令查看 ③more命令——查看文件内容支持翻页 在查看的过程中&#xff0c;通过空格翻页&#xff0c;通过q退出查看