优化yarn在任务执行时核数把控不准确的问题

核数不准这个事情是个概率问题,如果你碰见了,只能说你有点非欧,本质上是因为集群配置问题,默认时yarn不会去精准把控任务的核数,因为默认的资源计算方式是用实际内存去估算核数,这就导致如果大家配置任务时,如果实际内存占用比较多,yarn的资源计算可能结果就会和实际的产生误差,导致资源的使用出现各种问题

如果你想要让yarn准确的计算使用多少核,那么需要更改所有节点中的capacity-scheduler.xml配置文件

原配置文件中的
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator
要修改为
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

这样大家再去看的时候就会发现核数也是正确的了,其实yarn之所以这样,想想也好理解,核数是定死的,但是内存本质上受Hadoop最小申请资源数和规整化因子的原因,使得内存的使用其实是不饱满的,所有yarn时刻注意内存的理论使用情况,从而没有太多注意核数和continer,以此为程序员提供一个可参考的内存数字,不然内存不够会OOM的!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/26996.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

探索新领域的四步学习策略

一、构建知识框架 广泛探索: 在探索新领域的初始阶段,我们需要像探险家一样进行全面的扫描。首先,利用网络资源,广泛搜集不同难度和视角的书籍、文章、在线课程等材料,以确保获得多元化的视角。不要局限于单一的观点或…

LSTM 词语模型上的动态量化

原文链接 (beta) Dynamic Quantization on an LSTM Word Language Model — PyTorch Tutorials 2.3.0cu121 documentation 引言 量化涉及将模型的权重和激活值从浮点数转换为整数,这样可以缩小模型大小,加快推理速度,但对准确性的影响很小…

GitHub每日最火火火项目(6.14)

以下是按照要求对每个项目的总结: 项目名称:huggingface / diffusers 项目介绍:diffusers 是一个强大的工具库,专注于图像和音频生成的扩散模型。它提供了一系列预训练模型和便捷的接口,使开发者能够轻松地探索和利用…

vue2项目更换element-ui的主题色(绝对有效,操作简单)

vue2项目更换element-ui的主题色(绝对有效,操作简单) 前言:使用vue2element-ui开发web端项目的朋友应该会有修改element-ui主题色的需求,然而 网上几年前就各种传言element-ui不再维护了,官网显示的最后一次更新日期为2023-08-24…

leetcode打卡#day42 62. 不同路径、63. 不同路径 II、343. 整数拆分、96. 不同的二叉搜索树

62. 不同路径 class Solution { public://动态规划int uniquePaths(int m, int n) {//dp数组&#xff0c;记录到达目的地的路径数vector<vector<int>> dp(m, vector(n, 0));//初始化for(int i0; i< m; i) dp[i][0] 1;for(int i0; i< n; i) dp[0][i] 1;//遍…

【智能家居控制系统项目】一、项目系统镜像烧录与系统登录

前言 完成本章节将可以获得本项目的系统UI界面功能。本章节主要介绍如何烧录项目系统镜像以及进入系统。配套的视频介绍可以点击跳转到智能家居项目复刻配套视频 1.系统功能页面介绍 完成本章全部步骤&#xff0c;我们将可使用以下项目系统功能界面。 1.1 家居总览界面 主界面…

【成品设计】基于STM32的单相瞬时值反馈逆变器

《基于STM32的单相瞬时值反馈逆变器》 整体功能&#xff1a; 图13 软件框图 如图13所示&#xff0c;由于本设计中需要通过定时器中断执行一些程序&#xff0c;故首先对中断进行初始化。中断初始化以后即为对串口进行初始化&#xff0c;总共初始化了两个串口&#xff0c;第一个…

Ubuntu软件操作的相关命令

更新源 : sudo apt-get update 安装包 : sudo apt-get install package 删除包 : sudo apt-get remove package 搜索软件包 : sudo apt-cache search package 获取包的相关信息&#xff0c;如说明、⼤⼩、版本等 : sudo apt-cache show package 重新安装包 : sudo apt-get…

SQL SERVER触发器记录指定的几笔资料更新记录

1.目的 为了记录数据库表中资料数据动态的变更&#xff0c;实时动态且方便调整记录的范围。 2.分析 需求:记录UPDATE 修改的记录 if exists(select 1 from inserted) and exists(select 1 from deleted) &#xff1a;修改if (exists (select 1 from inserted) and n…

Unity 设置窗口置顶超级详解版

目录 前言 一、user32.dll 1.什么是user32.dll 2.如何使用user32.dll 二、句柄Handle 1.句柄 2.句柄的功能 3.拿句柄的方法 三、窗口置顶 1.窗口置顶的方法 2.参数说明 3.使用方法 四、作者的碎碎念 前言 up依旧挑战全网讲解最详细版本~~ 本篇文章讲解的是unity…

基于软件在环的飞控机建模仿真

安全关键系统&#xff08;Safety-Critical System&#xff0c;SCS&#xff09;是指由于某些行为或组合行为能够引发整体系统失效&#xff0c;继而导致财物损失、人员受伤等严重影响的系统&#xff0c;诸多安全关键领域如航空航天、核电系统、医疗设备、交通运输等领域的系统都属…

网络编程---Java飞机大战联机

解析服务器端代码 代码是放在app/lib下的src下的main/java&#xff0c;而与之前放在app/src/main下路径不同 Main函数 Main函数里只放着创建MyServer类的一行 public static void main(String args[]){new MyServer();} MyServer构造函数 1.获取本机IP地址 //获取本机IP地…

捋清UITableView展示不同类型数据的差异

背景&#xff1a; UITableView可以展示分组数据和单组数据&#xff0c;一般这两种数据有4种情况&#xff1a; 单组数据的简单类型&#xff0c;本身为字典数组&#xff0c;内部字典key对应的value全为基本数据类型。&#xff08;如lol英雄展示案例&#xff0c;不分组且组内信息…

一五零、MAC 安装mysql可视化工具连接

mysql安装&#xff0c;按照网上教程一步步安装&#xff08;官网下载安装包->解压->完成安装&#xff09;&#xff0c;最后在「系统偏好设置」无法启动mysql。 原因&#xff1a;下载的版本是8.0最新版本&#xff0c;MAC上这种方法无法启动成功。 解决方法 换低版本的mys…

如何利用 Go 高效地构建大规模并发网络应用?

要利用Go高效地构建大规模并发网络应用&#xff0c;可以考虑以下几个方面&#xff1a; 使用Goroutine并发处理&#xff1a;Goroutine是Go语言中的轻量级线程&#xff0c;可以轻松创建成千上万个并发的任务。通过使用Goroutine&#xff0c;可以高效地处理大量的并发请求&#xf…

C#版 iText7——画发票PDF(完整)

显示描述&#xff1a; 1、每页显示必须带有发票头、“销售方和购买方信息” 2、明细填充为&#xff1a;当n≤8 行时&#xff0c;发票总高度140mm&#xff0c;每条发票明细行款高度4.375mm&#xff1b; 当8<n≤12行时&#xff0c;发票高度增加17.5mm&#xff0c;不换页&#…

我们一起聊聊 Go 性能工具

从开发到部署的整个过程都离不开基本的负载测试和性能剖析。利用 Go 的 pprof 和跟踪工具&#xff0c;开发人员可以深入了解性能瓶颈、CPU 使用率和内存分配情况。 在开发过程中&#xff0c;从一开始到应用程序的推出都充满了挑战&#xff0c;而负载测试则是其中至关重要的一项…

Kettle 数据抽取工具使用教程:从入门到实战

一、简介 Kettle 是 Pentaho Data Integration (PDI) 的一个组成部分&#xff0c;是一个开源的数据集成工具。它被广泛用于数据的抽取、转换和加载 (ETL) 过程。Kettle 提供了一个易于使用的图形界面&#xff0c;可以轻松设计和执行 ETL 流程。 github 源码地址&#xff1a;ht…

postman教程-19-mock测试

上一小节我们学习了Postman接口参数化方法&#xff0c;本小节我们讲解一下Postman mock测试的方法。 一、什么叫mock测试 mock测试就是在测试过程中&#xff0c;对某些不容易构造或者不容易获取的对象&#xff0c;用一个虚拟的对象来创建以便于测试的一种测试方法&#xff0c…

chatgpt 生成的 左侧导航功能的网页

目录 一、左侧导航 1、效果如下&#xff1a; 2、代码如下&#xff1a; 3、技术点&#xff1a; 1)、箭头居中 2)、导航区域 3)、导航隐藏时&#xff0c;正文重新居中 4)、设置视口高度 这是用chatgpt生成的网页&#xff0c;其实&#xff0c;不是一下子就生成了满足需求的…