hadoop yarm你知道吗?

一、概念

Hadoop YARN(Yet Another Resource Negotiator)是Hadoop 2.x版本中的一个重要组件,用于资源管理和作业调度。它是Hadoop的第二代资源管理器,取代了Hadoop 1.x版本中的MapReduce作业调度器。

通俗地理解它的作用有点像一个大型公司的行政部门,负责合理分配公司的资源(如办公室空间、电脑等)给不同的部门和员工,以确保公司运作高效。

二、主要组成

YARN主要由三个部分组成:

  1. ResourceManager (RM):它是整个集群资源的大管家,负责管理和调度资源。
  2. NodeManager (NM):它是每台机器上的代理,负责监控和管理机器上的资源,并向ResourceManager报告。
  3. ApplicationMaster (AM):每个应用程序都有一个AM,它负责与ResourceManager协商资源,并管理应用程序的执行。

YARN的基本理念是将资源管理和作业调度/监控的功能分解为单独的组件。其核心思想是拥有一个全局的ResourceManager(RM)和每个应用程序的ApplicationMaster(AM)。一个应用程序可以是单个作业,也可以是一系列相关的作业。

ResourceManager和NodeManager构成了数据计算框架的核心。ResourceManager是系统中调解所有应用程序资源分配的最终机构。NodeManager是每台计算机上的框架代理,负责管理容器,监视它们的资源使用情况(CPU、内存、磁盘、网络),并将这些信息报告给ResourceManager/Scheduler。

每个应用程序的ApplicationMaster实际上是一个特定于框架的库,它的任务是与ResourceManager协商资源,并与NodeManager一起执行和监控任务。

三、主要功能

YARN的主要功能包括:

1. 资源管理:YARN负责管理整个Hadoop集群的资源,包括内存、CPU等,以便有效地运行作业。

2. 作业调度:YARN通过调度器(Scheduler)来分配集群资源给不同的应用程序。它支持多种调度器,如FIFO、Capacity Scheduler和Fair Scheduler,允许用户根据不同的需求进行资源调度和分配。

3. 容错性:YARN具有高可用性和容错性,能够处理节点故障或其他异常情况,并自动重新分配作业。

4. 多框架支持:除了支持MapReduce,YARN还可以运行其他分布式计算框架,如Apache Spark、Apache Flink等,使得Hadoop集群更加灵活多样化。

四、具体使用

yarn-site.xml 是 Apache Hadoop YARN(Yet Another Resource Negotiator)组件的配置文件之一,用于配置 YARN 的各种参数和属性。yarn-site.xml 中的配置项可以影响 YARN 的行为和性能。

以下是一个简单的 yarn-site.xml 配置示例:

<configuration><!-- 指定 ResourceManager 的地址 --><property><name>yarn.resourcemanager.hostname</name><value>your_resourcemanager_hostname</value></property><!-- 指定 NodeManager 的地址 --><property><name>yarn.nodemanager.hostname</name><value>your_nodemanager_hostname</value></property><!-- 配置日志存储路径 --><property><name>yarn.nodemanager.log-dirs</name><value>/var/log/yarn</value></property><!-- 配置 YARN 容器的资源上限 --><property><name>yarn.nodemanager.resource.memory-mb</name><value>8192</value> <!-- 内存上限,单位为MB --></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>4</value> <!-- CPU 核心数上限 --></property><!-- 配置 YARN 调度器 --><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> <!-- 使用容量调度器 --></property>
</configuration>

在这个示例中:

  • yarn.resourcemanager.hostname 指定了 ResourceManager 的主机名。
  • yarn.nodemanager.hostname 指定了 NodeManager 的主机名。
  • yarn.nodemanager.log-dirs 指定了日志存储路径。
  • yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcores 分别指定了 NodeManager 的资源上限。
  • yarn.resourcemanager.scheduler.class 指定了使用的调度器类型,这里使用了容量调度器。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/11254.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何通过外网访问内网服务器?

随着网络的普及和各行各业对互联网的应用需求增加&#xff0c;通过外网访问内网服务器的需求也越来越多。在传统的网络环境下&#xff0c;要实现外网访问内网服务器需要进行繁琐的端口映射设置&#xff0c;而且还会受到网络环境限制和数据安全问题的困扰。现在有了一种名为【天…

Springboot整合 Spring Cloud Alibaba Sentinel

1.Sentinel介绍 官方文档地址&#xff1a; https://sentinelguard.io/zh-cn/docs/introduction.html https://github.com/alibaba/Sentinel/wiki/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8Sentinel 是面向分布式、多语言异构化服务架构的流量治理组件&#xff0c;主要以流量为切入…

定制聚四氟乙烯大圆桶50L

PTFE聚四氟乙烯圆桶是高性能化学实验器皿&#xff0c;适用于强酸强碱环境。具有化学稳定性、耐高温、良好密封、易清洗、环保安全等特点。 常规四氟桶-超大规格四氟桶均可定制&#xff0c;一体成型&#xff0c;保证密封&#xff0c;可长期保存高纯试剂。 产品特性 1.超纯实验…

Elastic 基于 RAG 的 AI 助手:利用 LLM 和私有 GitHub 问题分析应用程序问题

作者&#xff1a;来自 Elastic Bahubali Shetti 作为 SRE&#xff0c;分析应用程序比以往更加复杂。 你不仅必须确保应用程序以最佳状态运行以确保良好的客户体验&#xff0c;而且还必须了解某些情况下的内部工作原理以帮助排除故障。 分析基于生产的服务中的问题是一项团队运动…

python项目中exec路径处理

理解Python中的exec()函数及其参数 在Python编程中&#xff0c;exec()函数是一个强大的工具&#xff0c;它允许动态地执行存储在字符串或代码对象中的Python代码。然而&#xff0c;由于其能力强大&#xff0c;exec()的使用也需要谨慎&#xff0c;以避免潜在的安全风险。本文将…

C#:输出任意一个数的逆序数

任务描述 本关任务&#xff1a;从键盘输入一个整数&#xff0c;输出该数的逆序数。如369的逆序数是963,478的逆序数是874 编程要求 根据提示&#xff0c;在右侧编辑器补充代码&#xff0c;计算并输出一个数的逆序数。 测试说明 平台会对你编写的代码进行测试&#xff1a; 测…

回炉重造java----多线程

概念 注&#xff1a; main方法其实也是一个线程。在java中所以的线程都是同时启动的&#xff0c;至于什么时候&#xff0c;哪个先执行&#xff0c;完全看谁先得到CPU的资源。在java中&#xff0c;每次程序运行至少启动2个线程。一个是main线程&#xff0c;一个是垃圾收集(gc )线…

【Ubuntu】apt命令安装最新版本Nginx

目录 环境前言添加Nginx仓库步骤1、仓库公钥2、文本公钥转二进制GPG公钥&#xff08;可选&#xff09;3、添加apt软件源4、安装新版Nginx 参阅 环境 Ubuntu 22.04 前言 ubuntu官方apt软件仓库&#xff08;或者叫软件源&#xff09;的软件版本可能会比较旧&#xff0c;导致无…

AI算法-高数5-线性代数1-基本概念、向量

线性代数&#xff1a;主要研究1、张量>CV计算机视觉 2、研究张量的线性关系。 深度学习的表现之所以能够超过传统的机器学习算法离不开神经网络&#xff0c;然而神经网络最基本的数据结构就是向量和矩阵&#xff0c;神经网络的输入是向量&#xff0c;然后通过每个矩阵对向量…

使用 Flask Blueprint 实现模块化 Web 应用

文章目录 1. 什么是 Flask Blueprint&#xff1f;2. 为什么要使用 Flask Blueprint&#xff1f;3. 如何使用 Flask Blueprint&#xff1f;4. 在 Blueprint 之间进行通信5. 结合 Flask 插件系统进行功能拓展结语 当构建大型 Flask Web 应用时&#xff0c;保持代码的组织结构清晰…

遨游 JavaScript 对象星际:探索面向对象编程的深邃世界

个人主页&#xff1a;学习前端的小z 个人专栏&#xff1a;JavaScript 精粹 本专栏旨在分享记录每日学习的前端知识和学习笔记的归纳总结&#xff0c;欢迎大家在评论区交流讨论&#xff01; 文章目录 &#x1f4af;面向对象编程&#x1f517;1 什么是对象&#x1f517;2 什么是…

免费SSL证书申请安装通用指南

JoySSL官网 注册码230918 关于SSL证书的申请与安装&#xff0c;以下是一个概括性的技术性指南&#xff0c;适合那些希望详细了解该过程的技术人员或网站管理员。请注意&#xff0c;具体步骤可能会根据证书颁发机构(CA)和服务提供商的不同而有所变化。 一、选择SSL证书类型与颁…

Lua 基础 01 入门

Lua 基础相关知识 第一期 注释 -- 单行注释--[[多行注释 --]]-- 多加一个横杠符号就能重新启用注释内的代码 ---[[print("Lua") --]]数据类型 Lua 是动态类型语言&#xff0c;变量不需要类型定义&#xff0c;只需要为变量赋值。 Lua 有 8 种基本类型&#xff1a…

Postman工具介绍与安装

一、Postman介绍 Postman 乃是一款对 HTTP 协议予以支持的接口调试及测试工具&#xff0c;其突出特性在于功能强大&#xff0c;并且使用简便、易用性良好。不管是开发人员开展接口调试工作&#xff0c;还是测试人员进行接口测试任务&#xff0c;Postman 均属于首选工具之一。 接…

使用Python递归重命名文件和文件夹

使用 Python 递归重命名文件和文件夹可以通过 os 模块和 os.path 模块来完成。下面是一个示例代码&#xff0c;演示如何递归地重命名文件和文件夹&#xff1a; 1、问题背景 在研究大型数字档案时&#xff0c;需要将这些档案复制到本地存储进行保存。这些档案通常存储在 USB 驱…

吴恩达机器学习笔记:第 10 周-17大规模机器学习(Large Scale Machine Learning)17.3-17.4

目录 第 10 周 17、 大规模机器学习(Large Scale Machine Learning)17.3 小批量梯度下降17.4 随机梯度下降收敛 第 10 周 17、 大规模机器学习(Large Scale Machine Learning) 17.3 小批量梯度下降 小批量梯度下降算法是介于批量梯度下降算法和随机梯度下降算法之间的算法&am…

SpringBoot自动配置源码解析+自定义Spring Boot Starter

SpringBootApplication Spring Boot应用标注 SpringBootApplication 注解的类说明该类是Spring Boot 的主配置类&#xff0c;需要运行该类的main方法进行启动 Spring Boot 应用 SpringBootConfiguration 该注解标注表示标注的类是个配置类 EnableAutoConfiguration 直译&#…

沃尔玛自养号测评的优势是什么?有哪些技术要求

沃尔玛自养号测评的优势主要体现在以下几个方面&#xff1a; 1. 可控性强&#xff1a;自养号测评允许卖家完全掌控测评流程&#xff0c;包括账号的创建、管理、使用等&#xff0c;可以根据需要随时调整指定测评周期&#xff0c;确保测评效果最大化。 2. 安全性高&#xff1a;…

ae如何导出mp4格式?图文教程,手把手教您搞定

在创作精彩的视频内容后&#xff0c;将其成功导出为通用的MP4格式是确保作品在不同平台上流畅播放的重要一环。Adobe After Effects作为一款专业的视频后期制作工具&#xff0c;提供了丰富的功能来实现这一目标。在本文中&#xff0c;我们将通过图文教程&#xff0c;手把手地向…

牛客 二叉树 NB20 翻转牛群结构

[原题连接](翻转牛群结构_牛客题霸_牛客网 (nowcoder.com)) 这道题简单来讲就是给着棵树翻个面, 翻面后各个节点之间不会有子节点的交换, 但是每个节点的左右节点会做交换, 所以我们采用层序遍历来遍历二叉树, 在遍历的过程中交换每个节点的左右节点即可 public class Solutio…