1.前言
YARN可用的计算节点数量并不总是等于 Hadoop集群节点数量,可以根据业务需求分配 YARN计算节点数量。
这里首先介绍一些前置知识:
YARN中 ResourceManager 和 NodeManager是两个核心组件,其中 ResourceManager负责集群资源的统一管理和调度分配,并协调 NodeManager 的工作;NodeManager是运行在每个集群节点上的代理,负责单个节点资源的管理和任务的执行。
通过 YARN任务监控页面(默认 8088端口)可以查看目前集群计算节点数量、可用内存大小和可用 VCore数量等,也可以查看任务执行情况。
给 YARN分配新的计算节点,只需要在 Hadoop节点上部署 NodeManager组件即可,在 Ambari上可以通过页面动态部署,部署完成后需要手动启动 NodeManager服务。
2.分配新的计算节点
集群现状:测试环境,部署了 3个Hadoop节点,其中 YARN可用计算节点为 1个,如下图:
现在给 YARN新增两个计算节点,步骤如下:
-
打开 Ambari管理页面,并点击 主机页面
-
勾选需要添加 NodeManager主机
-
点击右上角操作进行新增 NodeManager操作
最后,等待 NodeManager部署完成,并手动启动 NodeManager。
3.检查可用计算节点
打开 YARN任务监控页面,可以看到 Nodes已经变成了 3个,计算可用的 内存、VCore数量都增加了,如下:
4.总结
本文是在 YARN计算节点少于 Hadoop节点的情况下进行操作,并不涉及新增 Hadoop节点。另外,计算节点在运行任务时对于内存资源的需求通常较高,并不用把所有的 Hadoop节点都作为 YARN计算节点,特别是在机器混装的情况下,容易影响其他程序的执行。