Yarn标签调度--HDP测试

hadoop版本从2.7.2版本开始新增标签调度功能。

标签调度功能：可以给节点设置标签让作业任务调度到这个设置的标签节点。

列入：

某个任务需要用到gpu资源，而gpu并非在每个节点上都有，通过对节点设置标签，可以使作业任务正确调度到含gpu资源的节点上，确保作业任务正确运行。

接下来我们开始配置这一个功能

首先我们采用的环境版本—我这边采用HDP集群当然开源方案一样可以参考

组件	版本
JDK	1.8.0_281
Hadoop	3.1.1.3.1

【开始配置】

首先我们启动标签功能

在yarn-site中加入如下参数：

<property>

  <name>yarn.node-labels.enabled</name>

  <value>true</value>

</property>

<property>

  <name>yarn.node-labels.fs-store.root-dir</name>

  <value>hdfs://migratecluster/yarn/node-labels</value>

</property>

注意其中migratecluster需要换成自己的nameservices具体参数可以在hdfs-site、core-site配置文件中查找dfs.internal.nameservices

还需要注意我这边使用的是hdp默认的这个hdfs目录

yarn.node-labels.fs-store.root-dir=/system/yarn/node-labels

解释：

配置项yarn.node-labels.enabled表示是否启用标签功能。

yarn.node-labels.fs-store.root-dir表示标签的存储位置，可以是本地文件，也可以是hdfs上的存储路径（文件目录会自动进行创建）

对于HDP集群来讲已经有这个按钮直接enable开启即可～

十分方便

保存重启yarn服务

重启完成后

就该在集群中添加标签了

添加标签可以直接使用yarn命令添加一个gpu标签— 这步需要yarn用户执行

yarn rmadmin -addToClusterNodeLabels "gpu(exclusive=true)"

exclusive表示是否独占，具体可以理解为，当该标签分区下的节点有空闲资源时，是否可以共享给default分区的任务使用。

true表示独占，即不共享，资源仅分配给具有该标签的任务使用。

false表示非独占，即可以共享。

添加标签前，rm的界面上，可以看到只有DEFAULT标签（如下图所示）

从上图可以看出来，gpu这个标签对应的分区中都还没有活跃的NM节点。

NM节点关联标签

完成标签的添加后，接下来就是给指定的节点关联到不同的标签上，也就是将集群的节点按标签划分成不同的节点分区。

yarn rmadmin -replaceLabelsOnNode "172.16.121.249:8042=gpu"

执行上面的命令后，再来看看rm的界面，可以看到gpu的标签，有了一个活跃的节点，而DEFAULT标签中则少了一个活跃节点。

从NM节点列表的界面中，也可以看到该节点有了对应的标签信息。

同时，队列的界面中，也多出了对应的标签信息，所有队列均会出现在所有标签中。

但是gpu标签下还未设置对应标签的使用容量。

设置队列可访问的标签与容量

注意：HDP的Yarn Queue Manager界面—也可以推荐用HDP Yarn Manager添加

推荐Yarn Queue Manager添加方法

一共注意下面3个框框中的东西一个是启动标签队列选择标签队列还有就是默认提交这个队列为标签队列

保存后会自动刷新

配置修改方法：不推荐手动添加的方法

搜索配置：capacity-scheduler.xml

加入如下配置



<property>

<name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>

<value>gpu</value>

<description>default队列应用可用的节点标签</description>

</property>：q：q

<property>

<name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>

<value>gpu</value>

<description>default队列应用默认节点标签</description>

</property>

<property>

<name>yarn.scheduler.capacity.root.default.accessible-node-labels.gpu.capacity</name>

<value>100</value>

<description>default队列对gpu标签节点可用的百分比</description>

</property>

<property>

<name>yarn.scheduler.capacity.root.default.accessible-node-labels.gpu.maximum-capacity</name>

<value>100</value>

<description>default队列对gpu标签节点最大的百分比</description>

</property>



<property>

<name>yarn.scheduler.capacity.root.accessible-node-labels.gpu.capacity</name>

<value>100</value>

<description>root队列对gpu标签节点最大的可用百分比</description>

</property>

HDP参数如下：

yarn.scheduler.capacity.root.default.accessible-node-labels=gpu

yarn.scheduler.capacity.root.default.default-node-label-expression=gpu

yarn.scheduler.capacity.root.default.accessible-node-labels.gpu.capacity=100

yarn.scheduler.capacity.root.default.accessible-node-labels.gpu.maximum-capacity=100

yarn.scheduler.capacity.root.accessible-node-labels.gpu.capacity=100

参数含义：

1. yarn.scheduler.capacity.root.default.accessible-node-labels=gpu

    * 含义: 设置 default 队列可以访问的节点标签为 "gpu"。

2. yarn.scheduler.capacity.root.default.default-node-label-expression=gpu

    * 含义: 设置 default 队列应用的默认节点标签为 "gpu"。

3. yarn.scheduler.capacity.root.default.accessible-node-labels.gpu.capacity=100

    * 含义: 设置 default 队列可访问 "gpu" 标签节点的容量百分比为 100%。

4. yarn.scheduler.capacity.root.default.accessible-node-labels.gpu.maximum-capacity=100

    * 含义: 设置 default 队列对 "gpu" 标签节点的最大可用容量百分比为 100%。

5. yarn.scheduler.capacity.root.accessible-node-labels.gpu.capacity=100

    * 含义: 设置 root 队列可访问 "gpu" 标签节点的容量百分比为 100%。

配置完成后，通过命令刷新队列使配置生效，在界面中可以看到如下信息：

冒烟测试

提交hive任务指定标签

set mapreduce.job.node-label-expression=gpu;

set mapreduce.job.queuename=defalt;

一开始提交不上注意这个参：

将标签与队列映射

yarn.scheduler.capacity..capacity 指定default分区的队列容量

yarn.scheduler.capacity..accessible-node-labels

配置队列可以访问的标签，多个以逗号分隔。

注：没有标签的节点，所有队列均可以访问。如果不指定，则继承父队列的。如果想队列只能访问没有标签的节点，设置此值为空格。

yarn.scheduler.capacity..accessible-node-labels..capacity 配置队列可以访问的分区容量

yarn.scheduler.capacity..accessible-node-labels..maximum-capacity 配置队列可以访问的分区绝对最大容量

yarn.scheduler.capacity..default-node-label-expression 用于配置默认分区如果提交任务到该队列时没有指定标签，则默认为此值。默认为空，也就是不指定标签将会运行在没有标签的节点。